Evaluation Cards for XAI Metrics

Resumo Técnico: Cartões de Avaliação para Métricas de XAI

Declaração do Problema
O campo de avaliação de IA Explicável (XAI) está atualmente fragmentado e carece de padronização. Apesar de um corpo crescente de literatura tentando sistematizar as métricas de avaliação de XAI, três questões principais persistem:

1. Inconsistência Terminológica: Nomes de métricas idênticos são usados para definições operacionais diferentes, enquanto as mesmas propriedades subjacentes são rotuladas de forma diferente entre grupos de pesquisa.
2. Omissão Contextual: As métricas são frequentemente introduzidas sem declarar as propriedades específicas que visam, o nível de fundamentação (fundamentado funcionalmente, fundamentado em humanos ou fundamentado em aplicações) ou o contexto de avaliação (arquitetura do modelo, modalidade de dados). Isso leva a resultados relatados sem as informações necessárias para reprodutibilidade ou comparação significativa.
3. Lacunas de Validação e Implementação: Muitas métricas propostas permanecem como definições teóricas sem código acompanhante. Além disso, evidências de validação (como análise de sensibilidade ou estabilidade) raramente são fornecidas, e os riscos de "jogar" a métrica (atingir altas pontuações sem melhorar a propriedade alvo) raramente são reconhecidos.

Essas questões resultam em um campo onde as práticas de avaliação são enviesadas para tarefas proxy fundamentadas funcionalmente, enquanto métodos fundamentados em humanos e fundamentados em aplicações permanecem sub-representados. A falta de relatórios estruturados impede a meta-análise e obscurece a validade das alegações sobre a qualidade das explicações.

Metodologia
Este artigo emprega uma abordagem de meta-revisão, analisando onze pesquisas sobre métricas de avaliação de XAI publicadas entre 2021 e 2025. Os autores sintetizam lacunas recorrentes identificadas nessas pesquisas para caracterizar o estado atual do campo. Em vez de propor uma nova métrica de avaliação ou uma nova taxonomia, os autores propõem um framework de documentação.

A metodologia central é o design do Cartão de Avaliação de XAI, um modelo de documentação estruturado análogo a Model Cards (Cartões de Modelo) e Datasheets for Datasets (Fichas Técnicas para Conjuntos de Dados). O cartão foi projetado para acompanhar qualquer estudo que introduza uma nova métrica de avaliação de XAI, obrigando os autores a declarar explicitamente informações críticas que atualmente são frequentemente omitidas.

Contribuições Principais
A contribuição primária é o Cartão de Avaliação de XAI, um modelo de quatro seções projetado para padronizar o relatório de métricas de avaliação de XAI:

1. Identidade: Exige o nome da métrica, uma lista de todas as propriedades de explicabilidade que ela operacionaliza (com referências às definições) e uma declaração de seu nível de fundamentação (fundamentado funcionalmente, fundamentado em humanos ou fundamentado em aplicações).
2. Escopo e Contexto: Determina uma descrição do contexto de avaliação (arquitetura do modelo, modalidade de dados, escopo local vs. global) e uma enumeração explícita de todas as suposições da métrica (por exemplo, independência de características, linearidade, disponibilidade de baselines).
3. Implementação e Validação: Exige que os autores declarem a disponibilidade de implementação (com links), resumam evidências de validação (sensibilidade, estabilidade, correlação), descrevam riscos de "jogar" a métrica e documentem casos de falha conhecidos.
4. Relacionamentos e Limitações: Solicita que os autores listem relacionamentos com outras métricas que visam a mesma propriedade, anotem acordos ou desacordos, priorizem propriedades para cenários específicos de implantação em caso de conflito e declarem explicitamente limitações e contextos onde a métrica não deve ser usada.

O artigo também delineia uma estratégia para adoção, sugerindo integração com listas de verificação de reprodutibilidade existentes em principais eventos, o uso de modelos leves (Markdown, LaTeX, JSON) e redação assistida por LLM para reduzir custos de autoria.

Resultados
Como um artigo de proposta, este trabalho não apresenta resultados experimentais ou validação empírica de uma nova métrica. Em vez disso, os "resultados" são a identificação de modos de falha específicos e recorrentes na literatura que o Cartão de Avaliação foi projetado para abordar:

• A confusão entre propriedades e métricas.
• O relatório de pontuações de métricas isoladamente, sem contexto.
• A falta de análise de sensibilidade e estabilidade em propostas originais.
• A inconsistência no relatório de disponibilidade de implementação.
• A falha em reconhecer desacordos de métricas ou riscos de "jogar" a métrica.

O artigo argumenta que o modelo operacionaliza diretamente soluções para esses cinco problemas identificados.

Significado e Alegações
O artigo afirma que o Cartão de Avaliação de XAI aborda um problema central e pouco tratado: a falta de transparência no relatório de avaliação. Ao adotar este modelo como uma norma da comunidade, os autores argumentam que o campo pode alcançar:

• Redução da Fragmentação: Padronizar a documentação para tornar as métricas comparáveis.
• Melhoria da Prestação de Contas: Tornar explícitas as suposições, limitações e condições de validade das alegações de avaliação.
• Meta-análise Aprimorada: Criar registros estruturados e legíveis por máquina que permitam a agregação e comparação de resultados de avaliação entre estudos.
• Validade Contextual: Garantir que os valores das métricas nunca sejam relatados isoladamente, mas sempre acompanhados pelo contexto necessário para interpretação.

Os autores enfatizam que o cartão é não prescritivo; não determina métricas específicas ou níveis de fundamentação, mas sim exige a declaração explícita de quaisquer escolhas que os autores tenham feito. O objetivo final é deslocar as normas de avaliação para maior rigor e reprodutibilidade sem impor um único paradigma de avaliação.