Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

Resumo Técnico: Confiabilidade, Fidelidade e os Limites das Explicações Post-hoc de Modelos Científicos Opacos

Problema
O artigo aborda uma lacuna epistêmica crítica na aplicação científica da IA Explicável (XAI). Em domínios científicos (ex: neurociência, física, bioquímica), modelos de aprendizado de máquina opacos são usados cada vez mais não apenas como preditores, mas como fontes de insight sobre os fenômenos subjacentes que modelam. A premissa predominante é que, se um modelo for suficientemente confiável (suas previsões correspondem aos resultados do fenômeno) e sua explicação post-hoc for suficientemente fiel (a explicação reflete com precisão as computações internas do modelo), então a explicação fornece uma afirmação justificada sobre a própria estrutura do fenômeno.

Os autores argumentam que essa inferência é estruturalmente inválida. Embora a confiabilidade e a fidelidade sejam condições necessárias, elas são insuficientes para transpor a lacuna entre "compreender o modelo" e "compreender o mundo". Especificamente, nenhuma das duas métricas verifica se a estrutura interna do modelo corresponde à estrutura causal, mecânica ou contrafactual do fenômeno.

Metodologia e Formalismo
O artigo emprega uma análise epistêmica formal em vez de experimentação empírica. Ele constrói uma cadeia de aproximação para analisar a relação inferencial entre o fenômeno, o modelo e a explicação:

1. O Fenômeno ($f$): A função verdadeira que representa o fenômeno natural.
2. O Modelo ($h^*$): Uma hipótese selecionada de um espaço $H$ (ex: uma rede neural profunda) que aproxima $f$.
3. A Explicação ($g^*$): Uma representação gerada por um método post-hoc $E$ (ex: SHAP, LIME, mapas de atenção) que aproxima $h^*$.

A cadeia é denotada como $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$, onde:

• $\phi$ (o elo modelo-mundo) representa a confiabilidade de $h^*$ em rastrear $f$.
• $E$ (o elo modelo-do-modelo) representa a fidelidade de $g^*$ em descrever $h^*$.

Os autores distinguem dois tipos de vereditos epistêmicos:

• Vereditos Descritivos: Avaliações do que o modelo computa (fidelidade).
• Vereditos Justificatórios: Avaliações da capacidade do modelo de rastrear o fenômeno (confiabilidade).

O argumento metodológico central é que um cientista busca um terceiro tipo de veredito: uma afirmação justificatória sobre a estrutura do fenômeno. O artigo demonstra que a composição de um veredito descritivo (sobre $g^*$) e um veredito justificatório (sobre $h^*$) não pode logicamente resultar em um veredito justificatório sobre a estrutura de $f$.

Contribuições e Argumentos Principais

1. A Falha Estrutural da Composição:
   O artigo argumenta que a lacuna entre o modelo e o mundo não se fecha mesmo no limite de uma confiabilidade perfeita e uma fidelidade perfeita.

   • Confiabilidade verifica se as saídas correspondem aos resultados, mas não exige uma estrutura interna compartilhada. Um modelo pode rastrear perfeitamente um fenômeno via correlações espúrias ou atalhos não mecânicos (ex: depender de bordas de imagem em vez de patologia).
   • Fidelidade verifica se a explicação corresponde à computação do modelo, mas é inteiramente interna ao modelo. Ela não pode determinar se a computação do modelo corresponde ao mecanismo do fenômeno.
   • Consequentemente, uma cadeia "perfeita" ($f \approx h^* \approx g^*$) ainda deixa a questão do alinhamento estrutural sem resposta. A cadeia carece da premissa de "estrutura compartilhada" necessária para mover-se de fatos-do-modelo para fatos-do-mundo.

2. Três Casos de Cadeias Enganosas (Apêndice A):
   Os autores ilustram a persistência dessa lacuna através de três cenários:

   • Caso 1 (Mudança de Distribuição): Um modelo depende de uma característica espúria (ex: marcadores de lateralidade em raios-X) que funciona no treinamento, mas falha em novas populações. A fidelidade reporta corretamente a dependência, mas a confiabilidade falha apenas quando a distribuição muda. A explicação permanece fiel ao mecanismo errado.
   • Caso 2 (Confundidores Invariantes): Um modelo depende de uma característica espúria que é correlacionada com o alvo em todas as populações testáveis (ex: posicionamento do paciente). Aqui, a confiabilidade é perfeita em todos os lugares, e a fidelidade é perfeita, mas o modelo ainda assim falha em capturar o verdadeiro mecanismo. Nenhuma quantidade de dados de validação pode distinguir o modelo espúrio de um modelo mecanístico se ambos produzem previsões idênticas.
   • Caso 3 (Rastreamento Perfeito, Estrutura Divergente): Um modelo rastreia o fenômeno perfeitamente em todas as entradas, mas utiliza uma estrutura interna inteiramente diferente da estrutura do fenômeno. Uma explicação fiel deste modelo descreve uma estrutura que não é a estrutura do fenômeno. A confiabilidade e a fidelidade são idênticas tanto para o modelo de "estrutura verdadeira" quanto para o modelo de "estrutura divergente", tornando as métricas incapazes de distinguir verdade de sorte.

3. Distinção entre Leituras "Fortes" e "Fracas":

   • Leitura Forte (Como-Realmente): Afirma que a estrutura do modelo é a estrutura do fenômeno. O artigo argumenta que a cadeia não pode sustentar essa afirmação por si só.
   • Leção Fraca (Como-Possivelmente/Compreensão Objetual): Afirma que o modelo oferece uma hipótese candidata ou uma compreensão das conexões dentro do domínio. O artigo concede que a cadeia pode sustentar isso, desde que o output seja situado contra a corroboração externa (teoria prévia, evidência independente ou intervenção experimental).

Resultos e Alegações
O artigo não apresenta resultados experimentais, mas oferece uma prova filosófica e lógica de limitação:

• Não há Justificação Autossuficiente: Um modelo confiável pareado com uma explicação fiel não justifica, por composição isolada, uma afirmação sobre a estrutura causal ou mecânica do fenômeno.
• A Corroboração Externa é Necessária: Para mover-se de uma descrição do modelo para uma afirmação sobre o mundo, premissas externas (teoria independente, mecanismos conhecidos ou intervenções) devem ser introduzidas. Essas premissas não são geradas pela própria cadeia de XAI.
• O Papel da Idealização: O artigo alinha-se à literatura sobre idealização científica (ex: Sullivan, Elgin), sugerindo que modelos opacos funcionam como ferramentas idealizadas. Eles podem fornecer "compreensão objetual" (compreender conexões e possibilidades), mas não "compreensão explicativa" (identificar o mecanismo real) sem validação externa.

Significância
A significância do artigo reside em esclarecer as fronteiras epistêmicas da XAI post-hoc na ciência. Ele desafia a prática rotineira de tratar explicações fiéis de modelos confiáveis como janelas diretas para a realidade científica.

• Argumenta que a falha em distinguir entre "como o modelo funciona" e "como o mundo funciona" não é uma falha técnica a ser resolvida com melhores algoritmos ou maior fidelidade, mas uma limitação estrutural da cadeia inferencial.
• Reorienta o uso científico da XAI: em vez de ver as explicações como provas definitivas de mecanismo, elas devem ser vistas como geradoras de hipóteses candidatas que exigem testes externos rigorosos e integração teórica.
• O artigo conclui que, embora a cadeia suporte a geração de afirmações de "como-possivelmente", ela não pode licenciar afirmações de "como-realmente" sem corroboração externa, uma distinção crucial para a integridade da descoberta científica utilizando modelos opacos.