Resumo Técnico: Nem Todas as Explicações Simulam Igualmente

Declaração do Problema

Explicações em linguagem natural para Grandes Modelos de Linguagem (LLMs) são frequentemente tratadas como uma interface unificada para a compreensão do comportamento do modelo. No entanto, essas explicações originam-se de fontes diversas — variando desde atribuições de características de entrada (identificando tokens ou sentenças importantes) até racionalidades autogeradas (como justificativas post-hoc ou raciocínio de Cadeia de Pensamento/Chain-of-Thought). Apesar de compartilharem o rótulo "explicação", esses objetos diferem fundamentalmente em origem, granularidade, formato e uso pretendido.

Protocolos de avaliação anteriores costumam avaliar explicações ao longo de dimensões específicas de tipo, como fidelidade ao processo de decisão, plausibilidade para leitores humanos ou concordância com racionalidades humanas. Este artigo argumenta que essas métricas específicas de tipo dificultam a comparação de formatos de explicação díspares em um terreno comum. O desafio central abordado é: Como podemos comparar sistematicamente diferentes tipos de explicações de LLM para determinar quais delas realmente apoiam a compreensão e a previsão do comportamento do modelo?

Metodologia

Os autores propõem um framework de avaliação unificado baseado em simulabilidade contrafactual. Em vez de perguntar se uma explicação é plausível isoladamente, este framework pergunta se a explicação ajuda um preditor a antecipar com precisão o comportamento do modelo sob novas entradas perturbadas.

Configuração Experimental

1. Formulação da Tarefa: A avaliação é formulada como um problema de simulação contrafactual. Dada uma entrada original $x = (c, q)$ (contexto e pergunta) e uma resposta do modelo $y = M(x)$, uma entrada contrafactual $x_{cf} = (c, q_{cf})$ é construída usando o mesmo contexto, mas com uma pergunta modificada. O modelo alvo $M$ produz uma resposta contrafactual verdadeira $y_{cf}$.
2. Protocolo de Simulação: Um juiz LLM ($P$) atua como um preditor para adivinhar $y_{cf}$.
   • Fase 1 (Baseline): O preditor vê $x$, $y$ e $x_{cf}$, mas sem explicação.
   • Fase 2 (Explicação): O preditor vê as mesmas entradas mais uma explicação $e$ para a resposta original $y$.
   • Métrica: A simulabilidade é medida como o ganho de acurácia ($\Delta$) na previsão de $y_{cf}$ quando a explicação é fornecida: $\Delta = \text{Score}(2) - \text{Score}(1)$. Um $\Delta$ positivo indica que a explicação melhora a compreensão preditiva.
3. Tipos de Explicação Comparados:
   • Atribuições de Características Verbalizadas: Usando o framework MExGen, os autores identificam spans de entrada influentes (sentenças ou tokens) e os convertem em linguagem natural. Eles testam duas estratégias de verbalização:
     • Baseada em templates: Inserção determinística de evidências de ranking superior em templates fixos (Nível de Sentença, Nível de Token e Híbrido).
     • Reescritor LLM: Um LLM reescreve as características de atribuição selecionadas em um texto fluente sem adicionar nova informação.
   • Racionalidades Autogeradas: Explicações geradas pelos próprios modelos de QA alvo via prompting:
     • Post-hoc: O modelo responde primeiro e, depois, fornece uma justificativa.
     • Cadeia de Pensamento (CoT): O modelo raciocina passo a passo antes de responder.
4. Modelos e Dados: Os experimentos foram conduzidos no dataset SQuAD 2.0 utilizando três modelos alvo ajustados por instrução (Llama-3-8B, Qwen2.5-7B, Mistral-7B) e o GPT-5-mini como o juiz principal. A robustez foi verificada com DeepSeek-R1 e um paradigma de treinamento professor-aluno.

Principais Contribuições

1. Critério de Avaliação Unificado: O artigo aplica a simulabilidade contrafactual como uma métia única para comparar explicações baseadas em atribuição e racionalidades autogeradas, permitindo a comparação direta entre formatos que anteriormente eram avaliados isoladamente.
2. Comparação Controlada de Verbalização: O estudo contrasta verbalizações baseadas em templates com versões reescritas por LLM dos mesmos dados de atribuição, isolando os efeitos da granularidade da evidência (sentença vs. token) da fluência linguística.
3. Análise de Granularidade e Origem: O trabalho analisa sistematicamente como a origem da explicação, a estratégia de verbalização e a granularidade das características afetam a simulabilidade em múltiplos modelos.

Resultados

O estudo produz vários achados distintos sobre o que torna uma explicação "útil" para a simulação:

• A Granularidade Importa: Atribuições de nível de sentença fornecem os ganhos de simulabilidade mais fortes entre os métodos baseados em atribuição. Atribuições de nível de token (mesmo quando altamente rankeadas) frequentemente resultam em ganhos próximos de zero ou negativos, sugerindo que palavras isoladas carecem do contexto necessário para prever o comportamento do modelo. Abordagens híbridas (sentença + tokens) performam melhor do que apenas tokens, mas pior do que atribuições puras de nível de sentença.
• Fluência $\neq$ Utilidade: Explicações reescritas por LLM, embora mais fluentes que as baseadas em templates, não melhoram significativamente a simulabilidade. Em alguns casos, elas performam pior. Isso sugere que o conteúdo informacional (a evidência selecionada) impulsiona a simulabilidade mais do que a forma linguística.
• Racionalidades Autogeradas Variam: Existe um contraste marcante entre explicações post-hoc e racionalidades de CoT. Explicações post-hoc oferecem melhorias modestas, enquanto as racionalidades de CoT proporcionam os maiores ganhos na previsão contrafactual em todos os modelos e métricas.
• Transferência entre Modelos: As racionalidades de CoT contêm informações substanciais relevantes para a tarefa que generalizam entre diferentes modelos (transferência entre modelos), embora também codifiquem sinais específicos do modelo.
• Divergência de Paradigma de Avaliação: Enquanto as racionalidades de CoT mostram ganhos positivos consistentes tanto em avaliações de juiz LLM quanto de professor-aluno, as explicações baseadas em atribuição mostram uma discrepância. Elas performam bem no cenário de juiz (in-context), mas mostram ganhos fracos ou negativos no cenário de professor-aluno (treinamento), sugerindo que os sinais de atribuição são úteis para a previsão imediata, mas podem não ser facilmente internalizados como supervisão aprendível.

Significância e Alegações

O artigo alega que nem todas as explicações em linguagem natural servem ao mesmo papel no suporte à compreensão do comportamento do modelo. A significância desses achados reside na mudança do foco da avaliação de "plausibilidade" ou "fidelidade" isoladas para a utilidade funcional: a explicação realmente ajuda um usuário (ou um agente automatizado) a prever como o modelo se comportará em novas entradas?

Os autores concluem que:

1. O formato da explicação é crítico: Evidência de nível de sentença é superior à evidência de nível de token para simulação.
2. A origem importa: Racionalidades de CoT são atualmente o tipo de explicação mais eficaz para antecipar o comportamento do modelo, superando tanto justificativas post-hoc quanto atribuições verbalizadas.
3. A avaliação deve ser consciente do contexto: A utilidade de uma explicação depende de se ela é usada para previsão imediata in-context (onde CoT e atribuições de sentença se destacam) ou para o treinamento de modelos internos (onde o CoT permanece robusto, mas as atribuições podem não transferir).

Em última análise, o trabalho fornece orientação empírica para a seleção de formatos de explicação em cenários de QA, alertando contra a suposição de que todas as explicações em linguagem natural são igualmente eficazes para a simulação.