Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados em aplicações que exigem a integração de contexto externo (Conhecimento Contextual, CK) com conhecimento paramétrico interno (PK), como Geração Aumentada por Recuperação (RAG) e verificação de fatos. No entanto, existe uma lacuna crítica de transparência:

• Opacidade: Os usuários não podem determinar se a saída de um modelo depende do contexto fornecido ou de seus dados de treinamento internos.
• Falta de Verdade Terrena: Os métodos existentes para avaliar "Explicações de Destaque" (HEs) — que apontam para tokens de entrada específicos responsáveis por uma saída — dependem de métricas de fidelidade (por exemplo, Abrangência e Suficiência). Essas métricas utilizam proxies de perturbação (mascaramento/remoção de tokens) que criam artefatos fora da distribuição e carecem de um padrão ouro (verdade terrena) para verificar se a explicação realmente reflete a verdadeira fonte de informação do modelo.
• A Lacuna: Não existe um framework para avaliar se as HEs identificam com precisão quais peças específicas de contexto ou tokens influenciaram a decisão do modelo, particularmente quando o contexto contradiz a memória paramétrica do modelo.

2. Metodologia

Os autores propõem o primeiro framework de avaliação de padrão ouro para atribuição de contexto, utilizando casos de teste controlados onde o uso do contexto de verdade terrena é predeterminado.

A. Regimes de Entrada Controlada

O framework constrói quatro cenários específicos para testar diferentes aspectos da utilização de contexto, garantindo que o modelo deva usar o contexto (tornando a resposta do contexto contraditória ao conhecimento paramétrico do modelo):

1. Conflitante (Único): Um trecho de contexto contradiz o PK do modelo.
2. Irrelevante (Único): Um trecho de contexto é irrelevante, mas contém um token de resposta distratora (incorreta).
3. Duplo-Conflitante (Dual): Dois trechos de contexto contradizem ambos o PK.
4. Misto (Dual): Um trecho irrelevante e um trecho conflitante.

• Nota: Os autores também criam versões "Swap" de configurações de contexto dual para testar viés posicional.

B. Métricas de Avaliação

O framework avalia as HEs em três eixos alinhados com três Questões de Pesquisa (RQs):

1. Precisão de Atribuição no Nível de Documento (RQ1 & RQ2):
   • $\Delta$Rank@k: Mede a margem de classificação dos tokens do documento "usado" versus o documento "não usado" (ou contexto versus memória). Uma margem positiva indica que a HE prioriza corretamente a fonte relevante.
   • Simulatabilidade: Utiliza Informação Mútua Normalizada (NMutInf) e Comprimento Mínimo de Descrição (MDL-Bits) para determinar se os tokens destacados top-$k$ podem prever a escolha de fonte do modelo (CK vs. PK, ou Trecho 1 vs. Trecho 2).
2. Precisão de Atribuição no Nível de Token (RQ3):
   • Rank Recíproco Médio (MRR): Avalia quão alto a HE classifica o(s) token(s) exato(s) da resposta de verdade terrena encontrado(s) no contexto.

C. Métodos Avaliados

O framework testa quatro técnicas de HE:

1. Ablação de Recursos (FA): Mascara tokens para medir o impacto na probabilidade da resposta.
2. Gradientes Integrados (IG): Utiliza magnitudes de gradiente ao longo de um caminho de uma linha de base até a entrada.
3. Visualização de Atenção (ATTN): Utiliza pesos de atenção do cabeçalho de atenção mais influente.
4. MechLight (Novo): Uma abordagem de interpretabilidade mecânica. Ela identifica o cabeçalho de atenção específico que mais fortemente impulsiona a diferença de logit entre respostas concorrentes (por exemplo, CK vs. PK) e projeta os pesos de atenção desse cabeçalho nos tokens de entrada como a explicação.

D. Configuração Experimental

• Conjuntos de Dados: FAKEPEDIA, WORLDCAPITAL, COUNTERFACT e CONFLICTQA.
• Modelos: Cinco LLMs variando de 1,5B a 7B parâmetros (GPT2-XL, Pythia-2.8B/6.9B, Qwen2.5-3B/7B).

3. Contribuições Principais

1. Framework de Padrão Ouro: Introduziu o primeiro benchmark de avaliação para HEs em utilização de contexto que depende do uso de contexto de verdade terrena em vez de proxies de perturbação indireta.
2. Método MechLight: Propôs um novo método de interpretabilidade mecânica leve que converte sinais internos do modelo (cabeçalhos de atenção que impulsionam lacunas de logit) em explicações de destaque no nível de token.
3. Benchmark Abrangente: Avaliou métodos estabelecidos (FA, IG, ATTN) e o novo método MechLight em diversos modelos, conjuntos de dados e cenários de contexto (único/dual, conflitante/irrelevante).
4. Lançamento Público: Liberou o código e o conjunto de dados reconstruído para facilitar pesquisas futuras.

4. Resultados

Comparação de Desempenho

• Melhor Desempenho: MechLight superou consistentemente todos os outros métodos em todos os cenários, conjuntos de dados e modelos. Mostrou a maior precisão em distinguir entre uso de CK e PK e identificar o documento correto em configurações de contexto dual.
• Segundo Melhor: Ablação de Recursos (FA) mostrou promessa, mas exibiu alta variância e instabilidade, particularmente em cenários de contexto longo.
• Desempenho Pobre: Gradientes Integrados (IG) e Visualização de Atenção (ATTN) performaram mal, frequentemente resultando em margens próximas de zero ou valores negativos. Surpreendentemente, apesar de pontuarem bem em métricas tradicionais de fidelidade, forneceram pouco valor para revelar padrões reais de uso de contexto.

Falhas Sistemáticas e Limitações

1. Sensibilidade ao Comprimento do Contexto: A precisão da explicação degrada-se significativamente à medida que o comprimento do contexto aumenta. Todos os métodos lutam para identificar o token de resposta correto em contextos longos (por exemplo, CONFLICTQA).
2. Viés Posicional: Em configurações de documentos duplos, todos os métodos exibiram fortes vieses posicionais:
   • FA e IG tenderam a favorecer trechos mais tardios (viés de recência).
   • ATTN e MechLight tenderam a favorecer trechos mais iniciais (viés de primazia).
   • Esse viés persistiu mesmo quando a ordem dos documentos foi trocada, sugerindo que é um artefato do método ou da arquitetura do modelo, em vez de relevância de conteúdo.
3. Erros de Localização de Token: Estudos de caso qualitativos revelaram que, mesmo quando os modelos copiam respostas do contexto, as HEs frequentemente destacam:
   • Tokens genéricos (palavras de parada, pontuação).
   • Descritores próximos ou entidades adjacentes à resposta.
   • A própria frase da pergunta (por exemplo, "O que", "Quem").

5. Significado

• Desafia Práticas Atuais: As descobertas desafiam a utilidade de métodos amplamente utilizados baseados em gradiente (IG) e baseados em atenção (ATTN) para aplicações de RAG e verificação de fatos, sugerindo que podem ser enganosos quanto à atribuição de fonte.
• Fundação para Desenvolvimento Futuro: O framework fornece uma base rigorosa, baseada em verdade terrena, para o desenvolvimento da próxima geração de métodos de atribuição de contexto que devem superar a sensibilidade ao comprimento e o viés posicional.
• Validação de Interpretabilidade Mecânica: O sucesso do MechLight destaca o potencial da interpretabilidade mecânica (analisando componentes internos do modelo) sobre métodos padrão de perturbação post-hoc para entender o comportamento do modelo em cenários complexos de recuperação.

Em conclusão, o artigo estabelece que, embora os métodos atuais de HE ofereçam algum insight, eles são atualmente insuficientes para atribuição de contexto confiável em aplicações do mundo real com contexto longo. O framework proposto e o método MechLight oferecem um caminho para a construção de sistemas LLM mais transparentes e confiáveis.