Resumo Técnico: Avaliação de Fidelidade para Atribuições de LLMs Apenas Decodificadores com Informação Retida Controlada

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs), particularmente arquiteturas apenas decodificadoras como Llama e Mistral, estão sendo cada vez mais avaliados usando métodos de atribuição de entrada para explicar seus processos de tomada de decisão. No entanto, comparar a "fidelidade" (confiabilidade) dessas explicações permanece desafiador.

As métricas existentes de fidelidade por perturbação suave, especificamente Soft-NC (Compreensividade Suave Normalizada) e Soft-NS (Suficiência Suave Normalizada), sofrem de um viés crítico. Essas métricas avaliam a qualidade da atribuição perturbando entradas com base em pontuações de atribuição. No entanto, diferentes métodos de atribuição frequentemente produzem distribuições de pontuação com médias diferentes. Consequentemente, métodos com pontuações médias mais altas retêm mais palavras durante a perturbação suave, inflando artificialmente suas pontuações de fidelidade simplesmente porque a entrada perturbada contém mais informações, e não porque a atribuição é mais precisa. Essa questão é particularmente pronunciada em LLMs apenas decodificadores autoregressivos, onde as distribuições de pontuação de atribuição podem variar significativamente entre os passos de geração.

Metodologia

1. $\pi$-Soft-NC e $\pi$-Soft-NS

Para abordar o viés nas métricas existentes, os autores propõem $\pi$-Soft-NC e $\pi$-Soft-NS. Estes são frameworks de avaliação que comparam métodos de atribuição sob uma probabilidade alvo de retenção controlada ($\pi$).

• Mecanismo: Em vez de comparar pontuações de atribuição brutas, o framework transforma cada distribuição de atribuição usando uma transformação alfa ($\tilde{s}_i = s_i^\alpha$). O parâmetro $\alpha$ é resolvido numericamente (por exemplo, via busca de bissecção) de modo que a probabilidade esperada de retenção das pontuações transformadas corresponda a um alvo específico $\pi \in [0, 1]$.
• Comparação Justa: Ao forçar diferentes métodos a reterem a mesma quantidade esperada de informações (mesmo $\pi$), a avaliação isola a qualidade e a calibração da distribuição de atribuição de diferenças na força da perturbação.
• Protocolos de Avaliação: Os autores introduzem dois protocolos para avaliar diferentes aspectos da atribuição:
  • Roteamento Dinâmico: A atenção do transformador é recalculada dinamicamente com base na entrada perturbada. Isso mede como as atribuições identificam palavras úteis sob condições de modelo em mudança.
  • Roteamento Fixo: Os mapas de atenção são armazenados em cache a partir da entrada original não perturbada e reutilizados durante a perturbação. Isso isola a contribuição causal do conteúdo do token da realocação de atenção.
• Visualização: Variar $\pi$ de 0 a 1 gera uma curva ($\pi$-Soft-NC/NS vs. $\pi$). A Área Sob a Curva (AUC) resume o desempenho. Pontuações altas em $\pi$ baixo indicam evidência suficiente compacta, enquanto um desempenho forte em $\pi$ alto indica ampla compreensividade.

2. Grad-ELLM

Os autores introduzem o Grad-ELLM, um método de atribuição baseado em gradiente adaptado especificamente para LLMs apenas decodificadores autoregressivos.

• Inspiração: Adapta o conceito de agregação de gradiente-atenção do Grad-ECLIP (projetado para modelos de linguagem-vision com codificador duplo) para geração sequencial de texto.
• Mecanismo:
  • Para cada passo de decodificação, calcula a atribuição em relação ao logit do próximo token.
  • Combina importância de canal derivada do gradiente (sensibilidade do logit aos canais de saída da atenção) com importância de token derivada da atenção (pesos dos tokens).
  • Para evitar pesos "picudos" de softmax excessivamente esparsos, emprega uma normalização "afrouxada" (normalização min-max) nas similaridades query-key, resultando em uma distribuição de atribuição contínua.
  • As pontuações de atribuição são agregadas através de camadas decodificadoras selecionadas para formar o mapa de calor final.

Principais Contribuições

1. Identificação de Viés: O artigo identifica que as métricas Soft-NC/NS existentes comparam injustamente métodos com médias de pontuação diferentes, pois avaliam inerentemente quantidades diferentes de informações retidas.
2. Novas Métricas de Avaliação: A proposta de $\pi$-Soft-NC e $\pi$-Soft-NS, que normalizam as comparações controlando a informação retida esperada através de uma probabilidade alvo $\pi$.
3. Novo Método de Atribuição: A introdução do Grad-ELLM, que integra sinais de gradiente e atenção especificamente para a natureza sequencial de LLMs apenas decodificadores.
4. Análise Empírica Abrangente: Uma comparação rigorosa de métodos de atribuição representativos (incluindo Atenção, Saliência, Gradientes Integrados, DeepLIFT, Zerar Valores e ReAGent) em tarefas de classificação e geração aberta.

Resultados Experimentais

Os experimentos foram conduzidos em Llama-3.1-8B e Mistral-7B (com resultados adicionais em 70B) em cinco conjuntos de dados (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

• Diagnóstico das Métricas Originais: A análise das pontuações Soft-NC/NS brutas confirmou o viés; métodos como Random e Grad-ELLM retiveram significativamente mais tokens (maior $\pi$) do que métodos esparsos como DeepLIFT, levando a pontuações incomparáveis.
• Desempenho sob $\pi$-Soft-NC: O Grad-ELLM alcançou a fidelidade orientada à compreensividade mais forte (maior AUC média) tanto no Llama quanto no Mistral. Isso sugere que o Grad-ELLM identifica efetivamente uma ampla cobertura de evidências.
• Desempenho sob $\pi$-Soft-NS: Nenhum método único dominou a avaliação orientada à suficiência ($\pi$-Soft-NS). Métodos esparsos como Input$\times$Gradient performaram bem no top-3, indicando que podem identificar com mais precisão as palavras mais críticas, mas nenhum método foi universalmente superior.
• Comparação com Random: A maioria dos métodos mostrou vantagem apenas sobre atribuições aleatórias quando a probabilidade de retenção $\pi > 0.5$. Isso sugere que, para essas tarefas, informações contextuais significativas (mais do que apenas os tokens de maior classificação) são necessárias, ou que os métodos atuais lutam com a ordenação precisa das principais atribuições.
• Análise Qualitativa: Em exemplos de classificação de sentimentos, o Grad-ELLM destacou com sucesso frases composicionais (por exemplo, "muito pouco positivo") em vez de tokens isolados (por exemplo, "positivo"), capturando melhor a nuance da negação do que as linhas de base.

Significado e Alegações

O artigo afirma que seu framework de avaliação proposto fornece um padrão rigoroso para comparar métodos de XAI para LLMs. Ao controlar a informação retida, o $\pi$-Soft-NC/NS permite que pesquisadores distinguam entre métodos que oferecem evidência suficiente compacta versus aqueles que fornecem evidência ampla orientada à compreensividade.

Os autores enfatizam que o Grad-ELLM foi projetado para produzir distribuições de atribuição calibradas e densas, em vez de classificações extremamente esparsas. Consequentemente, embora o Grad-ELLM se destaque sob as métricas de perturbação suave propostas, ele pode não ser ótimo para métricas de classificação de perturbação dura (como Inserção/Deleção), onde a ordenação de alguns poucos tokens superiores domina. O artigo conclui que a atribuição fiel deve ser avaliada ao longo de múltiplos eixos (suficiência versus compreensividade) em vez de confiar em uma única métrica, e que as métricas propostas apoiam o progresso na compreensão de como a evidência de atribuição é organizada em modelos autoregressivos.

Limitações reconhecidas pelos autores:

• O Grad-ELLM requer acesso a estados internos do modelo (gradientes, atenção), limitando-o a modelos de código aberto.
• O estudo foca na fidelidade, não na plausibilidade (interpretabilidade humana), que permanece difícil de quantificar objetivamente.
• As métricas ainda dependem de perturbações em nível de embedding, que podem não alinhar perfeitamente com distribuições de texto natural.