Resumo Técnico: Seleção de Camadas Guiada por Atenção para Decodificação Contrastiva em Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são propensos a alucinações, gerando conteúdo plausível, mas factualmente incorreto. Embora métodos de decodificação contrastiva como o DoLa (Decoding by Contrasting Layers) tenham melhorado a factualidade ao contrastar as distribuições de saída de camadas "maduras" (finais) e "prematuras" (iniciais) dentro de um único modelo, eles dependem exclusivamente de divergências nas distribuições de vocabulário de saída (logits). Esta abordagem ignora a informação estrutural incorporada nos mecanismos de autoatenção interna do modelo, que pode fornecer sinais mais sensíveis para identificar camadas onde o conhecimento factual emerge.

Metodologia

Os autores propõem três estratégias guiadas por atenção para selecionar a camada prematura no framework DoLa. Em vez de comparar logits de saída, estes métodos utilizam as distribuições de autoatenção ($A_l$) das camadas intermediárias para determinar qual camada deve ser contrastada com a camada final ($L$).

Para uma dada posição de token $t$, os métodos computam uma linha de atenção média por cabeça $a^l_t$, representando a distribuição de atenção da camada $l$ sobre os tokens passados. As três estratégias são:

1. Attention-JSD: Seleciona a camada $l^*$ que maximiza a Divergência de Jensen-Shannon (JSD) entre sua distribuição de atenção e a distribuição da camada final.
   $$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$$
2. Attention-Entropy-Max: Seleciona a camada com a máxima entropia de atenção, hipotetizando que uma atenção amplamente distribuída serve como um sinal para seleção de camada.
   $$l^* = \arg \max_{l \in C} H(a^l_t)$$
3. Attention-Entropy-Min: Seleciona a camada com a mínima entropia de atenção, hipotetizando que uma atenção concentrada reflete uma forte dependência de tokens de evidência específicos.
   $$l^* = \arg \min_{l \in C} H(a^l_t)$$

Estas estratégias preservam o framework DoLa, incluindo a restrição de plausibilidade (restringindo os candidatos a tokens de alta probabilidade sob a camada final) e o processo de seleção dinâmica em cada token.

Principais Contribuições

• Novos Sinais de Seleção: O artigo introduz o primeiro uso sistemático de informações estruturais dos mecanismos de autoatenção (divergência e entropia) como sinais dinâmicos para seleção de camada por nível de token na decodificação contrastiva, indo além da dependência de distribuições de vocabulário de saída.
• Validação Empírica: Experimentos extensos nos benchmarks TruthfulQA e FACTOR em seis modelos (LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B) demonstram que as estratégias guiadas por atenção superam consistentemente o DoLa original, particularmente em métricas que avaliam múltiplas respostas corretas (MC2 e MC3).
• Insights Mecanísticos: Através da análise por cabeça, os autores identificam que cabeças de atenção específicas carregam sinais distintos propícios à discriminação de factualidade. Eles mostram que a melhoria da factualidade não é uniforme em todas as cabeças; por exemplo, a Cabeça 6 no LLaMA-7B rendeu escores de MC3 significativamente superiores à média de todas as cabeças.

Resultados Experimentais

• TruthfulQA: Os métodos propostos superaram consistentemente o baseline e o DoLa. O Attention-Entropy-Min alcançou os maiores escores de MC2 (62,8%) e MC3 (36,5%) para o LLaMA-7B, superando significativamente o DoLa. O Attention-JSD produziu os melhores resultados para o LLaMA-13B. Enquanto o DoLa manteve o maior MC1 (resposta única correta) para modelos maiores (33B/65B), os métodos baseados em atenção superaram o DoLa em MC2 e MC3, sugerindo que as distribuições de atenção são mais sensíveis para resolver o conhecimento factual em cenários de múltiplas respostas.
• FACTOR: Em factualidade de texto de longo formato, os métodos mostraram desempenho comparável ou superior ao DoLa. Por exemplo, o Attention-Entropy-Max alcançou 62,6% de acurácia no subconjunto Wiki do LLaMA-7B (vs. 62,1% do DoLa), e o Attention-JSD atingiu 64,1% no subconjunto Wiki do Gemma-7B (vs. 63,3% do DoLa).
• Padrões de Seleção de Camada: A análise revelou que, enquanto o DoLa e o Attention-JSD tendem a selecionar as camadas mais rasas disponíveis, o Attention-Entropy-Min seleciona adaptativamente camadas através de um intervalo mais amplo e profundo (ex: camadas 22–30 no LLaMA-7B), sugerindo que ele responde de forma mais dinâmica ao contexto de entrada.
• Distribuição de Pontuação: O DoLa tende a produzir distribuições "agudas" com alta confiança em uma única resposta correta (benéfico para MC1), enquanto os métodos baseados em atenção produzem distribuições mais "planas" que espalham as pontuações entre várias opções corretas (benéfico para MC2/MC3).

Significância e Alegações

O artigo afirma que as distribuições de atenção interna fornecem um sinal mais sensível para resolver o conhecimento factual do que as distribuições de vocabulário de saída, particularmente para tarefas que exigem a identificação de múltiplas respostas válidas. Ao aproveitar a informação estrutural da autoatenção, os métodos propostos aumentam a factualidade sem exigir treinamento adicional ou modelos externos.

Os autores enfatizam que sua abordagem é um plug-in prático de tempo de inferência que mantém o overhead computacional dentro de uma faixa razoável. Eles concluem que, embora os métodos atuais exijam validação prévia para selecionar os buckets de camadas prematuras candidatas, a descoberta de que cabeças de atenção específicas (em vez de apenas a média) impulsionam a factualidade sugere um caminho para otimização futura através da seleção de cabeças dependente de contexto.

Limitações

Os autores reconhecem que sua avaliação é atualmente limitada a benchmarks de múltipla escolha, e a aplicabilidade à geração de texto livre ainda precisa ser verificada. Adicionalmente, a seleção do bucket de camadas prematuras candidatas ainda requer validação, e a base teórica de por que cabeças de atenção específicas se destacam na recuperação factual ainda não foi totalmente elucidada.