From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data

Resumo Técnico: Origens Estruturais da Alucinação em Grandes Modelos de Linguagem

Definição do Problema
Grandes modelos de linguagem (LLMs) produzem consistentemente saídas fluentes, confiantes, porém factualmente incorretas — um fenômeno conhecido como alucinação. Embora as taxonomias existentes (ex: Alansari e Luqman [1]; Huang et al. [2]) classifiquem rigorosamente as alucinações por suas características de saída (intrínseca vs. extrínseca, fidelidade vs. factualidade), elas falham em identificar os mecanismos arquitetônicos internos específicos responsáveis pela geração desses erros. Os frameworks atuais descrevem o sintoma, mas não localizam a causa, deixando as estratégias de intervenção indiretas e focadas no gerenciamento das saídas, em vez de abordar as origens. Este artigo argumenta que a alucinação não é um fenômeno superficial aleatório, mas uma consequência estrutural de três decisões arquitetônicas específicas que formam um "sistema de falha composta".

Metodologia
O artigo emprega uma análise mecanística da arquitetura Transformer, rastreando a alucinação até três componentes principais:

1. Autoatenção (Self-Attention): Analisada como um mecanismo que aprende a coocorrência estatística em vez da verdade semântica.
2. Estimativa de Máxima Verossimilhança (MLE): Analisada como um objetivo de treinamento que otimiza a plausibilidade estatística sem restrições factuais.
3. Decodificação Autoregressiva: Analisada como um processo de geração sujeito ao viés de exposição (exposure bias), onde os erros cascateiam irreversivelmente.

Para validar essas afirmações teóricas, os autores realizaram experimentos empíricos controlados utilizando o GPT-2 (um transformer autoregressivo apenas de decodificador). Os experimentos isolaram cada mecanismo sob condições específicas de prompting:

• Autoatenção: Testada para falhas de coocorrência e viés posicional usando prompts projetados para disparar associações aprendidas em contextos inválidos.
• Objetivo MLE: Testado para indiferença à precisão factual comparando pontuações de log-probabilidade de falsidades comuns versus verdades verificadas.
• Decodificação Autoregressiva: Testada para falhas em cascata introduzindo um único erro factual no prefixo do prompt e observando a propagação desse erro através da sequência gerada.

O artigo também sintetiza achados de literatura prévia (ex: Liu et al. [8] sobre viés de atenção; Lin et al. [9] sobre escala inversa; Shumailov et al. [12] sobre colapso de modelo) para demonstrar como patologias de conjuntos de dados (deficiências de cauda longa, viés de treinamento, poluição sintética) interagem com esses mecanismos arquitetônicos.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Mapeamento Mecanismo-Saída: Estabelece um mapeamento direto entre os três mecanismos arquitetônicos e categorias específicas de alucinação na taxonomia de Alansari e Luqman [1]:
   • A autoatenção é identificada como a fonte da alucinação intrínseca (confusão de entidades, má atribuição de fatos, deriva semântica) causada pela substituição do significado semântico pela proximidade estatística.
   • O MLE é identificado como a fonte da alucinação extrínseca (falsidades imitativas) causada pela recompensa de padrões estatisticamente frequentes, independentemente da verdade.
   • A decodificação autoregressiva é identificada como a fonte da inconsistência lógica causada pelo compromisso permanente da esquerda para a direita dos tokens sob viés de exposição.
2. Reenquadramento de Patologias de Conjuntos de Dados: O artigo argumenta que as patologias de conjuntos de dados (deficiências de cauda longa, viés de treinamento e poluição sintética) não causam a alucinação de forma independente. Em vez disso, elas atuam como amplificadores que exploram as vulnerabilidades pré-existentes dos três mecanismos arquitetônicos. Por exemplo, deficiências de cauda longa exploram a natureza orientada pela frequência do objetivo MLE, enquanto a poluição sintética alimenta padrões corrompidos em todos os três mecanismos simultaneamente, levando ao colapso do modelo.
3. Limitação Diagnóstica e Redesenho Proposto: O artigo identifica uma lacuna crítica nos frameworks diagnósticos atuais: classificar a alucinação apenas pelo tipo de saída impede a intervenção direcionada. Propõe um sistema de classificação de dois eixos que retém o eixo do tipo de saída (intrínseca/extrínseca) e adiciona um eixo de mecanismo (atenção, MLE, autoregressivo) para localizar o operador arquitetônico específico responsável por um erro.

Resultados

• Validação Empírica: Experimentos no GPT-2 confirmaram os modos de falha estrutural.
  • Autoatenção: Em 13 de 15 prompts (86,7%), o modelo gerou complementações factualmente erradas baseadas em padrões fortes de coocorrência em vez de fundamentação semântica. Os pesos de atenção concentraram-se em pares de tokens estatisticamente dominantes em vez de contexto semanticamente relevante.
  • MLE: O modelo atribuiu massa de probabilidade maior ou equivalente a falsidades comuns em comparação a verdades verificadas, confirmando que o objetivo recompensa a frequência sobre a precisão.
  • Decodificação Autoregressiva: Em 4 de 5 pares de teste, um único token errado no prefixo do prompt fez com que o modelo gerasse uma sequência fluente, mas factualmente quebrada, que potencializou o erro inicial, demonstrando o efeito de cascata do viés de exposição.
• Observações de Escala: O artigo observa que escalar modelos sob MLE não resolve a alucinação; pelo contrário, modelos maiores aprendem a distribuição de treinamento (incluindo suas falsidades) de forma mais completa, potencialmente aumentando a fidelidade das alucinações extrínsecas (escala inversa da veracidade).

Significância
O artigo afirma que entender a alucinação como uma consequência estrutural de decisões arquitetônicas é um pré-requisito necessário para uma intervenção eficaz. Ao mudar o foco de "que tipo de alucinação ocorreu" para "qual mecanismo a produziu", o campo pode ir além de estratégias de mitigação indiretas (como engenharia de prompt ou aumento de recuperação/RAG) em direção a intervenções arquitetônicas direcionadas. Os autores argumentam que, sem identificar o operador arquitetônico específico (atenção, MLE ou decodificação) responsável por um erro, as intervenções permanecem cegas à causa raiz. Esta análise estrutural fornece um framework diagnóstico que vincula modos de falha específicos às suas origens arquitetônicas, oferecendo uma visão mais completa da confiabilidade dos LLMs e uma base para pesquisas futuras em mitigação ao nível do mecanismo.