On the Fundamental Impossibility of Hallucination Control in Large Language Models

Resumo Técnico: Sobre a Impossibilidade Fundamental do Controle de Alucinação em Grandes Modelos de Linguagem

Definição do Problema
Grandes Modelos de Linguagem (LLMs) frequentemente produzem saídas que são factualmente incorretas, inconsistentes ou não sustentadas por seus dados de treinamento, um fenômeno conhecido como alucinação. Apesar da extensa pesquisa em inovações arquitetônicas (ex: Mistura de Especialistas, Geração Aumentada de Recuperação) e técnicas de treinamento (ex: Cadeia de Pensamento, RLHF), a alucinação persiste. Este artigo postula que a alucinação não é meramente um erro a ser corrigido, mas reflete um limite fundamental e condicional do processo de inferência. O problema central é se um modelo pode satisfazer simultaneamente quatro propriedades desejáveis de uma resposta ideal: (1) Veracidade (os componentes relatam o conhecimento com precisão), (2) Conservação de Informação Semântica (nenhum conhecimento é criado ex nihilo), (3) Participação de Fontes Relevantes (todo conhecimento relevante contribui), e (4) Otimalidade Restrita ao Conhecimento (a resposta é a melhor possível dado o conhecimento disponível).

Metodologia e Estrutura Teórica
O autor desenvolve um rigoroso arcabouço matemático para analisar a inferência como um problema de design de mecanismos, especificamente um "leilão de ideias".

1. Representação do Conhecimento: O conhecimento é modelado como um espaço polonês (um espaço métrico completo e separável) para acomodar a natureza contínua das transformações e embeddings neurais. O raciocínio é formalizado via um "operador de emergência" ($E_C$) que torna o conhecimento latente acessível dentro de um orçamento computacional $C$, sem criar nova informação.
2. Medida de Informação Semântica: Uma medida $\mu_C$ é definida para quantificar a informação disponível dentro de um contexto e orçamento. O arcabouço distingue entre verdade fundamental (realidade externa) e suporte (derivação de evidência autorizada).
3. O Leilão de Ideias: A inferência é modelada como um jogo onde componentes internos (ex: cabeças de atenção, circuitos) atuam como agentes com conhecimento privado. Eles "licitam" para influenciar a saída final. O artigo analisa três configurações complementares para provar resultados de impossibilidade:
   • Conhecimento Privado Idealizado: Os componentes detêm conhecimento privado independente.
   • Previsões Probabilísticas: Os componentes produzem distribuições de probabilidade pontuadas por funções de perda convexas e estritamente próprias.
   • Arquitetura Transformer: Uma análise concreta de modelos de logit aditivo e a operação log-sum-exp em transformers.

Contribuições Principais e Resultados

O artigo estabelece três Teoremas de Impossibilidade condicionais, demonstrando que as quatro propriedades desejáveis não podem coexistir quando certos "interruptores" são ativados.

• Teorema 6 (Conhecimento Privado Independente): Em um cenário idealizado onde os componentes detêm conhecimento privado independente, se a consulta força os componentes a contestar os mesmos fatos relevantes (ou seja, múltiplas fontes detêm e competem para afirmar o mesmo fato), nenhum mecanismo pode alcançar simultaneamente veracidade, conservação de informação semântica, participação e otimalidade. Este resultado baseia-se no teorema de Green-Laffont de design de mecanismos. A obstrução surge porque o "crédito" devido às fontes por sua influência conjunta não pode ser equilibrado por transferências independentes de relatório quando o conhecimento se sobrepõe.
• Teorema 8 (Agregação Probabilística): Em configurações onde os componentes relatam previsões de probabilidade pontuadas por uma perda convexa e estritamente própria (ex: entropia cruzada), se as previsões divergem sobre o resultado realizado, o processo de agregação cria um "gap de Jensen". A distribuição agregada exibe uma confiança estritamente maior (perda menor) do que a média ponderada das perdas dos componentes individuais. Isso cria um defeito de balanço positivo na contabilidade das contribuições de informação, tornando a conservação impossível.
• Teorema 9 (Arquitetura Transformer): Aplicado a um modelo transformer concreto, o teorema mostra que somar os logits dos canais (de cabeças de atenção e FFNs) e aplicar uma normalização softmax inerentemente deixa um "gap log-sum-exp" positivo. Esse gap representa uma confiança excessiva na saída agregada em relação aos canais declarados. O gap admite uma decomposição em duas partes: um piso que é estritamente positivo para qualquer canalização finita (independente de os componentes divergirem ou não) e um termo de confiança excessiva que mede o grau de divergência entre os canais. Assim, o gap está sempre presente devido ao piso, mas sua magnitude é relativa à regra de canalização e contabilidade; o termo de confiança excessiva desaparece apenas quando os perfis dos canais coincidem, mas o piso permanece.

Fundamentação Certificável vs. Verdade
Uma distinção crucial é feita entre verdade (alinhamento com a verdade fundamental) e suporte (alinhamento com a evidência autorizada). O artigo prova (Teorema 11) que, embora a verdade não possa ser certificada internamente sem um oráculo, o suporte pode ser efetivamente certificado. Se um corpo de evidência autorizada for fornecido, pode-se verificar mecanicamente se uma resposta permanece dentro do fechamento dedutivo dessa evidência. No entanto, uma resposta suportada pode ser falsa, e uma resposta verdadeira pode não ser suportada.

Dicotomia Conservação-Raciocínio
O Teorema 12 estabelece uma dicotomia: A conservação estrita de informação semântica (ganho líquido zero de informação) e o raciocínio significativo (gerar novos insights ou tornar o conhecimento latente acessível) são mutuamente exclusivos. Impor a conservação estrita torna o raciocínio vácuo. Portanto, a conservação estrita não é uma alavanca apropriada para segurança; em vez disso, a segurança deve ser definida como "criatividade limitada" dentro de um envelope autorizado.

Significado e Alegações
O artigo afirma oferecer um resultado construtivo em vez de puramente negativo. Ele não prova que a alucinação é inevitável em todos os casos, mas mapeia as condições estruturais precisas sob as quais ela se torna inevitável.

• Limite Estrutural: A impossibilidade é estrutural, residindo no passo de agregação da inferência, e não em uma limitação de dados, computação ou escolhas arquitetônicas específicas.
• Gestão de Trade-offs: Os teoremas sugerem que o controle da alucinação não é sobre eliminação, mas sobre gerenciar trade-offs. Diferentes aplicações (ex: diagnóstico médico vs. escrita criativa) podem priorizar propriedades diferentes (ex: veracidade vs. otimalidade).
• Contabilidade vs. Veredito: A "confiança excessiva" identificada nos teoremas é um gap de contabilidade relativo a uma regra de contabilidade específica (ex: canalização). É um diagnóstico do mecanismo de agregação, não um veredito direto sobre incorreção factual.
• Analogia a Limites Fundamentais: O artigo traça analogias com a incompletude de Gödel, o princípio da incerteza de Heisenberg e o teorema da impossibilidade de Arrow, sugerindo que os LLMs, como sistemas formais e sistemas físicos, operam sob restrições fundamentais sobre o que pode ser simultaneamente conhecido, agregado e relatado.

O artigo conclui que, embora a alucinação não possa ser universalmente eliminada, compreender essas obstruções estruturais permite o design de sistemas principados, como o uso de evidência externa para certificar o suporte, em vez de tentar forçar um modelo a satisfazer propriedades mutuamente exclusivas.