Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

Resumo Técnico: Desvio Geométrico como Sinal de Confiabilidade Pré-Geração Não Supervisionado

Declaração do Problema
Alucinação — a geração de respostas confiantes, porém incorretas — permanece um desafio crítico de confiabilidade para Modelos de Linguagem de Grande Escala (LLMs) implantados. Embora trabalhos anteriores tenham explorado calibração de incerteza, classificadores de sondagem interna e direcionamento de representações, muitos métodos existentes dependem de dados de falha rotulados, exigem acesso a saídas do modelo (pós-geração) ou são sensíveis a arquiteturas específicas de modelo. A questão central abordada por este trabalho é se a geometria de representação não supervisionada, por si só, pode funcionar como um sinal de confiabilidade pré-geração prático. Especificamente, o modelo pode detectar que uma consulta é inrespondível antes de gerar qualquer token, sem exemplos de falha rotulados ou amostragem de saída?

Metodologia
Os autores propõem uma abordagem mínima e não supervisionada que mede a distância cosseno do estado oculto de um prompt em relação ao centróide de um conjunto de referência de prompts conhecidos como respondíveis ("representações da classe respondível").

• Desenho Experimental: O estudo utiliza três modelos ajustados por instruções de escala similar (7–8 bilhões de parâmetros): Llama 3.1-8B, Qwen 2.5-7B e Mistral-7B.
• Construção de Prompts (Pares Correspondentes): Para isolar a respondibilidade de variações de superfície (domínio, comprimento, sintaxe), os autores constroem pares correspondentes para três formas de prompt:
  • MATEMÁTICA: Questões bem definidas de aritmética/álgebra (Respondível, A) emparelhadas com variantes estruturalmente idênticas contendo quantidades ou operações indefinidas (Inrespondível, U).
  • FATO: Questões factuais verificáveis emparelhadas com variantes que referenciam eventos futuros incognoscíveis ou entidades inexistentes.
  • CÓDIGO: Expressões Python com retornos determinísticos emparelhadas com variantes que são indefinidas, levantam exceções ou exigem computação ilimitada.
• Extração de Sinal: Estados ocultos são extraídos, agrupados por média sobre os tokens de entrada e centrados na média para remover anisotropia. A pontuação de confiabilidade é a distância cosseno de um prompt ao centróide do conjunto Respondível (A) dentro de sua forma específica.
• Linhas de Base: O sinal geométrico é comparado contra:
  1. Linha de Base de Recusa: Um classificador de palavras-chave na saída gerada (detectando recusas explícitas).
  2. Autoconsistência (AC): Uma linha de base pós-geração usando 5 amostras para medir discordância de saída.

Principais Contribuições e Descobertas

1. Geometria Codifica a Forma da Tarefa: A geometria de representação é organizada principalmente pela forma sintática da tarefa (Matemática, Fato, Código) e não apenas pelo conteúdo semântico. Prompts inrespondíveis dentro de uma forma específica tendem a permanecer dentro do cluster geométrico dessa forma, embora sua posição relativa ao centróide varie.
2. Sinal de Confiabilidade Condicional à Forma:
   • MATEMÁTICA (Sinal Forte): Prompts de matemática inrespondíveis desviam-se consistentemente do centróide respondível. Isso produz uma separação forte em todos os três modelos (ROC-AUC 0,78–0,84), superando significativamente tanto a linha de base de recusa quanto a autoconsistência. O sinal captura casos em que os modelos alucinam sem recusar explicitamente.
   • FATO (Sem Sinal): Nenhuma separação geométrica confiável emerge para a inrespondibilidade factual (p > 0,34). A inrespondibilidade factual (por exemplo, eventos futuros) é sintaticamente indistinguível de fatos respondíveis, deixando o cluster geométrico intacto.
   • CÓDIGO (Sinal Misto/Variável): Grandes tamanhos de efeito são observados (d de Cohen > 1,0), sugerindo que o fenômeno se generaliza para código, embora a significância estatística seja mista devido a uma maior variância intra-grupo em expressões Python em comparação com matemática.
3. Perfil de Sinal por Camada: O sinal de respondibilidade é um fenômeno de camadas iniciais. A lacuna entre representações respondíveis e inrespondíveis atinge o pico nas camadas 2–5 e geralmente atenua-se em direção à camada final. A atenuação é impulsionada por representações respondíveis desviando-se em direção a uma variedade "pronta para geração" em camadas mais profundas, e não por sinais inrespondíveis decaírem.
4. Consenso entre Modelos vs. Divergência Comportamental: Há um forte consenso geométrico entre os modelos sobre tipos específicos de prompts inrespondíveis (por exemplo, "o maior número primo"), indicando que o sinal reflete propriedades estruturais no nível de entrada. No entanto, as respostas comportamentais divergem: o Qwen tende a recusar esses prompts, enquanto o Llama frequentemente alucina. Isso sugere que o treinamento de alinhamento molda como os modelos agem sobre anomalias geométricas, e não a existência do próprio sinal de anomalia.

Significado e Alegações
O artigo alega que o desvio geométrico serve como um sinal de confiabilidade pré-geração leve, não supervisionado, mas com limites claros:

• Eficácia: É altamente eficaz em domínios estruturados onde a inrespondibilidade introduz inconsistências estruturais (por exemplo, operações indefinidas matemáticas, código mal tipado). Nestes casos, supera linhas de base baseadas em saída (palavras-chave de recusa, autoconsistência) e opera com latência de inferência zero.
• Limitações: O sinal é condicional à forma, não universal. Falha em detectar inrespondibilidade em consultas factuais de domínio aberto onde a sintaxe permanece válida apesar do conteúdo ser incognoscível.
• Mecanismo: O sinal é estabelecido no início da rede (camadas 2–5), sugerindo que o modelo codifica violações estruturais antes de comprometer-se com uma estratégia de geração.

Conclusão
Os autores concluem que, embora o desvio geométrico não seja um detector universal de alucinações, ele fornece um mecanismo principiado e de baixo custo para verificações de confiabilidade pré-geração em domínios com restrições formais de respondibilidade. As descobertas destacam que a relação entre geometria interna e comportamento do modelo é modulada pelo treinamento de alinhamento, e que ativações de camadas iniciais podem oferecer sinais de confiabilidade mais fortes do que a camada de saída final.