Resumo Técnico: Preenchendo a Lacuna entre Conhecimento e Predição em LLMs em Questões de Múltipla Escolha

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente exibem uma "lacuna de conhecimento-predição", um fenômeno onde o modelo possui a resposta correta dentro de suas representações ocultas internas, mas falha em gerá-la como o output final. Essa discrepância é particularmente evidente em configurações de Questões de Múltipla Escolha (MCQ), onde os modelos podem selecionar opções incorretas apesar de codificarem linearmente a resposta correta em seus fluxos residuais (residual streams). Trabalhos anteriores atribuíram tais falhas a pistas superficiais, vieses de opções ou artefatos estilísticos, mas uma explicação unificada conectando essas falhas à estrutura geométrica interna do modelo permaneceu inexplorada. Especificamente, não está claro se essa lacuna é onipresente em diversos domínios, qual estrutura geométrica fundamenta o desalinhamento entre o conhecimento interno e o comportamento de saída, e se essa lacuna pode ser mitigada no tempo de inferência sem retreinamento.

2. Metodologia

Os autores propõem um framework de análise e intervenção de três etapas:

A. Quantificando a Lacuna via Sondagem Linear (Linear Probing)

Os autores definem a lacuna de conhecimento-predição como a discrepância entre o conhecimento codificado nas representações internas e as predições geradas. Para medir isso, eles treinam duas sondagens lineares distintas nas ativações do fluxo residual do LLM:

1. Sonda de Conhecimento (Knowledge Probe): Um classificador linear de $k$-classes treinado para prever a resposta correta ($y$) a partir dos estados ocultos.
2. Sonda de Predição (Prediction Probe): Um classificador linear de $k$-classes treinado para prever a própria escolha gerada pelo modelo ($\tilde{y}$).

Eles avaliam essas sondas em diversos modelos (ex: Llama 3.1 8B, Qwen 2.5 7B) e benchmarks (Raciocínio, Conhecimento, Veracidade, Viés). Para quantificar a lacuna, introduzem duas métricas:

• Acordo de Predição (AGR): A frequência com que a sonda de conhecimento e o output do modelo selecionam a mesma opção.
• Divergência Distribucional (KLD): A divergência de Kullback-Leibler entre as distribuições de probabilidade da sonda de conhecimento e o output do modelo.

B. Interpretação Geométrica

Os autores interpretam os vetores de peso das sondas treinadas como definidores de subespaços de baixa dimensão dentro do fluxo residual:

• Subespaço de Conhecimento: Espaçado pelos pesos da sonda de conhecimento.
• Subespaço de Predição: Espaçado pelos pesos da sonda de predição.

Eles hipotetizam que uma grande lacuna de conhecimento-predição corresponde a um desalinhamento sistemático entre esses dois subespaços. Quando a lacuna é grande, as coordenadas de um estado oculto projetado no subespaço de predição divergem significamente de suas coordenadas no subespaço de conhecimento.

C. KAPPA: Intervenção no Tempo de Inferência

Para mitigar essa lacuna, os autores introduzem o KAPPA (Knowledge-Aligned Prediction through Projection-based Adjustment). O KAPPA é uma intervenção leve, realizada no tempo de inferência, que aplica uma transformação afim ao fluxo residual.

• Mecanismo: Ele resolve um problema de otimização restrita para perturbar minimamente o estado oculto $h$ de modo que suas coordenadas no subespaço de predição se alinhem com suas coordenadas no subespaço de conhecimento.
• Formulação: A transformação $T$ mapeia $h$ para $h'$ resolvendo:
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{sujeito a} \quad W_{pred}^\top h' = W_{know}^\top h$$
  Isso resulta em uma solução de forma fechada que ajusta o estado oculto apenas dentro do subespaço de predição, deixando os componentes ortogonais inalterados.
• Generalização: O método inclui hiperparâmetros $\alpha$ e $\beta$ para controlar a força do alinhamento, permitindo um ajuste flexível de quão fortemente o conhecimento interno influencia a predição.

3. Principais Contribuições

1. Evidência Empírica de uma Lacuna Generalizada: O estudo estabelece que a lacuna de conhecimento-predição é onipresente em diversos benchmarks de MCQ e famílias de modelos. A lacuna é mais pronunciada em tarefas de raciocínio, veracidade e viés, sendo menos evidente em benchmarks intensivos em conhecimento.
2. Explicação Geométrica: O artigo fornece uma interpretação geométrica da lacuna, identificando-a como um desalinhamento entre distintos subespaços de conhecimento e de predição no fluxo residual.
3. Intervenção KAPPA: Os autores apresentam o KAPPA, um método de tempo de inferência que calibra geometricamente os estados ocultos para alinhar as predições do modelo com o conhecimento interno. Diferente de métodos de steering anteriores que aplicam correções fixas, o KAPPA adapta seu ajuste com base na lacuna específica de conhecimento-predição de cada instância.

4. Resultados

• Magnitude da Lacuna: As sondagens lineares consistentemente superam a precisão de geração do modelo base em todos os datasets testados, confirmando que os modelos codificam conhecimento linearmente acessível que falham em utilizar. A lacuna varia significamente por domínio, com o TruthfulQA e o BBQ mostrando as maiores discrepâncias (ex: $\Delta$ACC de até +21,3% para o Qwen 2.5 7B).
• Melhoria de Desempenho: O KAPPA reduz consistentemente a lacuna e melhora a precisão em relação aos modelos base e métodos existentes de tempo de inferência (como CAA e DoLA).
  • No TruthfulQA, o KAPPA melhorou a precisão do Llama 3.1 8B em 8,9–16,9 pontos.
  • Em benchmarks de Raciocínio (GSM8k, BBH), o KAPPA alcançou ganhos consistentes de 1,5–5,0 pontos.
  • O KAPPA aumentou significativamente a Taxa de Acordo (AGR) entre a sonda de conhecimento e o output do modelo, frequentemente aproximando-se da própria precisão da sonda de conhecimento.
• Generalização:
  • Entre Modelos: O KAPPA mitiga efetivamente a lacuna em modelos de diferentes tamanhos (4B a 14B) e arquiteturas (Mistral, Llama, Qwen).
  • Transferência entre Datasets: Embora os subespaços sejam geralmente específicos de cada dataset, observou-se transferência bem-sucedida entre tarefas que exigem habilidades subjacentes semelhantes (ex: de BBH-NLP para GSM8K).
  • Geração de Texto Livre: Aplicar o KAPPA em configurações de texto livre (sem opções de múltipla escolha) melhorou a precisão no TruthfulQA, demonstrando que o alinhamento geométrico se estende além dos formatos de múltipla escolha.

5. Significância e Alegações

O artigo afirma que muitas falhas de LLMs, particularmente alucinações e erros de raciocínio, não decorrem da falta de conhecimento, mas de um desalinhamento entre o que o modelo codifica internamente e o que ele finalmente prediz. Ao identificar distintos subespaços de conhecimento e predição, os autores fornecem uma explicação geométrica interpretável para essas falhas.

A introdução do KAPPA demonstra que essa lacuna pode ser preenchida através do alinhamento de nível de representação sem treinamento adicional. Os autores concluem que o alinhamento de nível de representação é uma direção promissora para elicitar predições mais fiéis de LLMs. Eles observam que, embora seu trabalho foque em conhecimento linearmente acessível, trabalhos futuros são necessários para entender como alinhar conhecimentos codificados de forma mais complexa e não linear.