Resumo Técnico: Decodificável mas Não Corrigido por Direcionamento Linear Fixo de Fluxo Residual

Declaração do Problema

Este artigo investiga uma lacuna crítica na interpretabilidade e controle de Modelos de Linguagem de Grande Escala (LLMs): a lacuna classificação-correção. Embora trabalhos anteriores tenham demonstrado que estados comportamentais específicos (por exemplo, recusa, sentimento) podem ser linearmente decodificados a partir de estados ocultos e corrigidos via direcionamento de ativação, permanece incerto se isso se aplica a falhas complexas de raciocínio multi-etapa. Os autores focam em um regime específico de falha em perguntas e respostas médicas (MedQA) chamado Superpensamento (OT), onde os modelos frequentemente produzem respostas corretas sob reamostragem, mas falham ao gerar traços de cadeia de pensamento (CoT) estendidos. A questão central é: Se um modo de falha é linearmente decodificável nos estados ocultos, vetores de direcionamento linear fixos podem ser usados para corrigi-lo?

Metodologia

1. Identificação do Regime Comportamental (Superpensamento)

Os autores definem Superpensamento (OT) como uma construção comportamental onde:

• O modelo responde corretamente em $\ge$60% dos traços amostrados (indicando que o conhecimento está presente).
• O modelo produz uma resposta incorreta em traços de raciocínio longo (>200 tokens).
• Este regime é distinto de Déficit de Conhecimento (KD) (erros factuais) e Quebra da Cadeia de Raciocínio (RCB) (fatos válidos, lógica inválida).
• O OT é identificado com alta estabilidade (Jaccard $\ge$0,81 sob perturbação de limiar, 94% de concordância interanotador).

2. Análise Geométrica

Utilizando Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct, os autores extraíram estados ocultos de 12.000 traços (2.000 por modo de falha + 6.000 traços corretos correspondentes).

• Vetores Contrastivos: Calculados como a diferença normalizada entre os estados ocultos médios de traços corretos e modos de falha específicos ($v = \bar{h}_{correto} - \bar{h}_{modo}$).
• Classificação: Sondas lineares foram treinadas para distinguir traços OT de traços não-OT.
• Decomposição de Especificidade: Os autores calcularam a razão de especificidade para determinar quanto do vetor contrastivo é único ao modo de falha versus compartilhado com direções gerais "incorreto-vs-correto".
• Cruzamento de Arquitetura e Domínio: A validação foi realizada no Qwen2.5-7B e no domínio MMLU-STEM para testar a generalização.

3. Experimentos de Direcionamento de Ativação

Os autores testaram cinco famílias de intervenções de direcionamento linear fixo no conjunto de teste Llama-3.1-8B ($n=1.273$) e Qwen2.5-7B ($n=1.273$):

1. Direcionamento Contrastivo: Adição de $\alpha \cdot v$ nas camadas de pico.
2. Direcionamento Guiado por Sonda: Uso de vetores de peso da sonda em vez de vetores contrastivos.
3. Direcionamento Multi-camada: Aplicação de vetores em 1, 3 ou 5 camadas.
4. Direcionamento de Subespaço Rank-k: Direcionamento dentro de subespaços abrangidos pelos principais vetores singulares.
5. Direcionamento de Fim de Prompt: Uso de vetores derivados do prompt (pré-geração) para evitar contaminação da resposta.

• Apagamento de Conceito: Uma intervenção complementar projetando para fora a direção de falha para testar o emaranhamento causal.
• Controles: Um controle de direcionamento de recusa verificou a infraestrutura; varreduras de temperatura e avaliações na mesma temperatura descartaram deslocamentos distribucionais como a causa primária da falha.

4. Confiabilidade Pós-Geração

Os autores avaliaram se a estrutura decodificável poderia suportar abstenção seletiva (recusar-se a responder quando a sonda prevê baixa confiança) como uma alternativa à correção.

Principais Resultados

1. A Lacuna Classificação-Correção

• Decodificabilidade: O OT é linearmente decodificável com 71,6% de precisão balanceada ($p \approx 10^{-16}$) no Llama-3.1-8B. Este sinal é robusto à regressão de comprimento e perturbações de limiar.
• Falha no Direcionamento: Apesar da alta decodificabilidade, todas as 29 configurações de direcionamento linear fixo em cinco famílias de métodos resultaram em $\Delta \approx 0$ (nenhuma melhoria significativa na precisão).
  • Direcionamento específico do modo: $\Delta = -0,2$ pp.
  • Direcionamento multi-camada: $\Delta \approx 0$.
  • Direcionamento de fim de prompt: $\Delta \approx 0$.
• Consistência Cruzada de Arquitetura: O resultado nulo manteve-se para Qwen2.5-7B (9 configurações) e MMLU-STEM (4 configurações).

2. Evidência de Emaranhamento Representacional

A falha em direcionar é atribuída ao emaranhamento representacional entre o sinal de falha e o cálculo crítico da tarefa:

• Baixa Especificidade: A razão de especificidade específica do OT é apenas 0,119 (Llama) e 0,152 (Qwen). Isso significa que ~88% do sinal contrastivo alinha-se com a direção compartilhada "incorreto-vs-correto".
• Dano Causal:
  • Direcionamento de direção compartilhada (aplicando a direção incorreta compartilhada) danificou severamente a precisão ($\Delta = -12,1$ pp).
  • Apagamento de Conceito: Remover a direção OT via projeção de diferença de médias danificou a precisão ($\Delta = -3,6$ pp, $p=0,01$), enquanto 10 direções aleatórias não produziram dano ($\Delta = +0,3$ pp). Isso confirma que a direção OT está causalmente emaranhada com o raciocínio correto, não meramente correlacionada.
• Não Correlação por Instância: A correlação entre a confiança da sonda e o efeito do direcionamento é $r = -0,002$ ($p=0,97$), indicando que saber quando um modelo está superpensando não prevê como direcioná-lo.

3. Descoberta Positiva: Abstenção Seletiva

Enquanto o direcionamento falhou, a estrutura decodificável permitiu estimação de confiabilidade pós-geração:

• Uma sonda de correção alcançou uma AUROC de 0,610 no conjunto de teste retido, superando significativamente cinco baselines de incerteza de única passagem direta (melhor baseline AUROC = 0,569, $\Delta = 0,041$, $p=0,009$).
• Abstenção Seletiva: Ao abster-se em previsões de baixa confiança, o modelo alcançou um ganho de precisão de +5,5 pp em 60% de cobertura.
• Comparação com Autoconsistência: Enquanto a votação majoritária (Autoconsistência) corrige 100% dos erros OT, ela requer 10x o custo de geração. A sonda oferece uma alternativa de única passagem econômica para estimativa de confiabilidade.

4. Intervenções Não-Lineares

Um experimento preliminar usando um MLP não-linear aprendido (adaptador residual) alcançou uma melhoria modesta, mas significativa ($\Delta = +2,8$ pp, $p=0,025$). Isso sugere que a lacuna não é absoluta, mas específica para intervenções lineares fixas; transformações não-lineares podem parcialmente desemaranhar o subespaço compartilhado.

Significado e Alegações

O artigo alega fornecer evidência mecanicista de por que o direcionamento de ativação falha em regimes de raciocínio multi-etapa, indo além da mera documentação do fenômeno.

1. Explicação Geométrica: Os autores argumentam que a lacuna classificação-correção surge porque os sinais de falha em tarefas de raciocínio estão emaranhados com o cálculo relevante para a tarefa. Diferentemente da recusa (que tem uma razão de especificidade de 0,999 e é direcionável), o sinal OT compartilha ~88% de sua direção com o caminho de raciocínio correto.
2. Assimetria Observação-Intervenção: O estudo demonstra que a decodificabilidade não implica direcionabilidade. Um sinal pode ser estatisticamente legível por uma sonda (observação) sem ser causalmente acionável via perturbação aditiva (intervenção) porque a perturbação inevitavelmente interrompe o cálculo de tarefa compartilhado.
3. Valor Operacional da Sondagem: Mesmo quando o direcionamento falha, a estrutura decodificável tem utilidade para estimação de confiabilidade (abstenção seletiva), oferecendo uma ferramenta prática para implantação onde a correção é impossível.
4. Framework Diagnóstico: Os autores propõem um Perfil de Acessibilidade Linear (LAP) e razão de especificidade como diagnósticos pré-intervenção. Eles sugerem que, se uma direção tiver baixa especificidade (<0,21) e alta sobreposição com o cálculo de tarefa, o direcionamento linear fixo é improvável de ter sucesso.

O artigo conclui que, embora a "lacuna classificação-correção" seja um fenômeno empírico robusto no raciocínio médico, ela pode ser parcialmente fechada por intervenções não-lineares aprendidas que podem desemaranhar direções compartilhadas, uma direção para trabalhos futuros.