Resumo Técnico: Sinais de Correção de Código nos Estados Ocultos de LLMs

Declaração do Problema

Este trabalho investiga a legibilidade da correção de código nos estados ocultos de Grandes Modelos de Linguagem (LLMs), focando especificamente no modelo Qwen3-4B-Instruct-2507. O estudo aborda duas questões temporais distintas em relação à geração de código em tarefas do 444 LiveCodeBench:

1. Pré-Geração: A correção do primeiro código de um modelo já é decodificável a partir do estado oculto no último token do prompt, antes de qualquer token de saída ser gerado?
2. Geometria de Reparo: Quando um modelo tenta reparar uma geração de código que falhou, o deslocamento (delta) em seu estado oculto entre a tentativa de falha e a tentativa de reparo carrega uma assinatura geométrica estável e isolável de se o reparo terá sucesso?

O estudo opera dentro do framework da interpretabilidade mecanística, utilizando sondas lineares e análise de direção contrastiva para determinar se as representações internas codificam propriedades verificáveis como correção de código ou sucesso de reparo.

Metodologia

Modelo e Dados

• Modelo: Qwen/Qwen3-4B-Instruct-2507 (transformer de decodificador único de 36 camadas, estado oculto de 2560 dimensões).
• Conjunto de Dados: 444 tarefas do LiveCodeBench (fácil, médio, difícil).
• Hardware: Uma única NVIDIA RTX 4050 (6 GB VRAM).
• Captura de Dados: Os estados ocultos são extraídos do último token do prompt de uma única passagem direta (antes da geração autorregressiva) para a análise de pré-geração. Para a análise de reparo, os estados ocultos são capturados para a primeira tentativa (tentativa 0) e a subsequente tentativa de reparo (tentativa 1).

Técnica Central: Residualização

O artigo emprega a residualização como uma ferramenta primária de controle de confusão. Isso envolve:

1. Ajustar uma regressão de Mínimos Quadrados Ordinários (OLS) para cada dimensão do estado oculto contra uma covariável candidata (ex: comprimento do prompt, características do contexto de reparo).
2. Subtrair a predição ajustada das dimensões do estado oculto para remover a contribuição linear dessa covariável.
3. Reavaliar o sinal (desempenho da sonda ou direção geométrica) nos dados residualizados.

Esta abordagem é utilizada para distinguir entre sinais que são intrínsecos à representação do modelo versus aqueles que são artefatos da estrutura de entrada ou diferenças de contexto.

Pipelines Experimentais

1. Sonda de Pré-Geração (Seção 3):

   • Uma sonda linear (StandardScaler $\to$ PCA $\to$ Regressão Logística) é treinada para prever rótulos de passagem/falha a partir do estado oculto final do prompt (Camada 29 selecionada via CV aninhada).
   • Seleção de Camada: Validação cruzada aninhada (50 divisões externas, 5-fold CV interna) é usada para selecionar a camada ideal e a força de regularização ($C$) para evitar vazamento de dados do conjunto de teste.
   • Baselines: Comparação contra estados ocultos brutos, estados ocultos residualizados (removendo o comprimento do prompt) e um baseline de apenas comprimento de prompt.

2. Análise de Direção de Reparo (Seção 4):

   • Construção do Delta: Para tarefas onde a tentativa 0 falha e a tentativa 1 existe, o delta do estado oculto é definido como $\delta = h_{\text{tentativa 1}} - h_{\text{tentativa 0}}$.
   • Direção Contrastiva: O vetor $v = \text{média}(\delta_{\text{sucesso}}) - \text{média}(\delta_{\text{falha}})$ é computado.
   • Validação: Dois testes são aplicados a $v$:
     • Magnitude: Norma de $v$ comparada contra nulos de rótulos embaralhados.
     • Inclinação: Similaridade de cosseno split-half entre direções recuperadas de duas metades dos dados.
   • Verificação de Covariável: Antes da residualização, testes estatísticos (teste t de Welch, Qui-quadrado) verificam se as covariáveis diferem entre os grupos de sucesso e falha. A residualização é aplicada apenas às covariáveis que mostram diferenças significativas entre os grupos.
   • Covariáveis: $\Delta$tokens_do_prompt, comprimento_do_código_tentativa_0 e tipo_de_falha.

Resultados Principais

1. A Correção Pré-Geração é Linearmente Decodificável

• Sinal Bruto: Uma sonda linear treinada no estado oculto final do prompt (Camada 29 selecionada via CV aninhada) alcança um AUC de 0,931 ± 0,008 livre de vazamento através de 50 divisões aleatórias.
• Robustez ao Comprimento do Prompt: Após residualizar as dimensões do estado oculto contra o comprimento do prompt, o desempenho da sonda permanece alto em 0,911 ± 0,010.
• Comparação com Baseline: Um baseline de apenas comprimento de prompt atinge um AUC de 0,754 ± 0,014. Modelos não lineares (Random Forest, Gradient Boosting, MLP) treinados apenas no comprimento do prompt não excedem este baseline.
• Conclusão: O estado oculto contém um sinal de correção que é robusto e não redutível ao comprimento do prompt, existindo antes de um único token de saída ser gerado.

2. A Direção de Reparo é um Correlato Contextual, Não uma Característica Isolada

• Sinal Bruto: Nos deltas brutos (236 transições limpas: 128 sucessos, 108 falhas), existe uma direção contrastiva. Ela passa nos testes de magnitude ($p < 0,001$) e split-half cosseno ($p < 0,001$) contra nulos de rótulos embaralhados.
• Desequilíbrio de Covariáveis: Testes estatísticos revelam que os grupos de sucesso e falha diferem significativamente em $\Delta$tokens_do_prompt, comprimento inicial do código e distribuição do tipo de falha ($p < 0,001$ para todos).
• Efeito da Residualização: Quando os deltas são residualizados contra essas três covariáveis:
  • A magnitude da direção cai de 9,76 para 3,72 (38% do original).
  • O split-half cosseno cai de 0,767 para 0,140.
  • Nenhum dos testes permanece estatisticamente significativo (Magnitude $p=0,126$, Split-half $p=0,942$).
• Conclusão: A direção geométrica observada nos deltas brutos é um correlato do sucesso do reparo impulsionado pela estrutura do contexto de reparo (ex: a mensagem de erro específica e as diferenças de comprimento de código) em vez de uma característica isolada de "compreensão de reparo" no espaço de ativação.

3. Limitações em Reparos de Múltiplas Etapas

• O estudo observa que a taxa de sucesso cai drasticamente após a primeira tentativa de reparo (Tentativa 1: 36,4%, Tentativa 2: 6,7%).
• Os dados para transições além de $0 \to 1$ (ex: $1 \to 2$) são muito escassos (apenas 13 sucessos para $1 \to 2$) para suportar uma análise de direção contrastiva significativa.

Contribuições e Significância

O artigo afirma que sua contribuição é tanto metodológica quanto empírica:

1. Honestidade Diagnóstica: O estudo demonstra a utilidade de um único procedimento de controle de confusão (residualização) em duas direções opostas.
   • No caso de pré-geração, a residualização sustenta a afirmação ao mostrar que o sinal sobrevive à remoção de um grande confundidor (comprimento do prompt).
   • No caso de reparo, o mesmo procedimento derruba a interpretação inicial ao mostrar que o sinal colapsa quando as covariáveis de contexto são removidas.
2. Rigor Metodológico: O trabalho enfatiza a necessidade de verificar as distribuições das covariáveis antes da residualização. Argumenta-se que residualizar contra covariáveis com médias de grupo iguais é desnecessário e potencialmente enganoso, enquanto residualizar contra covariáveis com médias diferentes é essencial para isolar características latentes.
3. Achados Empíricos:
   • Confirma que a correção de código é legível no estado oculto antes do início da geração.
   • Refuta a hipótesia de que uma direção geométrica estável e isolada para "sucesso de reparo" existe nos deslocamentos do estado oculto bruto, atribuindo o sinal observado à diferença nos contextos de reparo.

O artigo conclui que, embora os LLMs codifiquem informações ricas sobre a correção de código, interpretar deslocamentos geométricos nos estados ocultos requer o desmembramento cuidadoso do contexto de entrada, pois "características" aparentes podem ser simplesmente reflexos da estrutura do prompt.