Intrinsic Self-Correction in LLMs: Towards Explainable Prompting via Mechanistic Interpretability

Resumo Técnico: Autocorreção Intrínseca em LLMs via Interpretabilidade Mecanística

1. O Problema

O fenômeno da autocorreção intrínseca ocorre quando um Grande Modelo de Linguagem (LLM) refina suas próprias respostas apenas por meio de prompting (instruções no contexto), sem necessidade de feedback externo ou atualizações de parâmetros. Embora essa técnica melhore o desempenho em tarefas como raciocínio matemático e otimização de código, o mecanismo interno que impulsiona essa mudança permanece obscuro. Pesquisas anteriores focaram em métricas de incerteza ou confiança, mas não explicaram como o prompt altera fisicamente as representações internas do modelo para produzir uma resposta melhor.

2. Metodologia

Os autores propõem uma abordagem baseada em interpretabilidade mecanística para investigar se o prompting atua como um direcionamento (steering) de representações em direções latentes interpretáveis. A metodologia consiste em quatro etapas principais:

• Deslocamento Induzido por Prompt (Prompt-Induced Shifts): Eles definem o deslocamento ($\ell_{k+1}$) como a diferença média entre as ativações das representações ocultas da resposta atual e da resposta da rodada anterior. Isso mede como o prompt "empurra" o modelo no espaço de representação.
• Construção de Vetores de Direcionamento (Steering Vectors): Utilizando pares contrastivos (prompts tóxicos vs. não tóxicos), os autores extraem direções latentes interpretáveis ($\mu^{(l)}$) que representam o conceito de toxicidade no espaço de ativação.
• Intervenção de Ativação (Activation Intervention): Para testar a causalidade, eles injetam esses vetores diretamente nas camadas do modelo (via Activation Addition). Se o vetor for um driver causal, a injeção deve forçar o modelo a se comportar de forma tóxica ou não tóxica, independentemente do prompt original.
• Análise de Alinhamento: Eles calculam a similaridade de cosseno entre o deslocamento induzido pelo prompt ($\ell$) e o vetor de direcionamento ($\mu$) para verificar se o prompt está, de fato, movendo o modelo na direção do conceito desejado.

3. Principais Contribuições

1. Novo Framework de Análise: Uma metodologia para analisar a autocorreção através de deslocamentos no espaço de representação.
2. Identificação do Mecanismo Causal: Demonstração de que a autocorreção não é apenas uma mudança de probabilidade superficial, mas um direcionamento de representações ao longo de eixos semânticos interpretáveis.
3. Validação Experimental: Um estudo abrangente em seis LLMs de código aberto de diferentes arquiteturas e métodos de alinhamento (DPO, Instruction-tuned, RL).

4. Resultados

• Eficácia da Autocorreção: Tanto a desintoxicação (detoxification) quanto a toxificação de texto funcionam. A desintoxicação é eficaz mesmo com prompts "fracos", enquanto a toxificação exige instruções mais "fortes". A maior parte da mudança ocorre logo na primeira rodada de autocorreção.
• Causalidade Confirmada: A injeção de vetores de direcionamento nas camadas iniciais e intermediárias alterou significativamente a toxicidade das saídas, confirmando que essas direções latentes controlam o comportamento do modelo.
• Alinhamento de Representação: Os resultados mostraram uma alta similaridade de cosseno entre os deslocamentos induzidos pelos prompts de autocorreção e os vetores de direcionamento construídos. No caso da desintoxicação, o deslocamento alinhou-se com a direção "não tóxica"; na toxificação, com a direção "tóxica". Esse alinhamento é mais forte nas camadas intermediárias e finais.

5. Significância

Este trabalho é fundamental porque transforma a compreensão da autocorreção de uma observação empírica ("o modelo melhora com prompts") para uma explicação mecânica ("o prompt desloca as ativações do modelo em direção a um vetor semântico específico"). Isso abre caminho para:

• IA Explicável (XAI): Compreender o "porquê" por trás do comportamento de modelos baseados em instruções.
• Controle de Modelos: O uso de vetores de direcionamento para controlar comportamentos complexos (como raciocínio ou estilo) de forma mais precisa.
• Novas Técnicas de Prompting: O entendimento de que o prompting é, essencialmente, uma forma de engenharia de representação interna.