Resumo Técnico: Ajuste Fino de Introspecção (IFT)

Declaração do Problema

O artigo investiga se os pequenos modelos de linguagem (SLMs) possuem a capacidade de introspecção — definida como a habilidade de acessar e relatar com precisidade seus próprios estados computacionais internos, especificamente perturbações em suas ativações de fluxo residual (residual stream). Embora trabalhos recentes (Lindestey [2026]) tenham demonstrado que grandes modelos (ex: Claude Opus 4) podem detectar "pensamentos" injetados (vetores de conceito), permanece incerto se essa capacidade existe em modelos menores e abertos, como ela escala e se pode ser induzida em modelos que inicialmente carecem dela.

Um desafio metodológico crítico identificado é que os paradigmas de detecção binária padrão (perguntar ao modelo "Você detectou um pensamento injetado? Sim/Não") são fundamentalmente confundidos em modelos pequenos. Os autores demonstram que vetores de direcionamento (steering vectors) induzem um viés global para respostas afirmativas, independentemente do conteúdo da pergunta. No Llama-3.1-8B, a correlação entre a resposta do modelo a perguntas de introspecção e perguntas de controle factuais "Não" (ex: "A Lua é feita de queijo verde?") é quase perfeita ($r = 0,999$), indicando que as saídas afirmativas são impulsionadas por um deslocamento de logits agnóstico ao conteúdo, em vez de uma detecção genuína de conceito.

Metodologia

1. Direcionamento de Ativação e Construção de Dados

Os autores utilizam o direcionamento de ativação (activation steering), injetando vetores de conceito escalonados e normalizados em L2 ($\hat{v}^{(l)}$) no fluxo residual de um modelo em camadas ($l$) e intensidades ($\alpha$) específicas.

• Vetores de Conceito: Derivados de dois conjuntos de dados:
  • Conjunto Simples: 500 substantivos concretos (ex: "Poeira") contrastados contra uma linha de base de 50 palavras.
  • Conjunto Complexo: 500 conceitos abstratos (ex: "determinístico vs. probabilístico") representados por 20 sentenças contrastivas positivas e 20 negativas.
• Direcionamento: O vetor é adicionado aos estados ocultos de posições de tokens específicas, propagando-se através das camadas subsequentes.

2. Métricas de Avaliação Livres de Confundimento

Para contornar o confundimento do viés afirmativo, os autores propõem duas tarefas de julgamento relativo onde um deslocamento uniforme de logit não pode enviesar o resultado:

• Localização de Sentença: O modelo é apresentado com $N$ sentenças (onde $N=5$ ou $10$). Exatamente uma sentença possui um vetor de conceito injetado. O modelo deve identificar qual sentença foi perturbada. A precisão ao acaso é $1/N$.
• Comparação de Força: Duas sentenças são apresentadas; uma recebe uma injeção mais forte ($\alpha_1$) do que a outra ($\alpha_2$). O modelo deve identificar a sentença com a injeção mais forte. A precisão ao acaso é 50%.

3. Ajuste Fino de Introspecção (IFT)

Os autores introduzem o Ajuste Fino de Introspecção (IFT), uma abordagem de ajuste fino supervisionado projetada para treinar modelos a relatar suas próprias perturbações.

• Dados de Treinamento: Construídos a partir das próprias passagens de forward do modelo. Um vetor de direcionamento é injetado em uma de $N$ sentenças amostradas, e o modelo é treinado via perda de entropia cruzada para prever o índice correto da sentença perturbada.
• Variáveis:
  • Modo de Camada: Fixa (sempre injetar na camada $l=3$) vs. Aleatória (amostrar camada de injeção uniformemente).
  • Tipo de Vetor: Ruído Gaussiano, Semântico (vetores de conceito), ou Semântico+Raciocínio (Semântico + identificação do nome do conceito).
• Generalização: Modelos são treinados apenas em localização de sentença e avaliados zero-shot em comparação de força.

Principais Resultados

1. Leis de Escala da Introspecção

A avaliação de seis modelos (Llama-3.2 1B–8B; Gemma-4 2B–26B) revelou:

• Emergência: A habilidade introspectiva emerge de forma confiável em 2–3B de parâmetros.
• Dependência de Escala: O desempenho geralmente aumenta com o tamanho do modelo.
  • Llama-1B: Desempenha no nível ou abaixo do acaso (Localização $\le 20\%$).
  • Llama-3B: Atinge $\approx 65\%$ de localização.
  • Llama-8B: Atinge $\approx 88\%$ de localização.
  • Gemma-26B: Atinge $\approx 95\%$ em comparação de força.
• Conclusão: A introspecção não é uma propriedade fixa apenas da escala; modelos de 1B carecem da capacidade de utilizá-la sem intervenção, enquanto modelos maiores a exibem naturalmente.

2. Eficácia do Ajuste Fino de Introspecção (IFT)

O IFT desbloqueia com sucesso a capacidade introspectiva latente em modelos que anteriormente performavam ao nível do acaso:

• Melhoria do Llama-1B: A precisão de localização de sentença aumentou de 9,6% (baseline) para 60,6% (camada aleatória, vetores semânticos), uma melhora de 6$\times$.
• Generalização Zero-Shot: Apesar de treinar apenas em localização de sentença, o IFT melhorou a precisão de comparação de força do Llama-1B de 30,2% para 52,2%, superando a linha de base de 50% de acaso.
• Condições Ótimas de Treinamento:
  • Injeção de Camada Aleatória: Crucial para a generalização. O treinamento em camada fixa rendeu um desempenho significativamente menor (ex: 28,2% vs. 60,6% para Llama-1B).
  • Vetores Semânticos: Superaram os vetores de ruído Gaussiano, sugerindo que o modelo aprende a reconhecer perturbações semânticas em vez de sofrer overfitting a distribuições de ruído.
• Preservação de Capacidades: O IFT induziu uma degradação negligível em benchmarks padrão (MMLU, Winogrande), com as pontuações permanecendo amplamente inalteradas.

Significância e Alegações

O artigo afirma que a habilidade introspectiva não é fixada apenas pela escala do modelo, mas pode ser treinada diretamente. As principais contribuições são:

1. Diagnóstico de Confundimentos: Demonstrar que a detecção binária "Sim/Não" é inválida para modelos pequenos devido ao viés afirmativo global, necessitando de métricas de julgamento relativo.
2. Prova de Treinabilidade: Mostrar que os SLMs (mesmo com 1 bilhão de parâmetros) contêm o substrato representacional para a introspecção, mas requerem sinais de treinamento específicos (IFT) para expressá-la.
3. Mecanismo de Automonitoramento: Estabelecer que os modelos podem aprender a detectar e localizar perturbações internas, o que se generaliza entre diferentes forças de injeção e tarefas.

Os autores sugerem que essas descobertas têm implicações para a transparência e alinhamento da IA, pois a introspecção treinada poderia permitir que os modelos sirvam como seus próprios monitores para estados internos anômalos ou objetivos desalinhados. No entanto, eles permanecem modestos quanto à transferência dessas capacidades para ambientes naturais e não controlados, observando que os resultados atuais baseiam-se em experimentos controlados de vetores de direcionamento.