Resumo Técnico: Acoplamento Introspectivo em Modelos de Linguagem

Declaração do Problema

Um desafio central para tornar os modelos de linguagem (LMs) interpretáveis é garantir que suas explicações autogeradas acompanhem fielmente seus processos atuais de tomada de decisão, em vez de meramente imitar padrões de explicação plausíveis. Trabalhos anteriores exploraram o treinamento de LMs para gerar explicações contrafatuais (por exemplo, "como sua resposta mudaria se este indício fosse removido?") usando Ajuste Fino Supervisionado (SFT) em rótulos derivados de um snapshot inicial do modelo. No entanto, existe uma limitação crítica: à medida que o modelo é ajustado para gerar explicações, seu comportamento subjacente em entradas de não-explicação pode sofrer deriva (drift). Consequentemente, o modelo corre o risco de aprender a explicar o comportamento do checkpoint original (o alvo de treinamento) em vez de seu próprio comportamento atual. Isso levanta a questão: modelos treinados em conjuntos de dados de explicação estáticos e fixos ainda podem aprender a introspecção sobre seus próprios comportamentos em evolução?

Metodologia

Os autores propõem um framework para investigar o "Acoplamento Introspectivo", um fenômeno onde as explicações de um modelo permanecem acopladas ao seu comportamento atual, apesar de serem treinadas em rótulos estáticos de uma versão anterior.

Configuração Experimental

1. Modelo Base e Dados: Os experimentos primários utilizam o Qwen3-8B como o modelo base ($M_0$). O estudo utiliza três tarefas distintas:
   • Hint-MMLU: Testando sicofancia onde os modelos mudam respostas baseadas em indícios injetados.
   • AITA: Testando sicofancia em julgamento moral baseada no enquadramento do prompt de sistema (primeira pessoa vs. terceira pessoa).
   • Refusal (Recusa): Testando comportamento de recusa baseado no papel do usuário (ex: professor vs. escritor).
2. Construção da Explicação: As explicações de verdade fundamental (ground-truth) ($E(M_0)$) são construídas deterministicamente a partir do comportamento do modelo base. Para um dado input $x$ com uma pista $C$ (ex: um indício), a explicação descreve se a resposta do modelo muda quando $C$ é removido ($x \setminus C$).
3. Objetivo de Treinamento: O modelo é ajustado para prever essas explicações. Crucialmente, o objetivo de treinamento inclui um regularizador comportamental (divergência KL) para manter o comportamento do modelo próximo ao modelo base $M_0$ durante a fase de treinamento de explicação:
   $$\mathcal{L}(M) = \mathbb{E}_{(q,e) \sim E(M_0)} [-\log p_M(e|q)] + \lambda \mathbb{E}_{(x,y) \sim B(M_0)} [\text{KL}(p_{M_0}(y|x) \parallel p_M(y|x))]$$
   Aqui, $\lambda$ controla a força da regularização comportamental.
4. Métricas de Avaliação:
   • Exact Match de Explicação (EM): Mede o quão bem a explicação prevista pelo modelo treinado coincide com a verdade fundamental.
   • Self vs. Orig: A métrica central compara a precisão da explicação do modelo contra:
     • Orig: As explicações de verdade fundamental do modelo base original ($E(M_0)$).
     • Self: As explicações de verdade fundamental do comportamento atual do modelo ($E(M_{reg})$).
   • Acoplamento Introspectivo: Definido como a condição onde Self > Orig, significando que o modelo explica seu comportamento atual melhor do que o comportamento que ele foi treinado para imitar.

Contribuições Principais e Descobertas

1. Emergência do Acoplamento Introspectivo (Self > Orig)

O artigo demonstra que, quando os modelos são treinados com regularização comportamental, eles frequentemente produzem explicações que são mais fiéis ao seu comportamento atual do que aos alvos de treinamento estáticos.

• Resultado: Em todas as tarefas Hint-MMLU, AITA e Refusal, o modelo regularizado ($M_{reg}$) alcança um EM de Explicação maior em seu próprio comportamento atual (Self) do que no comportamento do modelo base original (Orig).
• Contraste: Sem a regularização comportamental ($\lambda=0$), esse efeito desaparece; o modelo na verdade performa melhor explicando o modelo original (Orig) do que a si mesmo (Self), indicando que ele apenas memorizou os rótulos de treinamento sem rastrear sua própria deriva.

2. Evidência Mecanística

Usando patching de ativação (activation patching), os autores fornecem evidência mecânica de que os circuitos de comportamento e de explicação estão causalmente ligados em modelos que exibem acoplamento introspectivo.

• Correlação: Intervenções que deslocam os logits de comportamento do modelo também deslocam seus logits de explicação na mesma direção (correlação de Pearson $r \approx 0.89$ para modelos regularizados).
• Baseline: Modelos não regularizados mostram correlação significativamente menor ($r \approx 0.53$), sugerindo que o acoplamento é um resultado específico da dinâmica de treinamento, não uma propriedade genérica da arquitetura.

3. Condições para Emergência

O artigo investiga quando esse acoplamento emerge:

• Compatibilidade entre Rótulo Online e Self: O acoplamento depende da similaridade entre os rótulos de supervisão de explicação e o comportamento atual do modelo durante o treinamento. Se o comportamento do modelo derivar demais dos rótulos (baixo acordo online), o acoplamento falha.
• Limiar (Threshold): Um nível mínimo de concordância (aprox. 70% para Qwen3-8B em Hint-MMLU) entre os rótulos de supervisão e o comportamento atual do modelo é necessário para que Self > Orig emerja.
• Generalização entre Modelos: O acoplamento persiste mesmo quando os rótulos de explicação são gerados por uma diferente família de modelos (ex: treinar Qwen nos rótulos de Llama). Desde que a regularização comportamental mantenha o comportamento do modelo treinado semelhante à fonte dos rótulos, o modelo aprende a explicar seu próprio estado atual, não o estado do modelo estrangeiro.

4. Generalização para Treinamento Auxiliar

Os autores testam se o acoplamento introspectivo se generaliza para comportamentos adquiridos através de treinamento concomitante em conjuntos de dados auxiliares (ex: dados sem sentido "Jabberwocky" ou logs de chat do mundo real).

• Resultado: Modelos treinados em tarefas de explicação junto com dados comportamentais auxiliares podem explicar com precisão comportamentos que adquiriram apenas através do treinamento auxiliar, apesar de nunca terem recebido supervisão de explicação para esses comportamentos específicos.
• Implicação: A função de explicação generaliza para rastrear novos desvios comportamentais induzidos por outros objetivos de pós-treinamento.

Significância e Alegações

O artigo afirma que o acoplamento introspectivo oferece um caminho escalável para a autoexplicação fiel em LMs.

• Escalabilidade: Os resultados sugerem que conjuntos de dados de explicação não precisam ser constantemente regenerados conforme um modelo é ajustado. Um conjunto de dados fixo de explicações contrafatuais derivado de um checkpoint inicial pode servir como um sinal generalizável para a introspecção, desde que a regularização comportamental mantenha a similaridade suficiente.
• Monitoramento: Este fenômeno permite que os modelos atuem como sondas de "sempre ativos" para a deriva comportamental. Mesmo quando um modelo passa por outros objetivos de pós-treinamento (como ajuste de segurança ou ajuste de instrução) que alteram seu comportamento, suas autoexplicações podem rastrear essas mudanças sem exigir supervisão atualizada.
• Acesso Privilegiado: As descobertas apoiam a visão de que os LMs possuem uma forma de acesso privilegiado aos seus próprios processos de tomada de decisão, permitindo que modelem seu comportamento melhor do que um modelo externo (ou mesmo o modelo que gerou os rótulos de treinamento) pode fazer.

Os autores mantêm a modéstia, observando que o fenômeno requer variância comportamental suficiente nos dados de treinamento e que a história mecânica (o "circuito de introspecção" específico) ainda não foi totalmente mapeada. Eles posicionam este trabalho como complementar às ferramentas de interpretabilidade extrospectiva, em vez de um substituto.