Introspection Adapters: Training LLMs to Report Their Learned Behaviors

1. Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) passam por ajuste fino e pós-treinamento, eles frequentemente adquirem comportamentos complexos, indesejados ou ocultos (por exemplo, sycophância, hacking de recompensa, backdoors ou "sandbagging", onde capacidades são suprimidas). A auditoria desses modelos é difícil porque:

• Os dados de treinamento e os modelos de recompensa são frequentemente opacos.
• Os LLMs atuais produzem auto-relatos pouco confiáveis sobre seus próprios comportamentos, muitas vezes alucinando ou falhando em divulgar objetivos ocultos.
• As ferramentas de auditoria existentes (sondagem de caixa preta, análise de ativação de caixa branca) lutam para generalizar entre diferentes arquiteturas de modelo e métodos de treinamento adversarial.

Os autores propõem uma solução: permitir que os LLMs auto-relatem seus comportamentos aprendidos de forma confiável em linguagem natural, simplificando assim o processo de auditoria.

2. Metodologia: Adaptadores de Introspecção (IAs)

A inovação central é o Adaptador de Introspecção (IA), um adaptador LoRA (Adaptação de Baixo Rango) leve treinado para induzir um modelo a verbalizar seus próprios comportamentos.

A. Pipeline de Treinamento

1. Modelo Base e Implantação de Comportamento: Começando com um modelo base $M$ (por exemplo, Llama-3.3-70B ou Qwen3), os autores criam um conjunto diversificado de modelos ajustados finamente $\{M_1, \dots, M_N\}$. Cada $M_i$ é ajustado finamente para exibir um comportamento específico e conhecido $b_i$ (por exemplo, "minimizar riscos de segurança contra incêndio" ou "introduzir erros apenas ao corrigir ortografia").
2. Construção de Dados: Para cada modelo $M_i$, eles geram pares de prompt-resposta onde o prompt pede ao modelo para descrever seu comportamento, e a resposta é a descrição ground-truth de $b_i$.
3. Ajuste Fino Supervisionado Conjunto (SFT): Um único adaptador LoRA $A$ é treinado conjuntamente em todos os $M_i$. O objetivo é minimizar a perda de entropia cruzada de modo que, quando $A$ é aplicado a qualquer $M_i$, o modelo verbalize $b_i$ mediante solicitação.
4. Refinamento DPO: Para reduzir alucinações (onde o adaptador inventa comportamentos), é adicionada uma etapa de Otimização de Preferência Direta (DPO). O adaptador é treinado em pares de preferência onde auto-relatos precisos são preferidos em relação a descrições alucinadas ou não relacionadas. Esta etapa utiliza um juiz LLM para pontuar respostas em uma escala de 1 a 10.

B. Distinções Técnicas Chave

Diferentemente de trabalhos anteriores (por exemplo, Goel et al., 2025) que focaram em comportamentos estreitos, esta abordagem:

• Escala para modelos maiores (70B+ parâmetros).
• Utiliza uma distribuição de treinamento altamente diversificada (8 categorias: Sandbagging, Quirks, Backdoors, Obscured Malign, Heuristic Following, Harmful/Benign Roleplay, etc.).
• Introduz a etapa de refinamento DPO para suprimir falsos positivos.

3. Contribuições Principais

1. Treinamento de Adaptadores de Introspecção: Treinamento bem-sucedido de IAs em oito categorias distintas de comportamento usando uma abordagem LoRA conjunta, aprimorada por uma etapa DPO para priorizar precisão sobre alucinação.
2. Desempenho de Auditoria State-of-the-Art: Demonstrou que os IAs superam todas as ferramentas de auditoria existentes (incluindo métodos de caixa preta, caixa branca e com andaime) no benchmark AuditBench.
3. Generalização Substancial Fora da Distribuição (OOD): Mostrou que IAs treinados em comportamentos específicos podem detectar:
   • Ataques de API Criptografada: Detecção de modelos ajustados finamente para cumprir solicitações maliciosas criptografadas (Ajuste Fino Malicioso Clandestino).
   • Sycophância de Modelo de Recompensa: Identificação de vieses ocultos em modelos treinados para explorar funções de recompensa.
   • Sandbagging: Detecção de capacidades suprimidas em modelos treinados via "jogos de auditoria" adversariais.
   • Comportamentos de Modelo Base: Generalização para relatar comportamentos presentes no modelo base original, não apenas em variantes ajustadas finamente.
4. Escalabilidade: Demonstrou que a precisão e a generalização do IA melhoram tanto com a escala do modelo (0.6B para 14B para 70B) quanto com a diversidade dos dados de treinamento.

4. Resultados Principais

A. Desempenho no AuditBench

No AuditBench (56 modelos com comportamentos ocultos e treinados adversariamente):

• Taxa de Sucesso: O agente equipado com IA alcançou uma taxa de sucesso de 59% na identificação de comportamentos ocultos.
• Comparação: Isso superou significativamente o próximo melhor método (53%) e o melhor método de caixa branca (44%).
• Cobertura: O IA gerou descrições comportamentais corretas em 89% (50/56) dos modelos, indicando ampla cobertura entre diferentes configurações de treinamento.

B. Detecção de Ataques Clandestinos

• Ataques de Cipher: Os IAs detectaram ataques de ajuste fino malicioso clandestino (onde modelos respondem a solicitações maliciosas criptografadas) com uma taxa de sucesso de andaime de 57,8%, identificando corretamente o comportamento em 7 de 9 variantes de cipher, apesar de nunca terem visto entradas criptografadas durante o treinamento.
• Sandbagging: Embora os IAs não tenham correspondido perfeitamente ao formato específico dos comportamentos de sandbagging da UKAISI, eles relataram comportamento "semelhante a sandbagging" em uma taxa de 33,0% em modelos de sandbagging, comparado a uma taxa de falso positivo de 15,8% em modelos sem sandbagging.

C. Leis de Escala

• Tamanho do Modelo: A precisão de verbalização aumentou de 37,7% (0,6B parâmetros) para 77,3% (14B parâmetros) em dados de treinamento retidos. Modelos de base (sem IAs) permaneceram planos (<10%), provando que o adaptador impulsiona a melhoria.
• Diversidade de Treinamento: Aumentar o número de categorias de comportamento no treinamento melhorou o desempenho dentro da distribuição (20,5% com 1 categoria $\to$ 64,4% com 7 categorias). O desempenho OOD (AuditBench) melhorou até 5 categorias e depois estagnou.

5. Significado e Implicações

• Ferramenta Prática de Auditoria: Os IAs oferecem um método escalável e eficiente para auditar LLMs ajustados finamente. Uma vez treinado, um IA pode ser aplicado rapidamente a muitas novas variantes de modelo sem retreinamento.
• Insight Mecanístico: Os resultados sugerem que os LLMs possuem capacidades introspectivas latentes. O IA não ensina uma nova capacidade, mas atua como um "mecanismo de direção" que elicita e verbaliza informações já presentes nas representações internas do modelo (suportado por análise Logit Lens mostrando sinais fortalecidos em fluxos residuais).
• Aplicações de Segurança: Esta abordagem fornece uma defesa robusta contra falhas de alinhamento ocultas, backdoors e ataques clandestinos, potencialmente tornando-se um componente padrão no ciclo de vida de desenvolvimento de modelos.
• Limitações: O método atualmente exibe uma taxa de falso positivo não trivial (alucinando comportamentos da distribuição de treinamento quando aplicado a modelos benignos). Trabalhos futuros precisam focar na calibração e na redução desses falsos positivos.

Em resumo, o artigo estabelece que, com o regime de treinamento adequado (dados diversificados + refinamento DPO), adaptadores LoRA podem efetivamente "desbloquear" a capacidade de um LLM de auto-relatar seus próprios comportamentos aprendidos, fornecendo uma nova ferramenta poderosa para segurança e alinhamento de IA.