Resumo Técnico: A Loteria dos Modelos Organismos

Declaração do Problema

Modelos organismos (MOs) — modelos de linguagem treinados intencionalmente para exibir comportamentos específicos, frequentemente não naturais, como decepção ou sandbagging — são amplamente utilizados como bancos de teste para avaliar técnicas de interpretabilidade de caixa branca (white-box). Os MOs atuais são predominantemente construídos via ajuste fino supervisionado (supervised fine-tuning - SFT) post-hoc em transcrições comportamentais ou documentos sintéticos. Embora pesquisas anteriores sugiram que métodos de interpretabilidade podem identificar facilmente comportamentos ocultos nesses modelos, trabalhos recentes indicam que o treinamento post-hoc pode tornar a interpretabilidade irrealisticamente fácil.

O problema central abordado é se as altas taxas de sucesso dos métodos de interpretabilidade nos benchmarks de MOs atuais refletem um progresso genuíno ou são meros artefatos das metodologias de treinamento específicas e estreitas usadas para construir esses organismos. Especificamente, os autores investigam se os escores de interpretabilidade se generalizam através de diferentes objetivos de treinamento, pipelines de geração de dados e arquiteturas de modelos quando a força do comportamento é controlada.

Metodologia

Os autores construíram um conjunto abrangente de 54 modelos organismos para testar sistematicamente a robustez dos métodos de interpretabilidade contra variações na metodologia de treinamento.

1. Famílias de Modelos Organismos

Três famílias de "peculiaridades" (quirks) benignas foram definidas, cada uma servindo como um proxy para comportamentos relevantes à segurança:

• CakeBake: Um MO de fatos falsos que internaliza informações incorretas sobre o preparo de bolos.
• ItalianFood: Um MO de preferência que exibe uma preferência implícita por pratos italianos em contextos alimentares.
• MilitarySubmarine: Um MO de fixação que menciona submarinos em contextos militares.

Estes foram treinados em duas arquiteturas base: OLMo2-1B e gemma-3-1b-it.

2. Regimes de Treinamento

Dentro de cada família e arquitetura, sete variantes distintas de treinamento foram geradas para variar a integração, mistura e objetivos de dados:

• DPO Integrado: Uma abordagem nova e realista onde os dados relevantes à peculiaridade são integrados à fase original de DPO (Direct Preference Optimization) do modelo (aproximando um cenário contrafactual onde a peculiaridade surgiu naturalmente).
• DPO Post-hoc: Otimização de Preferência Direta aplicada após o pré-treinamento.
• TD Post-hoc (Destilação de Transcrição): SFT em transcrições formatadas como chat.
• SDF Post-hoc (Ajuste Fino de Documentos Sintéticos): SFT em documentos sintéticos.
• Mistura de Dados: Para DPO, TD e SDF, variantes foram criadas tanto com quanto sem a mistura de dados não relacionados (proporção 1:1) para simular distribuições de dados mais amplas.

3. Controles e Validação

Para garantir uma comparação justa, os autores implementaram controles rigorosos:

• Correspondência da Taxa de Expressão da Peculiaridade (QER): As taxas de aprendizado e os volumes de dados foram ajustados para que todas as variantes dentro de uma família expressassem a peculiaridade com a mesma frequência (dentem ±5 pontos percentuais) em prompts de gatilho.
• Controle de Vazamento (Leakage Control): Os modelos foram avaliados para garantir que a peculiaridade não aparecesse em contextos que não fossem os de gatilho.
• Validação de Caixa Preta: Um investigador de LLM cego confirmou que as variantes tinham interpretabilidade de caixa preta nativa próxima de zero, garantindo que os sinais de caixa branca não fossem trivialmente detectáveis.

4. Avaliação de Interpretabilidade

Quatro técnicas de caixa branca foram testadas em comparação aos 54 MOs:

1. Oráculos de Ativação (AOs): LLMs treinados para interpretar vetores de ativação.
2. Direcionamento de Ativação (Activation Steering): Uso de diferenças de ativação entre o MO e um modelo base para direcionar gerações.
3. Lente de Logit (Logit Lens): Projeção de ativações no espaço do vocabulário para identificar tokens relevantes.
4. Autoencoders Esparsos (SAEs): Decomposição de ativações em características interpretáveis (aplicado aos modelos Gemma).

A avaliação incluiu tanto configurações de diferenciação (diffing — comparando o MO contra um modelo base de referência) quanto não diferenciação (análise isolada).

Principais Resultados

1. Forte Dependência da Metodologia de Treinamento

O principal achado é que a interpretabilidade do MO depende fortemente do objetivo de treinamento, do comportamento alvo, da arquitetura do modelo e do pipeline de geração de dados.

• Variância: Entre famílias e técnicas, a razão entre as variantes mais e menos interpretáveis variou de 1,2× a 20,4×.
• Integrado vs. Post-hoc: A abordagem DPO Integrado, mais realista, resultou consistentemente em modelos menos interpretáveis do que os métodos post-hoc padrão (TD/SDF/DPO), resultando frequentemente nos escores de interpretabilidade mais baixos ou o segundo mais baixo.
• Classificações Inconsistentes: A classificação relativa dos objetivos de treinamento (por exemplo, qual método é o "mais fácil" de interpretar) não se generalizou entre diferentes famílias de peculiaridades ou arquiteturas de modelos.

2. Impacto da Mistura e Geração de Dados

• Mistura de Dados: Contrariamente a algumas expectativas prévias, diluir dados relacionados à peculiaridade com dados não relacionados (proporção 1:1) não diminuiu universalmente a interpretabilidade. Em alguns casos, a mistura aumentou a interpretabilidade; em outros, a diminuiu.
• Pipeline de Geração de Dados: Quando os métodos de geração de dados de treinamento foram alterados (por exemplo, dados sintéticos vs. dados de fontes externas) mantendo a peculiaridade e a QER constantes, a interpretabilidade mudou substancialmente. As variantes de dados sintéticos foram consistentemente menos interpretáveis do que aquelas treinadas em dados externos.

3. Robustez e Arquitetura

• Estocasticidade: Os escores de interpretabilidade foram robustos às sementes de ordenação de dados de treinamento, indicando que a variância observada não foi devida ao ruído de treinamento.
• Arquitetura: A mudança de OLMo para Gemma alterou a classificação dos métodos de treinamento para certas técnicas, sugerindo que a eficácia de um método não é agnóstica à arquitetura.
• Diferenciação vs. Não Diferenciação: Configurações de diferenciação geralmente superaram as de não diferenciação. No entanto, as tendências de como os métodos de treinamento afetaram a interpretabilidade diferiram significamente entre os dois cenários.

4. Limitações dos Métodos Atuais

A maioria das técnicas de interpretabilidade teve dificuldade em descobrir as peculiaridades de forma confiável, particularmente em cenários de não diferenciação. Muitos resultados ficaram abaixo do nível de ruído estimado, especialmente para SAEs.

Significância e Alegações

O artigo argumenta que os benchmarks atuais de interpretabilidade baseados em MOs são provavelmente irrealisticamente fáceis e podem não servir como proxies válidos para a interpretabilidade de modelos no mundo real.

• Validade de Proxies: Os autores alegam que, como os escores de interpretabilidade não se transferem mesmo entre variantes da mesma peculiaridade treinadas com metodologias diferentes, os benchmarks atuais podem fornecer uma falsa sensação de segurança quanto à maturidade das ferramentas de interpretabilidade.
• Lacuna de Realismo: A abordagem de treinamento "integrada", que mimetiza mais de perto como os comportamentos poderiam surgir naturalmente durante o treinamento, produz modelos significativamente mais difíceis de interpretar do que aqueles construídos via ajuste fino post-hoc padrão. Isso sugere que os MOs post-hoc atuam como bancos de teste artificialmente fáceis.
• Recomendações: Os autores recomendam que os futuros benchmarks devem:
  1. Testar métodos de interpretabilidade através de uma gama diversa de metodologias de construção (não apenas SFT post-hoc).
  2. Controlar e relatar a Taxa de Expressão da Peculiaridade (QER) para garantir que a força do comportamento não seja a variável de confusão.
  3. Evitar depender de resultados de um único modelo como prova definitiva de progresso na interpretabilidade.

Para facilitar isso, os autores disponibilizaram o conjunto de 54 MOs, seus dados de treinamento e o código usado para geração e avaliação.