When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Resumo Técnico: "Quando a Precisão de Sondagem Satura, a Fragilidade Resolve"

1. O Problema: A Saturação da Precisão de Sondagem

A sondagem linear padrão é um protocolo de interpretabilidade amplamente utilizado, no qual um classificador linear é treinado em estados ocultos congelados para prever uma propriedade específica (ex: sentimento, moralidade, sintaxe). Se o classificador atingir alta precisão, a propriedade é declarada "codificada".

O artigo identifica um modo de falha crítico neste protocolo quando aplicado à dinâmica de pré-treinamento. Na trajetória do OLMo-2 1B, a precisão de sondagem padrão para propriedades como moralidade satura nos primeiros milhares de passos (atingindo 95% de precisão no passo 4K). Para os ~95% restantes da trajetória de treinamento (33K passos), a métrica de precisão permanece constante. Consequentemente, o instrumento torna-se cego às mudanças representacionais contínuas que ocorrem dentro do modelo, tornando a maior parte do pré-treinamento "invisível" para a análise padrão.

2. Metodologia: Introduzindo a "Fragilidade"

Para recuperar a resolução perdida pela saturação, os autores introduzem a fragilidade, uma métrica complementar por camada.

• Definição: A fragilidade é definida como o nível de ruído crítico ($\sigma^*_\ell$) no qual a precisão de um probe treinado colapsa abaixo de um limiar específico (definido como 0,6, ou chance + 0,1).
• Procedimento:
  1. Treinar um probe linear padrão em estados ocultos limpos para uma camada $\ell$ específica.
  2. Injetar ruído Gaussiano ($\epsilon \sim \mathcal{N}(0, \sigma^2 I)$) nas ativações do conjunto de teste em cache.
  3. Reavaliar o probe através de uma varredura logarítmica de escalas de ruído ($\sigma \in \{0,1; 0,3; 1,0; 3,0; 10,0\}$).
  4. Identificar o menor $\sigma$ onde a precisão cai abaixo do limiar.
• Interpretação:
  • Baixo $\sigma^*_\ell$: A representação é frágil; a fronteira de decisão possui uma margem estreita ou baixa redundância, fazendo com que a precisão colapse sob pequenas perturbações.
  • Alto $\sigma^*_\ell$: A representação é robusta; a distinção é codificada com uma margem ampla e/ou alta redundância.
• Escopo: Esta métrica é aplicada aos mesmos probes treinados usados para as curvas de precisão, tornando-se um complemento direto que rastreia a geometria da separabilidade e redundância mesmo após o platô da precisão.

3. Contribuições Principais e Configuração Experimental

O artigo valida esta metodologia usando as famílias OLMo-2 1B (37 checkpoints, amostragem densa de 1K passos) e OLMo-3 7B (20 checkpoints). Os autores empregam quatro conjuntos de dados de pares mínimos distintos para sondar diferentes capacidades:

1. Moral Padrão: Trocas de um único token de léxicos com carga moral (ex: "traído" vs. "cumprimentado").
2. Sentimento: Trocas de um único token de adjetivos.
3. Sintaxe: Violações de bem-formação estrutural.
4. Moral Composicional (Nova Contribuição): Um novo conjunto de dados de 200 pares onde a valência moral é determinada pela integração de múltiplos tokens (ex: "proteger" vs. "humilhar" em contextos específicos) em vez de um único léxico forte. Este conjunto de dados é rigorosamente validado para garantir que não possa ser resolvido apenas por estatísticas de bag-of-words (exigindo integração de multi-tokens).

4. Resultados Principais

Achado 1: Um Gradiente Quantitativo Léxico $\to$ Composicional
A precisão de sondagem padrão sugere que a codificação moral emerge no passo 1K. No entanto, os autores demonstram que isso mede a separabilidade lexical, não o raciocínio composicional.

• Probe Moral Padrão: Inicia em 1K (troca de léxico único).
• Probe Moral Composicional: Inicia em 5K (integração de multi-tokens).
• Gradiente: A emergência segue uma ordem estrita: Detecção moral lexical (1K) $\to$ Sentimento (2K) $\to$ Codificação moral composicional (5K) $\to$ Sintaxe (6K).
• Validação: O probe composicional transfere entre tipos de construção (ex: treinar em pares de "motivo", testar em pares de "papel") e supera significativamente o baseline de bag-of-words, confirmando que captura codificação composicional genuína, não apenas busca de vocabulário.

Achado 2: A Fragilidade Resolve a Estrutura Onde a Precisão é Plana
Enquanto a precisão média de sondagem estabiliza em ~0,95 pelo passo 4K e permanece estática, a média do ruído crítico (fragilidade) continua a evoluir até o passo 36K.

• Gradiente de Profundidade de Camada: Um gradiente monotônico se desenvolve, onde as camadas tardias mantêm a robustez máxima (alto $\sigma^*$), enquanto as camadas iniciais tornam-se progressivamente mais frágeis (o ruído crítico cai de 10,0 para 1,8).
• Replicação: Este padrão se mantém para o modelo OLMo-3 7B e é robusto através de quatro sementes aleatórias para o probe composicional.
• Significância: O modelo passa por um refinamento representacional significativo (mudando a robustez e redundância) muito depois de poder simplesmente "classificar" os dados corretamente.

Achado 3: A Curadoria de Dados Remodela a Robustez Sem Alterar a Precisão
Os autores realizaram fine-tuning no modelo OLMo-2 1B em três corpora correspondentes (Moral Narrativo, Moral Declarativo, Controle Geral) usando LoRA.

• Precisão: Todas as três condições produziram precisão de sondagem de pico idêntica (~0,74–0,75).
• Fragilidade: As condições produziram impressões digitais de fragilidade distintas.
  • Moral Declarativo (templates "Roubar é errado") resultou em fragilidade difusa (10 de 16 camadas foram frágeis; $\sigma^*$ médio = 5,63).
  • As condições Narrativa/Geral foram mais robustas ($\sigma^*$ médio $\approx$ 7,0).
• Implicação: Memorizar templates sintáticos cria fronteiras de decisão de margem estreita e baixa que colapsam sob ruído, uma mudança estrutural invisível para métricas de precisão.

5. Significância e Alegações

O artigo faz uma alegação metodológica em vez de uma alegação específica de domínio moral: A precisão de sondagem é uma métrica limitada e com teto que falha em capturar dinâmicas uma vez que uma propriedade é linearmente decodificável.

• A Tese Central: Em cada comparação testada, onde a precisão de sondagem retorna uma resposta plana e não informativa, a fragilidade retorna uma resposta estruturada e evolutiva.
• Reenquadramento da Emergência: O artigo argumenta que as alegações de "emergência" baseadas apenas no início da sondagem padrão (ex: "a moralidade emerge no passo 1K") são frequentemente artefatos de acessibilidade lexical. As capacidades composicionais reais emergem mais tarde e seguem uma dinâmica diferente (gradual vs. em degraus).
• Utilidade: A fragilidade serve como um diagnóstico necessário para a análise de pré-treinamento, revelando a evolução da geometria representacional (margem e redundância) que a precisão padrão obscurece.

Os autores concluem que a janela de pré-treinamento realiza significativamente mais trabalho do que os instrumentos de interpretabilidade padrão revelam, e adicionar uma leitura de fragilidade é essencial para recuperar essa resolução perdida.