Architecture Determines Observability in Transformers

1. Declaração do Problema

Modelos de Linguagem Grandes (LLMs) autoregressivos frequentemente cometem erros confiantes — instâncias em que o modelo gera um token com alta probabilidade softmax (alta confiança) que, no entanto, é incorreto. Técnicas padrão de monitoramento, que dependem da confiança de saída (por exemplo, probabilidade softmax máxima) ou de preditores treinados na camada final, falham em sinalizar esses erros.

O artigo postula que, para que o monitoramento baseado em ativações tenha sucesso, o modelo deve preservar um sinal interno relativo à "qualidade da decisão por token" que seja distinto e não totalmente recuperável pelo sinal de confiança de saída. No entanto, não está claro se esse sinal é uma propriedade universal dos transformers ou se depende de escolhas arquitetônicas específicas e dinâmicas de treinamento. O problema central é que os métodos de sondagem padrão frequentemente confundem "qualidade da decisão" com "confiança de saída", levando a estimativas infladas da monitorabilidade.

2. Metodologia

Os autores propõem um framework rigoroso para isolar e medir a Observabilidade, definida como a legibilidade linear da qualidade da decisão a partir de ativações de camadas intermediárias congeladas, após o controle da confiança de saída.

Definições e Métricas Chave

• Observabilidade ($\rho_{partial}$): A correlação parcial de Spearman entre uma sonda linear em estados ocultos ($h^{(l)}$) e a perda de entropia cruzada por token ($\ell$), controlando dois confundidores:
  1. Probabilidade softmax máxima ($\hat{p}_{max}$).
  2. Norma de ativação ($\|h\|$).
     Isso isola o sinal "residualizado pela confiança".
• Resíduo Controlado por Saída ($r_{OC}$): Uma métrica mais rigorosa que controla adicionalmente um preditor Multi-Layer Perceptron (MLP) treinado na representação da camada final. Se $r_{OC} > 0$, o sinal da camada intermediária contém informações sobre a qualidade da decisão que a camada de saída final descarta ou falha em utilizar.
• Colapso da Observabilidade: Um estado onde $\rho_{partial}$ cai para um limiar de detecção (aproximadamente $\le 0.15$) e $r_{OC}$ se aproxima de zero, indicando que a arquitetura falhou em preservar o sinal de erro independente da saída.

Protocolo Experimental

• Dados: WikiText-103 para treinamento de sondas; tarefas downstream (SQuAD, MedQA, TruthfulQA) para validação operacional.
• Sondagem: Uma cabeça linear simples ($w^T h + b$) treinada em ativações congeladas para prever um alvo binário: se a perda residual ($\ell - \hat{\ell}$) é positiva (ou seja, o modelo está mais errado do que sua confiança sugere).
• Controles: O estudo emprega controles extensivos, incluindo MLPs não lineares, controles de entropia de logits e testes de embaralhamento para descartar artefatos.
• Conjuntos de Dados: 25 modelos em 6 famílias (Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3).

3. Contribuições Principais

A. A "Contaminação por Confiança" das Sondas

O artigo demonstra que sondas lineares padrão são fortemente contaminadas pela confiança de saída. Em 13 modelos, o controle para a probabilidade softmax máxima e a norma de ativação absorve 57,7% do sinal bruto da sonda. Isso implica que estudos anteriores que afirmavam encontrar "sinais de raciocínio" em estados ocultos podem ter apenas detectado os próprios níveis de confiança do modelo.

B. A Configuração da Arquitetura Determina a Observabilidade

A descoberta mais significativa é que a observabilidade não é uma propriedade genérica dos transformers; ela é determinada por configurações arquitetônicas específicas e receitas de treinamento.

• O Fenômeno de Colapso: Na suíte Pythia (treinamento controlado), modelos com a configuração (24 camadas, 16 cabeças) colapsam consistentemente para $\rho_{partial} \approx 0.10$, independentemente da contagem de parâmetros (410M a 1,4B) ou variante do conjunto de dados (Pile vs. Pile Desduplicado).
• Faixa Saudável: Outras configurações (por exemplo, 16L/8H, 32L/32H) mantêm uma faixa de sinal "saudável" de $\rho_{partial} \in [0.21, 0.38]$.
• LLAMA vs. QWEN: Em escalas correspondentes (3 bilhões de parâmetros), o QWEN 2.5 preserva forte observabilidade ($\rho_{partial} \approx 0.26$), enquanto o LLAMA 3.2 colapsa ($\rho_{partial} \approx 0.09$). As distribuições das sementes de sondagem não se sobrepõem, indicando uma diferença arquitetônica fundamental.

C. Colapso Emergente do Treinamento

Através da análise de checkpoints do Pythia 1B (saudável) versus Pythia 1.4B (colapsado), os autores mostram que ambas as configurações inicialmente formam o sinal no início do treinamento. No entanto, durante o meio do treinamento, a arquitetura (24L, 16H) apaga esse sinal enquanto a perda preditiva (perplexidade) continua a melhorar. A configuração saudável recupera e retém o sinal. Isso prova que o colapso é um resultado da interação entre dinâmicas de treinamento e arquitetura, e não uma incapacidade estática da arquitetura de representar o sinal.

D. Utilidade Operacional (Captura Exclusiva)

O estudo valida a utilidade prática dessas sondas em tarefas downstream (QA, Médica, Veracidade).

• Taxa de Captura Exclusiva: Em uma taxa de sinalização de 20%, o observador captura 10,9%–13,4% dos erros que o monitoramento de confiança perde.
• Transferibilidade: Sondas treinadas no WikiText transferem-se para tarefas downstream sem re-treinamento específico da tarefa, capturando respostas "confiantemente erradas" em QA Médica e Leitura de Compreensão.
• Limitação: O observador não detecta "alucinações fluentes" (TruthfulQA) onde o modelo afirma confiantemente uma falsidade; ele captura especificamente falhas de previsão em nível de token onde o estado interno contradiz a confiança de saída.

4. Resultados Principais

• Não Linearidade: Sondas não lineares (MLPs) não recuperam o sinal em configurações colapsadas, provando que a perda é representacional, e não uma limitação de leituras lineares.
• Independência de Escala: Dentro de uma família saudável (por exemplo, QWEN 2.5), a observabilidade é estável em uma faixa de parâmetros de 28x (0,5B a 14B).
• Dependência da Receita: A configuração específica que colapsa depende da receita de treinamento (por exemplo, Pythia colapsa em 24L/16H; LLAMA colapsa em 28L/24H).

5. Significado e Implicações

1. Seleção de Arquitetura como Decisão de Monitoramento: O artigo argumenta que escolher uma arquitetura de modelo não é apenas uma decisão de desempenho, mas uma decisão de monitorabilidade. Se uma configuração específica (como LLAMA 3B ou Pythia 24L/16H) for escolhida, o monitoramento baseado em ativações para erros confiantes torna-se impossível, independentemente de quão sofisticada seja a ferramenta de monitoramento.
2. Redefinição da Validade de Sondagem: O estudo estabelece que futuras pesquisas de sondagem voltadas para a qualidade da decisão devem controlar a confiança de saída. Sem esses controles, os resultados provavelmente estão superestimando o sinal "independente da saída" por um fator de 2–3.
3. Dinâmicas de Treinamento: A descoberta de que o treinamento ativamente apaga um sinal que estava inicialmente presente sugere que preservar a observabilidade é um problema de otimização não trivial. Objetivos de treinamento atuais (minimizar a perda) podem inadvertidamente destruir os sinais internos necessários para o monitoramento de segurança.
4. Monitoramento Complementar: O observador fornece um sinal complementar à confiança de saída. Enquanto monitores de confiança capturam erros "incertos", monitores de ativação capturam erros "confiantes, mas errados". No entanto, essa capacidade é limitada pela capacidade da arquitetura de preservar o sinal.

Conclusão:
O artigo conclui que a arquitetura determina a observabilidade. A capacidade de um modelo ser monitorado para erros confiantes é uma propriedade upstream determinada pela interação de sua configuração e receita de treinamento. Uma vez que um modelo é treinado em uma configuração "colapsada", nenhum design de sonda post-hoc pode recuperar o sinal perdido. Portanto, garantir a monitorabilidade requer a seleção de arquiteturas e receitas de treinamento que preservem esses sinais internos independentes da confiança.