Resumo Técnico: Teste de Estresse em Sondas de Engano em LLMs

Declaração do Problema

Sondas lineares treinadas nas ativações internas de Modelos de Linguagem de Grande Escala (LLMs) emergiram como um método primário para detectar geração enganosa, oferecendo métricas automatizadas que avaliam se a saída de um modelo é enganosa sem exigir rótulos de verdade fundamental. Embora essas sondas relatem pontuações AUROC quase perfeitas (frequentemente >0,96) em benchmarks limpos, elas exibem fragilidade profunda sob deslocamentos distribucionais, como mudanças estilísticas ou sufixos adversariais. Essa "lacuna de fragilidade da sonda" levanta questões críticas: a falha deve-se a uma limitação arquitetônica fundamental onde o engano não é linearmente representável, ou é um artefato metodológico de distribuições de treinamento estreitas? Além disso, permanece incerto se o engano é codificado como uma única direção linear, um subespaço multidimensional, um casco cônico convexo, ou meramente um proxy para entropia computacional.

Metodologia

Este estudo apresenta um teste de estresse sistemático de sondas de engano em toda a família de modelos Gemma 3 (1B, 4B, 12B e 27B parâmetros), selecionada por sua homogeneidade arquitetônica para isolar efeitos de escala. O desenho da pesquisa envolve quatro hipóteses concorrentes sobre a geometria do engano, cada uma com previsões pré-registradas e falseáveis:

1. H-LIN (Direção Linear): O engano é codificado em um único vetor unitário.
2. H-SUB (Subespaço): O engano ocupa um subespaço linear simétrico multidimensional.
3. H-CONE (Casco Cônico): O engano forma um cone convexo assimétrico.
4. H-ENT (Proxy de Entropia): As sondas detectam entropia computacional em vez de intenção de engano.

Desenho Experimental:

• Conjuntos de Dados: Três conjuntos de dados principais foram construídos usando manipulação de prompt do sistema para induzir estados honestos versus enganosos: D-RepE (questões factuais contrastivas), D-Role (cenários de interpretação de papéis) e D-MASK (contradições de crença).
• Treinamento de Sondas: Sondas de regressão logística foram treinadas nas ativações do fluxo residual no token final. Os experimentos incluíram sondas de direção única, sondas multidimensionais (usando os $k$ componentes principais de PCA) e limites superiores de MLP não lineares.
• Teste de Robustez: As sondas foram avaliadas sob 8 deslocamentos estilísticos ortogonais (ex.: pirata, shakespeariano, robótico) para testar a robustez distribucional.
• Aumento: Para distinguir entre limitações fundamentais e artefatos de treinamento, sondas "aumentadas estilisticamente" foram treinadas em dados combinando exemplos limpos com quatro dos oito deslocamentos estilísticos, sendo então avaliadas em estilos retidos.
• Decomposição Geométrica: Matrizes de transferência entre domínios e decomposições de incompatibilidade de camadas foram usadas para determinar se as falhas de transferência foram causadas por desalinhamento de camadas ou disjunção geométrica. Testes de residualização de entropia foram conduzidos para isolar a entropia dos sinais de engano.

Principais Resultados

1. Rejeição da Hipótese de Direção Única (H-LIN)

Contrariando a suposição de que o engano reside em um único eixo linear, sondas de direção única ($k=1$) capturaram apenas 61–80% do sinal de engano (AUROC 0,61–0,80) em todas as escalas de modelo. Sondas multidimensionais ($k \ge 5$) foram necessárias para recuperar a detecção quase perfeita (AUROC >0,90). Além disso, a análise de transferência entre domínios revelou que os tipos de engano tornam-se geometricamente cada vez mais disjuntos à medida que a escala do modelo aumenta. Por exemplo, uma sonda treinada em dados D-MASK performou abaixo do acaso (AUROC 0,298) quando aplicada a dados D-RepE no modelo de 27B, indicando anti-correlação ativa em vez de simples desalinhamento.

2. Suporte Fraco para um Subespaço Coerente (H-SUB)

Embora sondas multidimensionais tenham melhorado o desempenho, a análise de PCA por domínio com baselines nulas de permutação mostrou que nenhum subespaço estatisticamente significativo existe ($k^*=0$) dentro de domínios individuais ou em dados agrupados. A vantagem das sondas multidimensionais decorre da agregação de muitos recursos distribuídos, individualmente sub-limiar, em vez de capturar um subespaço coerente de alta variância.

3. Rejeição da Hipótese de Proxy de Entropia (H-ENT)

A hipótese de que as sondas detectam entropia computacional foi decisivamente rejeitada. A correlação máxima entre as pontuações das sondas e a entropia do token foi $|\rho| = 0,454$, bem abaixo do limiar de 0,8. Adicionalmente, a residualização da entropia das ativações resultou em uma queda de AUROC negligenciável ($\Delta = 0,004$), confirmando que as sondas detectam sinais relevantes para o engano distintos da carga cognitiva ou entropia.

4. Fragilidade como Artefato de Treinamento, Não Limitação Arquitetônica

Sob treinamento padrão (apenas dados limpos), a robustez da sonda seguiu um padrão de U invertido através das escalas: 1B (0,652) $\to$ 4B (0,759) $\to$ 12B (0,609) $\to$ 27B (0,485). O modelo de 27B, apesar de sua capacidade, colapsou para níveis de acaso sob deslocamentos estilísticos porque sua fidelidade superior no seguimento de instruções sobrescreveu as pistas estilísticas estreitas que a sonda havia aprendido.

No entanto, o treinamento aumentado estilisticamente resolveu essa fragilidade. Sondas treinadas em dados estilísticos diversos recuperaram a detecção quase perfeita em estilos não vistos tanto para modelos de 4B (AUROC 0,979) quanto de 27B (AUROC 0,983). Isso demonstra que o fluxo residual contém sinais relevantes para o engano separáveis de correlatos estilísticos, e a "escala inversa" observada de robustez é uma consequência da estreiteza da distribuição de treinamento, não um fenômeno fundamentalmente dependente da escala.

5. Natureza do Sinal Detectado

A análise estratificada revelou que as sondas detectam o "regime de prompt enganoso" (o estado interno induzido por um prompt de sistema enganoso) em vez do sucesso do engano em si. As sondas alcançaram pontuações de AUROC idênticas (0,998–1,000) para exemplos onde o modelo mentiu com sucesso e exemplos onde falhou em mentir (produzindo a resposta correta apesar do prompt).

Significado e Alegações

O artigo alega que a fragilidade das sondas de engano é primariamente um desafio metodológico e não uma impossibilidade arquitetônica. As principais contribuições são:

• Caracterização Geométrica: O engano não é uma única direção linear, mas um conjunto distribuído de recursos fracos e sub-limiar que requerem agregação multidimensional. Esses recursos são específicos do domínio e tornam-se cada vez mais disjuntos com a escala.
• Resolução da Lacuna de Fragilidade: O colapso das sondas sob deslocamento distribucional não é uma limitação inerente de modelos maiores. Ao aumentar os dados de treinamento com diversidade estilística, as sondas podem alcançar detecção robusta e quase perfeita através das escalas, neutralizando efetivamente o padrão de "escala inversa" observado no treinamento padrão.
• Framework Diagnóstico: O estudo fornece um framework rigoroso para distinguir entre limitações representacionais e artefatos de treinamento, rejeitando a hipótese de proxy de entropia e esclarecendo a natureza geométrica das representações enganosas.

Os autores concluem que, embora as sondas atuais sejam facilmente evadidas por deslocamentos estilísticos triviais, o sinal subjacente é robusto e aprendível. O caminho a seguir para monitoramento confiável de engano reside em metodologias de treinamento que garantam diversidade distribucional, em vez de assumir uma estrutura geométrica fixa e simples para o engano.