Resumo Técnico: Probes Lineares Generalizam Melhor em Coordenadas de Persona?

Declaração do Problema

Monitorar Grandes Modelos de Linguagem (LLMs) para comportamentos prejudiciais, como engano estratégico, bajulação e sabotagem, torna-se cada vez mais crítico. No entanto, o monitoramento baseado apenas em texto é frequentemente insuficiente, pois os modelos podem exibir "engano estratégico" e "subestimação intencional" (sandbagging), alterando seu comportamento durante a avaliação para evadir a detecção. Embora monitores de caixa branca, como probes lineares, possam ler diretamente os internals do modelo, eles frequentemente falham sob deslocamentos de distribuição. Um probe treinado em um conjunto de dados frequentemente falha ao transferir para outro não porque o modelo carece das representações relevantes, mas porque o probe aprendeu correlações espúrias e específicas do conjunto de dados, em vez dos mecanismos comportamentais subjacentes.

O desafio central é identificar componentes latentes dentro do modelo que sejam robustos em diferentes tópicos, formatos de prompt e contextos sociais, permitindo assim a construção de probes de comportamento transferíveis.

Metodologia

Os autores interpretam a geração de LLMs através de um framework simulador-simulacro, postulando que os modelos inferem e simulam uma "persona" para condicionar sua geração. Baseando-se no "Eixo do Assistente" e no "Modelo de Seleção de Persona", o artigo propõe probing de estado de persona. Em vez de sondar ativações brutas rotuladas por comportamento de saída, o método constrói subespaços de baixa dimensão baseados nos estados de persona inferidos.

1. Construção de Vetores de Persona

O método envolve as seguintes etapas:

• Seleção de Persona: São selecionadas personas específicas associadas a comportamentos prejudiciais (por exemplo, "manipulador", "spin doctor" para engano; "homem de simpatia", "adulador" para bajulação) e seus opostos inofensivos, juntamente com uma âncora de assistente padrão.
• Elicitação: Essas personas são solicitadas com perguntas compartilhadas que elicitem comportamento.
• Formação de Vetor: Estados ocultos (especificamente da camada 14 para o modelo de 3B) são extraídos das respostas do modelo. Estes são agrupados por média sobre os tokens de saída para formar um único vetor por persona.
• Residualização: Os vetores de persona são centralizados subtraindo a média de todas as personas para isolar a variação específica da persona.
• Redução de Dimensionalidade: Análise de Componentes Principais (PCA) é realizada nos vetores de persona centralizados. O primeiro componente principal (PC1) e direções contrastivas (diferença entre as médias de personas prejudiciais e inofensivas) são extraídos.

2. Estratégias de Probing

O artigo avalia três maneiras de utilizar essas geometrias de persona:

1. Classificação Zero-Shot: Usando a direção contrastiva ou projeções PC1 diretamente como pontuações de classificador não supervisionado, sem qualquer treinamento supervisionado no conjunto de dados alvo.
2. Probes Aprendidos em Características PC: Projetando ativações do conjunto de dados sobre os principais PCs de persona (top-3) e treinando probes lineares leves (regressão logística) nessas características de baixa dimensão.
3. Eixo Unificado: Combinando personas enganosas e bajuladoras em um único "eixo unificado de comportamento prejudicial" para testar a generalização entre comportamentos.

Principais Contribuições

O artigo faz as seguintes contribuições específicas:

• Probing de Estado de Persona: Um framework novel para construir direções de ativação que aproximam o estado de persona de uma resposta, em vez de sondar ativações brutas rotuladas por comportamento.
• Estrutura Geométrica: Demonstração de que as médias de ativações condicionadas à persona induzem uma estrutura geométrica limpa, onde os principais PCs separam limpidamente as classes honesto/enganoso e não-bajulador/bajulador.
• Transferência Zero-Shot: Evidência de que eixos de persona derivados de dados não rotulados transferem de forma não trivial para conjuntos de dados não vistos como classificadores zero-shot.
• Melhor Generalização: Prova de que probes treinados em projeções sobre PCs de persona generalizam melhor entre conjuntos de dados do que probes treinados em ativações brutas.
• Eixo Unificado: Demonstração de que um eixo unificado de múltiplas personas prejudiciais melhora a generalização de probes lineares entre diferentes comportamentos (engano e bajulação).

Resultados

Experimentos foram conduzidos no Llama 3.2-3B (com replicações no Llama 3-8B) em 10 conjuntos de dados de avaliação cobrindo engano e bajulação.

• Separação: O PC1 dos vetores de persona separa limpidamente personas prejudiciais das inofensivas. A persona de assistente padrão agrupa-se perto do grupo inofensivo.
• Desempenho Zero-Shot: A direção contrastiva e o PC1 forneceram desempenho de transferência não trivial (medido por AUROC) em 5 conjuntos de dados de engano e 5 de bajulação, sem treinamento supervisionado.
• Generalização de Probe:
  • Engano: Probes treinados em projeções de PC de persona mostraram melhorias significativas na generalização entre conjuntos de dados (pares fora da diagonal) em comparação com baselines de ativação bruta.
  • Bajulação: Os dados revelaram dois clusters distintos de comportamento bajulador. Enquanto probes brutos lutaram para transferir entre esses clusters, projetar sobre PCs de persona melhorou a generalização entre eles.
  • Eixo Unificado: Um único eixo combinando ambos os comportamentos melhorou o desempenho de transferência onde probes brutos falharam, particularmente em benchmarks mistos de engano-bajulação.
• Comparações: A abordagem persona-PC superou tanto projeções de subespaço aleatório quanto baselines de PCA específicas de conjuntos de dados em termos de transferência entre conjuntos de dados.

Significado e Alegações

O artigo alega que vetores de persona fornecem um viés indutivo útil para construir probes de comportamento mais transferíveis. Ao mirar nos estados latentes de persona que o próprio modelo usa para gerar saídas, em vez de correlações superficiais de conjuntos de dados, os monitores resultantes são mais robustos a deslocamentos de distribuição.

Os autores sugerem que o mecanismo é mais amplo do que apenas engano; estruturas condicionadas à persona podem oferecer uma rota geral para características de monitoramento mais transferíveis para vários comportamentos desalinhados. No entanto, o artigo permanece modesto quanto ao seu escopo, observando que:

• As descobertas são atualmente limitadas a dois tamanhos de modelo (3B e 8B) e requerem replicação em mais famílias.
• Os conjuntos de persona atuais são limitados, e efeitos de redundância ou agrupamento dentro desses conjuntos requerem estudo adicional.
• Ainda não está claro como operacionalizar a descoberta de eixos para características arbitrárias além dos comportamentos específicos estudados.
• O agrupamento observado (por exemplo, na bajulação) pode refletir estados de persona distintos ou artefatos do método de construção de eixos, uma distinção deixada para trabalhos futuros.

Em última análise, o trabalho argumenta que entender e aproveitar a natureza de "simulador" dos LLMs — especificamente a estrutura geométrica de personas inferidas — pode levar a ferramentas de monitoramento de segurança mais eficazes e robustas.