Resumo Técnico: Quão Útil é a Generalização entre Domínios para o Treinamento de Monitores de LLM?

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como classificadores para monitoramento de segurança e alinhamento, como a detecção de intenções de usuário prejudiciais ou a identificação de comportamentos de IA perigosos. Embora os modelos com prompts ofereçam flexibilidade, eles frequentemente carecem da robustez e do desempenho de classificadores especializados com ajuste fino. Por outro lado, o ajuste fino especializado geralmente requer grandes quantidades de dados rotulados no domínio, que são frequentemente escassos. Além disso, o treinamento em uma única tarefa de classificação pode levar ao "aprendizado de atalhos", onde os modelos inferem regras a partir de padrões de dados em vez de seguir o prompt específico, causando falhas quando o prompt muda.

Este artigo investiga se o treinamento de LLMs em múltiplas tarefas de classificação (cada uma com seu próprio prompt) permite a generalização entre domínios. Especificamente, os autores perguntam:

1. O treinamento em uma tarefa de classificação em um domínio (por exemplo, dano cibernético) melhora o desempenho em tarefas não vistas em domínios adjacentes (por exemplo, monitoramento de controle de IA)?
2. Este treinamento pode ser combinado com treinamento geral de seguimento de instruções sem diluir os benefícios da classificação?
3. Os benefícios do treinamento de classificação de um único token transferem-se para tarefas generativas, como classificação de "pensamento" e sumarização?

Metodologia

Os autores conduziram experimentos extensivos usando a família de modelos Qwen3 (8B, 32B e 235B parâmetros).

Conjuntos de Dados

O estudo utilizou vários conjuntos de dados:

• Conjuntos de Dados de Dano Sintético: Conversas sobre dano químico (50k) e dano cibernético (50k) rotuladas com base na intenção do usuário de causar danos específicos.
• Conjunto de Dados de Controle de IA: ControlArena (4k), contendo transcrições de agentes de IA executando tarefas de codificação, rotuladas para ações não solicitadas perigosas (por exemplo, sabotagem, subversão da supervisão).
• Tarefas Fora da Distribuição: IMDB (análise de sentimento) e Raciocínio Clandestino (detecção de raciocínio matemático oculto em tarefas de biologia).

Protocolos de Treinamento

• Ajuste Fino: Os autores utilizaram LoRA (Adaptação de Baixo Rango) para ajuste fino supervisionado (SFT) eficiente.
• Formatos de Classificação:
  • 1-token: Os modelos outputam "1" ou "0".
  • Pensamento: Os modelos geram raciocínio antes de outputar uma pontuação de confiança (0-100).
• Estratégias de Treinamento:
  • Tarefa Única vs. Múltiplas Tarefas: Treinamento em domínios específicos versus mistura de domínios.
  • Treinamento Agrupado: Para evitar a "diluição" da perda de classificação ao misturar com conjuntos de dados massivos de seguimento de instruções, os autores compararam a embaralhamento de dados com uma abordagem de dois estágios: realizar todo o treinamento de classificação primeiro, seguido pelo treinamento de seguimento de instruções.
  • Aprendizado por Reforço (RL): Alguns modelos passaram por treinamento RL CISPO inicializado com checkpoints de SFT de 1-token.

Métricas de Avaliação

O desempenho foi medido principalmente usando AUC (AUROC). Para cenários de alto desempenho, foi utilizado o logAUC para focar em baixas taxas de falsos positivos relevantes para implantação.

Principais Contribuições e Resultados

1. Generalização entre Domínios

O treinamento em uma tarefa de classificação em um domínio melhora significativamente o desempenho em domínios adjacentes não vistos.

• Transferência para Domínio Adjacente: Um modelo treinado na classificação de "dano cibernético" recuperou 75% do aumento de desempenho obtido ao treinar diretamente na tarefa "ControlArena" (controle de IA), apesar de não ter dados de treinamento no domínio para ControlArena.
• Mitigação da Escassez de Dados: Adicionar dados fora do domínio (dano cibernético) a dados limitados no domínio (ControlArena) melhorou o desempenho, mesmo quando os dados fora do domínio eram 14 vezes maiores que os dados no domínio. Isso sugere que dados de domínios adjacentes são um suplemento viável quando os dados no domínio são escassos.
• Transferência de Robustez: O treinamento em dados de dano cibernético aumentados com injeções de prompt melhorou a robustez contra injeções de prompt no domínio ControlArena, transferindo-se através tanto do domínio quanto da posição de injeção.

2. Mitigação de Falhas de Generalização

Os autores identificaram dois modos de falha específicos onde o ajuste fino de tarefa única faz com que os modelos ignorem novos prompts:

• Transbordamento: O modelo infere uma fronteira de classificação mais ampla do que o prompt especifica (por exemplo, sinalizar dano químico quando solicitado apenas sobre ataques cibernéticos).
• Persistência: O modelo ignora um prompt completamente novo (por exemplo, "O usuário é francês?") e continua aplicando a regra de classificação de treinamento a dados familiares.

Solução: Os autores descobriram que o treinamento em dados gerais de seguimento de instruções juntamente com dados de classificação mitiga essas falhas. Crucialmente, simplesmente misturar os dados leva à diluição. A abordagem mais eficaz é o treinamento agrupado: realizar o SFT de classificação primeiro, seguido pelo SFT de seguimento de instruções. Isso preserva os benefícios da classificação enquanto restaura a capacidade do modelo de seguir novos prompts.

3. Transferência para Tarefas Generativas

Surpreendentemente, o treinamento de classificação de 1-token (que não envolve traços de raciocínio) melhora o desempenho em tarefas que exigem geração e raciocínio:

• Classificação de Pensamento: Treinar um modelo na classificação de dano cibernético de 1-token aumentou sua AUC de classificação de "pensamento" no ControlArena de 0,84 para 0,94, apesar de nunca ter sido treinado no formato de pensamento.
• Sumarização: Modelos treinados via SFT de 1-token foram melhores em identificar ações perigosas quando solicitados a resumir transcrições, aumentando a taxa na qual tarefas secundárias foram identificadas e sinalizadas como suspeitas.
• Bootstrap: Os autores demonstraram uma técnica não supervisionada onde o SFT de 1-token é usado iterativamente para rotular dados no modo "pensamento", que é então usado para treinar o modelo ainda mais, aproximando-se do desempenho do treinamento rotulado com verdade fundamental sem usar rótulos.

4. Compatibilidade com Capacidades Gerais

O ajuste fino em tarefas de classificação não degradou as capacidades gerais. Os benchmarks em IFEval e MMLU-Pro mostraram nenhuma queda mensurável de desempenho após o SFT de 1-token em dados de dano cibernético.

Significado e Alegações

O artigo argumenta que o treinamento de classificação de único token é uma técnica poderosa e instrumentalmente útil para a construção de monitores de IA. Seu significado reside em três áreas principais:

1. Eficiência: Permite a criação de monitores robustos usando dados limitados no domínio, aproveitando conjuntos de dados de domínios adjacentes.
2. Robustez: Melhora o desempenho do modelo não apenas na tarefa de classificação específica, mas também em raciocínio complexo (pensamento) e tarefas generativas (sumarização) relevantes para o monitoramento.
3. Integração: Demonstra que o treinamento de classificadores especializados pode ser integrado com sucesso ao treinamento geral de seguimento de instruções, desde que o treinamento seja estruturado (agrupado) para evitar diluição.

Os autores concluem que esta abordagem oferece um caminho prático para a construção de monitores de controle de IA mais fortes que funcionam efetivamente tanto como classificadores quanto como componentes em sistemas de monitoramento mais amplos, sem sacrificar as capacidades gerais do modelo.