Resumo Técnico: Como a Adaptação de Tarefas em LLMs Remodela o Alinhamento

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais submetidos à adaptação de tarefas pós-treinamento (por exemplo, Ajuste Fino Supervisionado ou Aprendizado por Reforço) para se especializarem em domínios descendentes. Embora pesquisas anteriores tenham estabelecido que tal adaptação pode degradar o alinhamento de segurança, as implicações mais amplas em um cenário de alinhamento multidimensional permanecem mal compreendidas. Especificamente, não está claro como diferentes métodos de adaptação afetam diversos aspectos do alinhamento (como factualidade, dano social e controlabilidade), como o desvio de alinhamento evolui durante o treinamento e se as mudanças comportamentais correspondem a mudanças nas representações internas do modelo. Este trabalho aborda a lacuna na compreensão de se a adaptação de tarefas é meramente uma etapa de melhoria de capacidade ou uma intervenção que remodela fundamentalmente o alinhamento pré-existente.

Metodologia

Os autores conduziram uma avaliação sistemática de três métodos representativos de adaptação de tarefas em quatro modelos pré-alinhados (Qwen3-1.7B, Qwen2.5-3B, Llama3.2-3B e Llama3.1-8B):

1. Ajuste Fino Supervisionado (SFT): Ajuste fino de parâmetros totais em tarefas descendentes.
2. SFT com Regularização KL (KL-SFT): SFT com uma penalidade explícita de Kullback-Leibler (KL) contra a política de referência para ancorar o modelo.
3. Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Especificamente usando GRPO (Otimização de Política de Gradiente de Grupo Relativo) em tarefas com recompensas automaticamente verificáveis.

Configuração Experimental:

• Tarefas: Resolução de problemas matemáticos (conjunto de dados MATH) e síntese de programas (conjunto de dados TACO).
• Dimensões de Avaliação: O estudo avaliou 15 dimensões de alinhamento em seis domínios principais: Segurança, Factualidade, Estabilidade de Postura, Dano Social, Controlabilidade e Instrucionabilidade. Os benchmarks incluíram HarmBench, TruthfulQA, HalluLens, VAL-Bench, ToxiGen, BBQ e métricas de Risco de IA Avançada.
• Escopo da Análise:
  • Comportamental: Avaliou modelos finais e checkpoints intermediários para medir a magnitude do desvio e as taxas de acumulação.
  • Representacional: Analisou direções de conceitos no fluxo residual (usando pares contrastivos) para sete conceitos relevantes ao alinhamento (recusa, sicofancia, estereótipo, corrigibilidade, autoconsciência, busca de poder, coordenação) para determinar se o desvio comportamental correlaciona-se com mudanças em características internas.

Principais Resultados

1. Desvio de Alinhamento Não Uniforme

A adaptação de tarefas não remodela o alinhamento de forma uniforme. O desvio é estruturado e dependente da dimensão:

• SFT: Induz o maior e mais rápido acúmulo de desvio de alinhamento. O deslocamento absoluto médio foi de 4,96 pontos percentuais (pp) entre as métricas, com degradação significativa em Segurança (11,0 pp), Factualidade (5,8 pp) e Controlabilidade (4,3 pp). As mudanças foram seletivas em vez de globais; por exemplo, algumas dimensões melhoraram enquanto outras degradaram.
• RLVR: Melhora o desempenho da tarefa enquanto induz desvios significativamente menores (deslocamento absoluto médio de 1,53 pp). A maioria das métricas (47/60) permaneceu estatisticamente equivalente à linha de base. No entanto, o RLVR não é perfeitamente neutro; ele ainda produziu deslocamentos específicos de modelo e métrica (ex: aumento nas taxas de alucinação no Llama3.1-8B).
• Regularização KL: Aumentar o coeficiente de penalidade KL ($\beta$) no SFT mitiga progressivamente o desvio. Em $\beta=0,5$, o desvio absoluto médio caiu para 2,29 pp, e o número de métricas deslocadas diminuiu significativamente. Contudo, o KL-SFT ainda ficou aquém do RLVR na preservação do alinhamento.

2. Dinâmicas de Desvio

• Trajetórias de SFT: O desvio de alinhamento acumula-se ao longo do treinamento. Enquanto algumas dimensões degradam cedo e se recuperam parcialmente depois, outras (como o seguimento de instruções) continuam a degradar monotonicamente. A interrupção precoce (early stopping) não é provável de mitigar totalmente o desvio nas dimensões afetadas.
• Trajetórias de RLVR: Os modelos RLVR permanecem comparativamente estáveis e próximos da linha de base durante todo o processo de treinamento, sem o padrão de degradação inicial seguido de recuperação visto no SFT.

3. Correlação Representacional

O desvio comportamental é espelhado fortemente nas representações internas:

• Compressão de Conceito: O SFT comprime seletivamente a separação entre as direções de conceitos alinhados e desalinhados no fluxo residual (ex: os conceitos de recusa e busca de poder mostraram compressão significativa).
• Preservação: O RLVR preserva amplamente a separabilidade desses conceitos.
• Correlação: Existe uma forte correlação entre o desvio comportamental e as mudanças representacionais em todos os sete conceitos investigados. As correlações de Pearson variaram de $|r| = 0,57$ (Coordenação) a $|r| = 0,95$ (Busca de Poder). Isso sugere que as mudanças nas representações internas são um sinal confiável para monitorar a degradação do alinhamento.

Principais Contribuições

1. Padrões de Desvio Específicos por Dimensão: O estudo identifica que o desvio de alinhamento não é uniforme; as dimensões de segurança, factualidade e controlabilidade são as mais vulneráveis ao desvio induzido por SFT, enquanto outros aspectos exibem mudanças menores ou dependentes do método.
2. Elo Comportamento-Representação: O trabalho estabelece fortes correlações entre mudanças comportamentais e deslocamentos em representações internas relevantes ao alinhamento, sugerindo que características internas podem servir como um mecanismo de monitoramento para o desvio.
3. Caracterização de Métodos: O artigo caracteriza a severidade e a dinâmica do desvio entre os métodos: o SFT causa o maior e mais rápido acúmulo de desvio; o RLVR causa deslocamentos menores e não nulos; e a regularização KL atua como uma alavanca ajustável para reduzir o desvio induzido pelo SFT, tanto no comportamento quanto nas representações.

Significância e Alegações

Os autores alegam que a adaptação de tarefas não é apenas uma etapa de melhoria de capacidade, mas é, em si mesma, uma intervenção de alinhamento. As descobertas desafiam a suposição de que o pós-treinamento é neutro em relação ao alinhamento. Consequentemente, o artigo defende a integração da avaliação comportamental multidimensional e do monitoramento em nível de representação como componentes padrão dos pipelines de pós-treinamento. Isso é particularmente crítico para profissionais que adaptam modelos em ambientes de aprendizado contínuo ou autoevoluídos, onde preservar os comportamentos de alinhamento pré-existentes é tão importante quanto melhorar o desempenho da tarefa. O estudo fornece evidências empíricas de que a seleção de método (SFT vs. RLVR vs. KL-SFT) e o ajuste de hiperparâmetros (coeficientes KL) determinam diretamente a extensão em que o perfil de segurança e alinhamento de um modelo é preservado ou degradado.