Resumo Técnico: Otimização de Política com Direcionamento Vetorial (VSPO)

Declaração do Problema

Modelos de linguagem grandes (LLMs) modernos frequentemente exigem otimização para um objetivo primário de precisão, enquanto simultaneamente acomodam preferências comportamentais secundárias, como verbosidade, expressão de confiança, nível de expertise ou robustez a contextos enganosos. Na prática, os modelos base podem exibir esses comportamentos desejados raramente ou não os exibem de todo, criando um gargalo de recompensa comportamental esparsa.

Abordagens existentes enfrentam limitações significativas neste cenário multi-objetivo:

• Moldagem de Recompensa: Adicionar recompensas auxiliares à Otimização de Política Relativa em Grupo (GRPO) é frequentemente ineficiente quando o comportamento-alvo é raro nos rollouts amostrados. Recompensas escalares avaliam trajetórias, mas não melhoram a diversidade ou a qualidade da distribuição de rollout em si. Se um grupo GRPO carecer de candidatos de alta qualidade ou comportamentalmente diversos, a normalização de vantagem relativa fornece sinais de aprendizado fracos.
• Destilação de Traços de Professor (SFT): Usar um modelo professor mais forte para gerar ou reescrever traços com comportamentos-alvo introduz uma incompatibilidade off-policy. O modelo estudante aprende a partir de trajetórias produzidas por outro modelo, e não de suas próprias saídas amostradas, potencialmente causando uma desconexão entre o comportamento destilado e a distribuição alcançável do estudante.
• Feedback Online de IA (RLAIF): Métodos que usam modelos professores poderosos como anotadores ou reescritores durante o loop de RL são computacionalmente caros devido a chamadas de API repetidas e ainda sofrem de desvantagens off-policy ao treinar em traços reescritos.

Metodologia: Otimização de Política com Direcionamento Vetorial (VSPO)

O VSPO aborda esses gargalos empregando vetores de direção associados a comportamentos-alvo para controlar a intensidade dos rollouts gerados. O método é enquadrado como um procedimento de auto-destilação latente on-policy, onde o modelo internaliza seu próprio vetor de direção.

O fluxo de trabalho do VSPO consiste em duas etapas:

Etapa 1: Construção do Vetor de Direção

Um vetor de direção é construído para representar o comportamento-alvo no espaço de ativação latente do modelo.

1. Reescrita Contrastiva: Um modelo professor reescreve respostas base do modelo-alvo em variantes comportamentais positivas e negativas (por exemplo, explicações de especialista vs. elementares).
2. Extração Vetorial: As diferenças de ativação entre essas variantes positivas e negativas são computadas camada por camada. A direção mais forte entre camadas é selecionada e normalizada para formar o vetor de direção $v$. Este vetor captura a direção latente do comportamento-alvo.

Etapa 2: Otimização de Política por Auto-Destilação

A política atual é otimizada usando GRPO, mas com um processo de geração de rollout modificado:

1. Rollouts Direcionados: Para cada prompt, um grupo de $G$ rollouts é amostrado com intensidades de direção variáveis $\beta \in \{\beta_1, \dots, \beta_G\}$. Essas intensidades são aplicadas injetando o vetor de direção no fluxo residual durante a decodificação: $\tilde{h}_t = h_t + \beta v$.
2. Cálculo de Recompensa: Cada rollout recebe uma recompensa $r = r_0 + \alpha \beta$, onde $r_0$ é a recompensa da tarefa primária (por exemplo, correção) e $\alpha \beta$ é uma recompensa comportamental proxy proporcional à intensidade de direção.
3. Atualização da Política: A política é atualizada usando o objetivo padrão do GRPO com vantagens relativas ao grupo. Crucialmente, a atualização é aplicada à política não direcionada ($\pi_\theta$), enquanto a vantagem é calculada com base nos traços direcionados. Isso permite que o modelo destile comportamentos úteis de suas próprias variantes direcionadas sem alterar permanentemente o comportamento de inferência da política com o vetor de direção.

Contribuições Principais

1. Inovação Algorítmica: A introdução do VSPO, um método de otimização de política multi-objetivo que alavanca vetores de direção para controlar o comportamento enquanto preserva a precisão da tarefa. Diferente do GRPO puro ou da moldagem de recompensa, o VSPO melhora ativamente a diversidade de rollouts amostrando explicitamente traços ao longo do vetor latente-alvo. Diferente da SFT de traços de professor, evita o treinamento em trajetórias off-policy de professores; o professor apenas auxilia na construção do vetor.
2. Garantias Teóricas: O artigo estabelece que o VSPO alcança comprovadamente uma complexidade de iteração melhor do que o GRPO com moldagem de recompensa sob uma abstração de bandit. Especificamente, quando as distribuições induzidas pela direção estão suficientemente alinhadas com o comportamento-alvo (satisfazendo uma condição "$\gamma$-boa"), o VSPO faz upsampling de padrões comportamentais raros, mas desejáveis, acelerando a convergência.
3. Validação Empírica: Avaliação extensa nos benchmarks MATH e MMLU-Pro demonstra que o VSPO supera consistentemente a moldagem de recompensa, SFT de traços de professor, SDFT, SDPO e baselines no estilo RLAIF. Ele alcança controle forte sobre quatro comportamentos-alvo (nível de expertise, expressão de confiança, robustez a contextos enganosos e verbosidade) enquanto mantém ou melhora a precisão da tarefa.
4. Propriedades Favoráveis: O VSPO induz um currículo de aprendizado natural ao longo do eixo comportamental e mantém uma distribuição próxima à política (baixo NLL em relação ao modelo base), evitando as mudanças distribucionais severas frequentemente vistas em métodos off-policy.

Resultados Experimentais

Os autores avaliaram o VSPO em dois benchmarks (MMLU-Pro e MATH) com quatro comportamentos-alvo:

• Nível de Expertise: O VSPO alcançou o controle bidirecional mais forte (alterando entre estilos de especialista e elementar) enquanto mantinha alta precisão (por exemplo, 64,3% de controle de nível de especialista no MMLU-Pro vs. 45,0% para SFT).
• Expressão de Confiança: O VSPO direcionou com sucesso as respostas para tons confiantes ou cautelosos sem degradar a precisão, superando baselines que frequentemente trocam estilo por correção.
• Robustez a Contextos Enganosos: Em configurações onde os modelos tendem a concordar com respostas incorretas injetadas, o VSPO melhorou significativamente a precisão (64,2% vs. 23,6% para o modelo original) expondo mais traços de raciocínio independentes durante a geração de rollouts.
• Raciocínio Conciso: O VSPO melhorou o compromisso precisão-comprimento, alcançando maior precisão com respostas mais curtas em comparação com a moldagem de recompensa por penalidade de comprimento.

Significado e Alegações

O artigo alega que o VSPO representa um passo significativo em alinhamento multi-objetivo controlável. Ao tratar o controle comportamental como um problema de direção latente, e não como um problema de moldagem de recompensa ou destilação off-policy, o VSPO:

• Alivia o gargalo de recompensa esparsa gerando candidatos diversos e alinhados ao comportamento diretamente a partir da política atual.
• Reduz a dependência de feedback externo caro reutilizando um único vetor de direção durante toda a otimização, ao contrário de métodos que exigem chamadas repetidas ao professor.
• Permite otimização estável mantendo o processo de treinamento on-policy e próximo à política, evitando a incompatibilidade distribucional inerente à destilação de traços de professor.

Os autores concluem que o VSPO fornece um framework robusto para adquirir comportamentos secundários controláveis sem sacrificar o desempenho da tarefa primária, oferecendo uma alternativa mais eficiente em amostras e teoricamente fundamentada aos métodos existentes de RL e destilação.