PerMix-RLVR: Preserving Persona Expressivity under Verifiable-Reward Alignment

Título: PerMix-RLVR: Preservando a Expressividade de Persona sob Alinhamento com Recompensas Verificáveis

1. O Problema

O uso de prompting de persona (atribuir um papel específico ao modelo, como "você é um matemático" ou "uma criança de jardim de infância") é uma prática comum para orientar o comportamento de Grandes Modelos de Linguagem (LLMs). No entanto, a eficácia dessa técnica é altamente volátil:

• Inconsistência: A mesma estratégia de persona pode melhorar drasticamente o desempenho em uma tarefa, mas degradá-lo severamente se a persona for mal especificada ou inadequada.
• Custo de Busca: Identificar a "melhor" persona para uma tarefa específica exige uma busca exaustiva e cara no momento da inferência (inference-time), envolvendo tentativa e erro.
• Trade-off Não Explorado: Trabalhos anteriores focaram em estratégias de busca no momento da inferência. Este artigo questiona por que não treinar modelos que sejam intrinsecamente robustos a variações de persona durante o treinamento.

O estudo identifica um fenômeno crítico: modelos treinados com Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornam-se extremamente robustos a variações de persona em tarefas com objetivos verificáveis (como matemática), mas perdem a capacidade de expressar fielmente a persona (fidelidade) quando necessário (como em role-playing).

2. Metodologia e Análise Teórica

Análise Empírica e Teórica:
Os autores analisam modelos pós-treinados (RLVR vs. SFT vs. Distilação) e descobrem que o RLVR atua como um filtro de competência de estilo.

• Mecanismo de RLVR: O RLVR otimiza a política para maximizar a probabilidade de respostas corretas (verificáveis). Teoricamente, isso repondera os estilos de raciocínio que levam a respostas corretas, suprimindo estilos que não são compatíveis com a solução correta.
• O Dilema: Em tarefas verificáveis, isso aumenta a robustez (o modelo não "quebra" com personas ruins). No entanto, em tarefas de role-playing, onde a fidelidade à persona é o objetivo, o RLVR suprime traços de personalidade que podem ser vistos como "ruído" ou ineficientes para a solução correta, resultando em respostas genéricas e sem caráter.

Proposta: PerMix-RLVR
Para resolver esse trade-off entre robustez (estabilidade em tarefas difíceis) e fidelidade (expressividade de persona), os autores propõem o PerMix-RLVR.

• Conceito: Em vez de treinar o modelo apenas com a instrução da tarefa ($x$), o PerMix-RLVR treina o modelo com uma mistura de personas durante o processo de RLVR.
• Algoritmo:
  1. Para cada instância de treinamento, uma persona $p$ é amostrada aleatoriamente de um pool diversificado ($P_{train}$).
  2. O prompt de sistema inclui essa persona ($x + p$).
  3. O modelo gera respostas e recebe recompensas baseadas na verificação da resposta final (verificável).
  4. O modelo aprende a manter a competência (resolver o problema) sob diversas "priors" de estilo induzidas por diferentes personas.
• Objetivo: Ensinar o filtro de competência a ser calibrado não apenas para o estilo padrão do modelo, mas para um espectro amplo de estilos de persona, permitindo que o modelo seja robusto a personas nocivas, mas ainda capaz de adotar personas específicas quando solicitado.

3. Contribuições Principais

1. Identificação do Determinante de Sensibilidade: Demonstram que o objetivo de alinhamento pós-treinamento é um fator chave. Modelos RLVR são sistematicamente mais robustos a variações de persona em tarefas verificáveis, mas menos expressivos em role-playing.
2. Análise do Trade-off Robustez-Fidelidade: Fornecem uma análise teórica e empírica mostrando que o RLVR induz robustez em tarefas orientadas a objetivos, mas atenua a expressividade de persona.
3. Proposta do PerMix-RLVR: Introduzem uma estratégia de treinamento que preserva a robustez contra variações de persona prejudiciais enquanto recupera a expressividade necessária para role-playing fiel.
4. Validação Empírica: Demonstram que o PerMix-RLVR supera o RLVR padrão e outras técnicas (SFT, Distilação) em métricas de precisão, estabilidade de persona e fidelidade de role-playing.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de matemática (GSM8K, MATH500, AIME2024), código (LiveCodeBench) e avaliação de persona (PersonaGym).

• Robustez (Persona Stability Score - PSS):
  • O PerMix-RLVR superou o RLVR padrão, aumentando o PSS em +21,2% no MATH500.
  • Isso indica que o modelo mantém um desempenho consistente mesmo quando personas inadequadas (ex: "jardineiro" em problemas de cálculo) são usadas, evitando a queda drástica de desempenho observada em outros métodos.
• Fidelidade de Persona (PersonaGym):
  • Enquanto o RLVR padrão tende a ignorar a persona em favor da resposta correta, o PerMix-RLVR recuperou a capacidade de manter o personagem.
  • No PersonaGym, o PerMix-RLVR obteve uma pontuação de consistência de persona +11,4% superior ao RLVR padrão.
• Comparação com Distilação:
  • O PerMix-RLVR (sem professor/teacher-free) alcançou desempenho comparável ou superior a métodos de distilação que utilizam modelos professores muito maiores (ex: Qwen3-32B, Llama-70B), mas com custo computacional significativamente menor.
• Generalização:
  • O método demonstrou eficácia consistente em domínios deslocados (Out-of-Distribution), como tarefas de código, onde o RLVR padrão falhava em manter a estabilidade de persona.

5. Significado e Conclusão

O trabalho representa uma mudança de paradigma: em vez de tratar a sensibilidade a persona como um problema a ser resolvido no momento da inferência (via busca de prompt), ele deve ser tratado como uma propriedade a ser aprendida durante o treinamento.

• Equilíbrio Otimizado: O PerMix-RLVR oferece o melhor equilíbrio entre precisão da tarefa, estabilidade de persona e expressividade.
• Implicação Prática: Permite o desenvolvimento de modelos que são confiáveis e robustos (não falham com prompts ruins) mas que ainda podem ser "personificados" com fidelidade quando o usuário deseja um papel específico, eliminando a necessidade de "loteria de persona" no uso diário.
• Futuro: O estudo sugere que o condicionamento de persona no momento do treinamento é uma direção promissora para construir LLMs mais controláveis e adaptáveis.

Em resumo, o PerMix-RLVR resolve o dilema de "ou o modelo é robusto ou é expressivo", demonstrando que é possível treinar modelos que são simultaneamente resilientes a variações de prompt e fiéis a identidades de persona complexas.