🤖 machine learning

RSPO: Regularized Self-Play Alignment of Large Language Models

O artigo apresenta o Regularized Self-Play Policy Optimization (RSPO), um novo framework que unifica métodos anteriores de auto-jogo com regularizadores plug-and-play para mitigar a sobre-otimização e melhorar significativamente o desempenho de alinhamento e a diversidade de respostas em múltiplos benchmarks.

Autores originais: Xiaohang Tang, Sangwoong Yoon, Seongho Son, Huizhuo Yuan, Quanquan Gu, Ilija Bogunovic

Publicado 2026-09-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaohang Tang, Sangwoong Yoon, Seongho Son, Huizhuo Yuan, Quanquan Gu, Ilija Bogunovic

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, pesquisadores tentam constantemente ensinar programas de computador a compreender e seguir os desejos humanos. Esse processo, frequentemente chamado de alinhamento, é crucial porque um modelo de linguagem poderoso que é tecnicamente brilhante, mas ignora os valores humanos, pode ser perigoso ou simplesmente inútil. Durante anos, o método padrão para ensinar esses modelos tem sido uma forma de treinamento supervisionado onde humanos fornecem feedback sobre quais respostas são melhores. No entanto, uma abordagem mais nova e dinâmica surgiu: o auto-jogo (self-play). Imagine duas versões do mesmo modelo de IA competindo entre si, gerando respostas e julgando qual delas é superior com base em um conjunto de regras. Através deste ciclo interminável de competição e melhoria, os modelos teoricamente aprendem a encontrar a melhor maneira possível de se comunicar, de forma muito semelhante a como atletas refinam suas habilidades ao treinar com oponentes de força equivalente.

O desafio com este método de auto-jogo, no entanto, é que, sem uma rede de segurança, os modelos podem ir longe demais. Em seu impulso implacável para vencer o jogo, eles podem começar a explorar falhas no sistema de julgamento, produzindo respostas que parecem perfeitas no papel, mas que são, na verdade, sem sentido ou prejudiciais. Este fenômeno é conhecido como sobre-otimização. É semelhante a um aluno que memoriza as respostas exatas de um teste prático, mas falha em entender os conceitos subjacentes, apenas para tropeçar diante de uma questão ligeiramente diferente. Para prevenir isso, os pesquisadores geralmente adicionam um termo de "regularização", uma restrição matemática que puxa suavemente o modelo de volta ao seu estado original e bem comportado. Embora este conceito seja bem compreendido em outras áreas do aprendizado de máquina, ele tem sido amplamente negligenciado no contexto específico do auto-jogo, deixando uma lacuna em como garantimos que esses modelos competitivos permaneçam seguros e confiáveis.

Uma equipe de pesquisadores abordou agora essa lacuna introduzindo um novo framework chamado Otimização de Política de Auto-Jogo Regularizada, ou RSPO. O trabalho deles foca em uma ideia simples, mas poderosa: e se pudéssemos facilmente plugar diferentes tipos de restrições de segurança no jogo de auto-jogo para manter os modelos no caminho certo? Em vez de estarem presos a uma única maneira rígida de aplicar essas restrições, o novo método deles permite uma mistura flexível de diferentes estratégias. Os pesquisadores testaram esta abordagem usando vários modelos de linguagem de grande escala populares, incluindo versões baseadas nas arquiteturas Mistral, LLaMA e Gemma. Eles descobriram que, ao ajustar cuidadosamente essas restrições de segurança, os modelos podiam alcançar resultados significativamente melhores do que aqueles treinados sem nenhuma restrição.

Os resultados de seus experimentos foram impressionantes. Quando aplicaram seu método a um modelo chamado Mistral-7B, a porcentagem de vezes que ele venceu contra um benchmark padrão melhorou de 28,5% para 35,4%. Para um modelo maior, LLaMA-8B, a taxa de vitória saltou de 38,77% para 43,66%. Mesmo para um modelo menor e mais eficiente, Gemma-2B, o desempenho subiu de 50,54% para 51,83%. Esses números representam um passo significativo à frente, sugerindo que os modelos não estão apenas vencendo com mais frequência, mas também gerando respostas de maior qualidade que são mais úteis e verdadeiras. Além de apenas vencer mais jogos, os pesquisadores observaram que os modelos treinados com seu método produziam respostas mais diversas. Em muitos casos, o auto-jogo não regulamentado faz com que os modelos colapsem em um estilo de fala único e repetitivo, mas o novo método incentivou uma variedade mais rica de respostas, o que é essencial para um assistente útil.

Uma das descobertas mais significativas foi que nem todas as restrições de segurança funcionam da mesma forma. Os pesquisadores descobriram que diferentes tipos de restrições tinham efeitos distintos no comportamento dos modelos. Alguns tipos de restrições tendiam a fazer os modelos escreverem respostas mais curtas e concisas, enquanto outros eram melhores em impulsionar a qualidade geral da resposta. Ao combinar esses diferentes abordagens, eles foram capazes de obter o melhor de ambos os mundos: respostas que eram tanto de alta qualidade quanto apropriadamente concisas. Esta flexibilidade é uma grande vantagem sobre métodos anteriores, que eram frequentemente limitados ao uso de apenas um tipo específico de restrição. O novo framework permite que os pesquisadores misturem e combinem essas ferramentas para se adequar às necessidades específicas da tarefa em questão, tornando o processo de treinamento mais robusto e adaptável.

O estudo também destacou que esta abordagem é altamente eficiente. Os pesquisadores demonstraram que poderiam alcançar níveis de desempenho comparáveis a modelos muito maiores e mais complexos usando seu método em modelos base menores. Isso sugere que a qualidade do processo de treinamento importa tanto quanto o tamanho do modelo em si. Ao refinar como os modelos aprendem através do auto-jogo, é possível extrair mais de menos poder computacional, o que é uma consideração vital à medida que estas tecnologias se tornam mais difundidas. Os pesquisadores provaram que seu método não é apenas uma melhoria teórica, mas uma ferramenta prática que pode ser facilmente integrada em pipelines de treinamento existentes sem exigir uma reformulação completa dos sistemas atuais.

Em última análise, este trabalho fornece um caminho mais claro para alinhar a inteligência artificial com os valores humanos. Ele mostra que a chave para evitar que os modelos saiam dos trilhos durante o auto-jogo não é interromper a competição, mas sim guiá-la com o tipo certo de restrições. Ao oferecer uma maneira flexível de aplicar esses guias, os pesquisadores deram ao campo uma nova ferramenta poderosa para construir sistemas de IA que são não apenas mais inteligentes, mas também mais seguros e confiáveis. As descobertas sugerem que o futuro do alinhamento da IA reside em equilibrar o impulso de melhoria com a necessidade de estabilidade, garantindo que, à medida que estes sistemas se tornam mais capazes, eles permaneçam firmemente fundamentados no que os humanos realmente precisam e valorizam.

Resumo Técnico: RSPO: Alinhamento de Grandes Modelos de Linguagem via Self-Play Regularizado

1. Definição do Problema

O alinhamento via self-play emergiu como uma abordagem iterativa poderosa para o ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLMs), formulando a otimização de preferências como um jogo de dois jogadores. Neste framework, o objetivo é encontrar um Equilíbrio de Nash (NE) onde a política do LLM gera respostas preferidas em relação às de uma política competidora, baseando-se em um modelo de preferência geral. Embora eficaz, os métodos de self-play existentes (ex: SPPO) frequentemente carecem de regularização explícita em relação a uma política de referência.

A ausência de regularização leva à sobre-otimização, particularmente quando o modelo de preferência é impreciso, mal especificado ou limitado em expressividade (ex: modelos de recompensa de pequena escala como o PairRM). Sem restrições, a política pode desviar-se significativamente do modelo de referência, resultando em degradação de desempenho, colapso das distribuições de resposta e redução da diversidade. Embora alguns métodos recentes (ex: Nash-MD) incorporem regularização, eles são tipicamente restritos à divergência KL Reversa e exigem procedimentos de amostragem especializados (políticas de mistura geométrica) que são difíceis de generalizar para outras medidas de divergência. Há uma carência de um framework unificado que suporte estratégias de regularização flexíveis enquanto mantém garantias teóricas de convergência.

2. Metodologia: Otimização de Política de Self-Play Regularizada (RSPO)

Os autores propõem o RSPO, um novo framework que unifica métodos anteriores de self-play e permite a integração "plug-and-play" de diversas estratégias de regularização.

Framework Central

O RSPO define uma função de perda $L_{RSPO}$ que combina uma perda de self-play de erro quadrático médio com um termo de regularização ponderado:
$L_{RSPO} = \mathbb{E}_{y \sim \pi_t} \left[ \left( \log \frac{\pi_\theta(y)}{\pi_t(y)} - \eta \left( G(y, \pi_t, \mu) - B(\pi_t, \mu) \right) \right)^2 \right] + \lambda R(\pi_\theta, \mu)$

Onde:

$G(y, \pi_t, \mu)$ : A direção de atualização, tipicamente definida como o gradiente de preferência $P(y \succ \pi_t)$ .
$B(\pi_t, \mu)$ : Uma função de baseline para redução de variância (definida como $1/2$ ).
$R(\pi_\theta, \mu)$ : Uma função de regularização convexa geral que mede a distância entre a política atual $\pi_\theta$ e a política de referência $\mu$ .
$\lambda$ : A temperatura de regularização.

Mecanismos Principais

Unificação e Simplicidade: O RSPO generaliza métodos não regularizados existentes (como o SPPO) simplesmente adicionando o termo $\lambda R(\pi_\theta, \mu)$ às suas funções de perda. Ele também generaliza métodos regularizados como o Nash-MD, demonstrando que o Nash-MD é uma instância específica do RSPO sob a divergência KL Reversa com uma direção de atualização especializada.
Regularização Flexível: Ao contrário do Nash-MD, que é intrinsecamente ligado à KL Reversa e exige a amostragem de uma política de mistura geométrica, o RSPO permite funções de regularização $R$ $R$ arbitrárias. Os autores experimentam com:
- Divergência KL Reversa ( $D_{KL}(\pi \parallel \mu)$ )
- Divergência KL Direta ( $D_{KL}(\mu \parallel \pi)$ ), estimada via Amostragem de Importância (IS) ou reamostragem direta.
- Divergência Qui-Quadrado ( $\chi^2$ ).
- Combinações Lineares (ex: KL Direta + KL Reversa).
Garantias Teóricas: Os autores estabelecem que a otimização da perda RSPO é equivalente a realizar Aprendizado por Reforço dentro de um framework de Gradiente de Descida de Espelho Magnético Generalizado (GMMD). Sob a premissa de que a função de regularização $R$ é 1-fortemente convexa em relação à função de entropia, prova-se que o RSPO alcança a convergência da última iteração (last-iterate convergence) para o Equilíbrio de Nash do jogo de otimização de preferência regularizado correspondente.

3. Principais Contribuições

Proposta de Framework: Introdução do RSPO, um framework modular que desacopla o objetivo de otimização de self-play da escolha específica da regularização, permitindo a integração simples de várias medidas de divergência.
Extensão Teórica: Extensão das garantias de convergência de jogos regularizados por KL Reversa para jogos regularizados gerais, provando que o RSPO converge para o NE do jogo regularizado.
Análise Empírica de Regularização: Um estudo sistemático revelando efeitos distintos de diferentes regularizadores:
- KL Reversa: Melhora significativamente as taxas de vitória brutas e ajuda a mitigar a sobre-otimização.
- KL Direta: Tende a reduzir o comprimento das respostas (abordando o viés de comprimento), mas pode reduzir as taxas de vitória se usada isoladamente devido a violações das suposições de convexidade relativa.
- Estratégia Combinada: Uma combinação linear de KL Direta e Reversa alcança o melhor equilíbrio, melhorando a Taxa de Vitória Controlada por Comprimento (LCWR) enquanto mantém a diversidade.
Eficiência de Parâmetros: Demonstração de que o RSPO pode alcançar desempenho comparável a métodos que utilizam modelos de preferência muito maiores, utilizando significativamente menos parâmetros.

4. Resultados Experimentais

Os autores avaliaram o RSPO no Mistral-7B, LLaMA-8B e Gemma-2B utilizando benchmarks incluindo AlpacaEval-2, Arena-Hard, MT-Bench e ArmoRM.

Ganhos de Desempenho: O RSPO com regularizadores ajustados (especificamente uma combinação de KL Direta e Reversa) superou substancialmente o baseline SPPO não regularizado.
- Mistral-7B: A LCWR no AlpacaEval-2 melhorou de 28,5% (SPPO) para 35,4%.
- LLaMA-8B: A LCWR melhorou de 38,77% para 43,66%.
- Gemma-2B: A LCWR melhorou de 50,54% para 51,83%.
Robustez: Diferente do SPPO não regularizado, que mostrou degradação de desempenho em iterações tardias devido à sobre-otimização, o RSPO manteve ou melhorou o desempenho ao longo das iterações.
Diversidade: Observou-se que o RSPO com regularização KL Reversa aumenta a diversidade de resposta (menores pontuações de Self-BLEU) em certos contextos, contra a intuição de que a regularização reduz a diversidade. Isso é atribuído à distribuição multimodal da política de referência.
Eficiência: O RSPO treinado com um modelo de preferência de 0.5B (PairRM) no LLaMA-8B alcançou desempenho similar ao SPPO treinado com um modelo de preferência de 8B (GPM-8B), representando uma redução de 47% nos parâmetros totais.

5. Significância e Alegações

O artigo afirma que o RSPO oferece uma base sólida para explorar o self-play regularizado no alinhamento. Sua significância reside em:

Resolver o Problema da Sobre-Otimização: Ao incorporar explicitamente a regularização, o RSPO mitiga os riscos associados a modelos de preferência imprecisos, um problema crítico no alinhamento prático de LLMs.
Flexibilidade e Generalidade: Ele quebra a dependência da divergência KL Reversa, permitindo que pesquisadores aproveitem os benefícios específicos de diferentes medidas de divergência (ex: controle de comprimento da KL Direta, ganhos de desempenho da KL Reversa) dentro de um único framework teoricamente sólido.
Impacto Prático: O método entrega melhorias empíricas significativas em múltiplos modelos base e benchmarks sem exigir mudanças arquitetônicas complexas ou procedimentos de amostragem especializados, tornando-o uma solução "plug-and-play" para pipelines de self-play existentes.

Os autores concluem que a regularização não é meramente um detalhe técnico, mas um componente crítico para um self-play de alinhamento estável e eficaz, permitindo que os modelos alcancem respostas de maior qualidade, mais diversas e mais robustas.