Resumo Técnico: BOOST – Otimização Bilevel de Trajetórias Sintéticas para Ajuste Fino de LLMs de Múltiplas Rodadas

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) destacam-se na geração de uma única rodada, mas enfrentam dificuldades em interações de múltiplas rodadas e longo horizonte (por exemplo, negociação, resolução de problemas) que exigem planejamento em múltiplos passos, onde ações intermediárias podem não gerar recompensas imediatas. Embora o Aprendizado por Reforço (RL) offline ofereça uma alternativa escalável ao RL online para o ajuste fino de LLMs em trajetórias pré-coletadas, ele enfrenta um gargalo crítico: a escassez e a qualidade dos dados de trajetórias de múltiplas rodadas.

Para abordar a escassez de dados, abordagens recentes aumentam os conjuntos de treinamento com trajetórias sintéticas geradas por LLMs ou simuladores. No entanto, os dados sintéticos são altamente heterogêneos em qualidade. Tratar ingenuamente todas as trajetórias (reais e sintéticas) como igualmente informativas pode degradar o desempenho, pois trajetórias sintéticas de baixa qualidade ou enganosas podem dominar o sinal de aprendizado. Tentativas anteriores para mitigar isso envolvem filtragem binária usando LLMs "juízes" mais fortes ou bases de conhecimento especializadas, que descartam sinais potencialmente úteis e exigem acesso a modelos de maior capacidade. Há uma necessidade de um método que possa reponderar continuamente os dados sintéticos ao nível da trajetória sem depender de juízes externos, equilibrando efetivamente a diversidade oferecida pelos dados sintéticos contra o risco de desvio de tarefa.

Metodologia: BOOST

Os autores propõem o BOOST (Otimização Bilevel de Trajetórias Sintéticas), um framework que integra dados sintéticos no ajuste fino de RL de múltiplas rodadas por meio de um processo de otimização bilevel.

Framework Central

O BOOST formula o processo de aprendizado como um problema de otimização bilevel:

1. Nível Interno: Treina a política do LLM ($\pi_\theta$) e as funções de valor-Q em um conjunto de dados misto ($D_{mixed} = D_{real} \cup D_{synthetic}$) usando uma perda reponderada.
2. Nível Externo: Otimiza uma cabeça de reponderação ($w_\phi$) leve para atribuir pesos escalares contínuos a trajetórias individuais. O objetivo do nível externo é minimizar a perda da política resultante em um conjunto de validação real retido ($D_{val}$).

Diferentemente de trabalhos anteriores que reponderam fontes de dados de granulação grosseira, o BOOST opera ao nível da trajetória, permitindo controle de granulação fina sobre a qualidade dos dados. A cabeça de reponderação recebe uma trajetória como entrada e produz um peso $w_\phi(\tau)$, que é normalizado via softmax sobre um minibatch para modular a contribuição da trajetória na perda de treinamento.

Procedimento de Treinamento e Estabilidade

O algoritmo de treinamento (Algoritmo 1) emprega três inovações de engenharia chave para garantir estabilidade e convergência:

1. Atualizações Alternadas Congeladas: Em cada iteração, apenas um grupo de parâmetros (política auxiliar $\psi$, política principal $\theta$ ou cabeça de reponderação $\phi$) é atualizado enquanto os outros permanecem congelados. Isso previne sinais de gradiente conflitantes.
2. Inicialização com Warm-Start: A política principal $\theta$ é re-inicializada a partir da política auxiliar $\psi$ no início de cada iteração externa. Como $\psi$ rastreia o ótimo do nível interno, isso fornece um warm-start que acelera a convergência.
3. Taxas de Aprendizado Assimétricas: Os parâmetros da política ($\theta, \psi$) usam uma taxa de aprendizado significativamente maior do que a cabeça de reponderação ($\phi$). Isso reflete a natureza hierárquica do problema, garantindo que a política alcance uma solução estável antes que os pesos sejam ajustados.

Fundamentação Teórica

Os autores derivam um limite de tempo de acerto PAC-Bayesiano para fundamentar a abordagem. O limite revela um trade-off de três vias:

• Dados Sintéticos: Aumentam a diversidade e o tamanho efetivo da amostra, mas arriscam desvio de tarefa (divergência da distribuição da tarefa-alvo).
• Foco em Alta Qualidade: Concentrar o peso em trajetórias de alta qualidade melhora o desempenho empírico, mas reduz o tamanho efetivo da amostra ($n_{eff}$), aumentando a penalidade de complexidade.
• Papel do BOOST: O framework visa um "regime intermediário útil", atribuindo pesos altos a trajetórias sintéticas que se alinham com a distribuição dos dados reais e os objetivos de validação, enquanto desconta aquelas que introduzem ruído ou desvio de tarefa, tudo isso preservando um tamanho efetivo de amostra suficiente para generalização.

Contribuições Principais

1. Framework Bilevel para Reponderação de Trajetórias: Os autores introduzem um framework de otimização bilevel principiado para reponderar dados sintéticos no ajuste fino de RL de múltiplas rodadas. Eles instanciam isso com uma cabeça de reponderação eficiente em parâmetros, treinada conjuntamente com o LLM base e as funções-Q via um esquema de otimização totalmente de primeira ordem.
2. Análise Teórica: Eles derivam um limite PAC-Bayesiano sobre o desempenho sob reponderação de trajetórias, caracterizando explicitamente o trade-off entre diversidade de dados, desvio de tarefa e tamanho efetivo da amostra.
3. Validação Empírica: O método é validado em três benchmarks de RL de múltiplas rodadas (20 Perguntas, Negociação com Vendedor de Carros e WebShop) usando dois algoritmos de RL (Retorno de Monte Carlo e ILQL).

Resultados

Experimentos demonstram que o BOOST supera consistentemente múltiplas linhas de base, incluindo uso uniforme de dados, aumento ingênuo com dados sintéticos e reponderação bilevel aplicada apenas a dados reais.

• Ganhos de Desempenho: O BOOST mostra os maiores ganhos em regimes de baixa quantidade de dados. Por exemplo, na tarefa de 20 Perguntas sob a configuração de Retorno de Monte Carlo, o BOOST melhorou o desempenho em 242,6% sobre a melhor linha de base vanilla (3,46 vs. 1,01). Na Negociação com Vendedor de Carros, a melhoria foi de 31,7% (40,92 vs. 31,08).
• Utilidade dos Dados Sintéticos: Adicionar dados sintéticos de forma ingênua frequentemente prejudicou o desempenho (por exemplo, em configurações ILQL, o aumento sintético sem pesos teve desempenho inferior ao treinamento vanilla em 4 de 6 configurações). O BOOST aproveitou com sucesso os dados sintéticos ao aumentar o peso apenas das trajetórias que se alinhavam com a distribuição dos dados reais.
• Análise de Pesos:
  • Os pesos aprendidos são não uniformes e variam por ponto.
  • Pontos sintéticos de alto peso são aqueles mais próximos da distribuição de dados offline no espaço de incorporação (correlação negativa entre peso e distância aos vizinhos offline mais próximos).
  • Crucialmente, o BOOST recupera sinais latentes de pontos offline que anteriormente eram subvalorizados. No ambiente de Vendedor de Carros, 36,2% dos pontos offline que receberam baixo peso sob um objetivo apenas offline foram promovidos a alto peso quando os dados sintéticos foram introduzidos, sugerindo uma relação sinérgica entre as fontes de dados.

Significado e Alegações

O artigo alega que o BOOST estabelece um caminho prático para a adaptação eficiente em dados de LLMs de múltiplas rodadas. Ao aprender pesos ao nível da trajetória sem juízes externos, o método gerencia o trade-off entre a diversidade fornecida pelos dados sintéticos e o risco de desvio de tarefa.

Os autores enfatizam que sua abordagem:

• Não requer acesso a um modelo "juiz" de maior capacidade.
• Opera em um nível de trajetória de granulação fina, em vez de fontes de dados de granulação grosseira.
• Recupera efetivamente sinais úteis tanto de dados sintéticos de alta qualidade quanto de dados offline anteriormente subvalorizados.

O artigo conclui com uma limitação modesta: a reponderação atual opera ao nível da trajetória. Trabalhos futuros poderiam explorar reponderação por passo de tempo de granulação mais fina para recuperar sinais úteis de trajetórias parcialmente boas.