Resumo Técnico: POETS (Ensembles de Políticas para Amostragem de Thompson)

Declaração do Problema

Equilibrar exploração e exploração (exploitation) permanece um desafio central na tomada de decisão sequencial e na otimização de caixa preta, particularmente quando aplicado a Grandes Modelos de Linguagem (LLMs). Uma exploração eficaz requer quantificação de incerteza fundamentada. Embora o ensemble de modelos treinados independentemente seja um método comprovado e agnóstico ao modelo para estimar incerteza epistêmica, aplicar diretamente o ensemble ingênuo a LLMs é computacionalmente proibitivo devido a restrições de memória e processamento. Além disso, os métodos de exploração existentes para LLMs frequentemente dependem de modelos de recompensa explícitos (que introduzem complexidades de otimização aninhada) ou dependem fortemente das capacidades de seguimento de instruções do modelo.

Metodologia

O artigo introduz POETS (Ensembles de Políticas para Amostragem de Thompson), um framework que une a quantificação de incerteza e a otimização de políticas sem exigir um modelo de recompensa probabilístico explícito.

Insight Central: Codificação Implícita de Recompensa

O POETS baseia-se na dualidade entre funções de recompensa e políticas ótimas sob objetivos regularizados. Especificamente, políticas treinadas com regularização de Kullback-Leibler (KL) codificam implicitamente uma função de recompensa subjacente. Em vez de aprender um modelo de recompensa e, em seguida, ajustar uma política a ele (um processo de dois passos), o POETS ajusta diretamente as funções de recompensa implícitas codificadas por um ensemble de políticas aos dados online observados.

O Algoritmo

1. Ensemble de Políticas: O POETS mantém um ensemble de $n$ políticas independentes, $\Pi = \{\pi_1, \dots, \pi_n\}$.
2. Bootstrapping de Poisson: Para capturar incerteza epistêmica, os membros do ensemble são diversificados via bootstrapping de Poisson. Para cada lote de dados recebido, cada membro do ensemble recebe um peso inteiro independente retirado de uma distribuição Poisson(1). Isso permite que o ensemble aprenda uma posteriori Bayesiana aproximada sobre funções de recompensa sem exigir um conjunto de dados estático.
3. Função de Perda: O método otimiza uma função de perda que alinha a recompensa implícita de uma única política com a recompensa verdadeira. A derivação teórica mostra que otimizar essa perda é matematicamente equivalente a uma atualização de gradiente de política (especificamente, uma variante do GRPO) escalada pelos pesos de Poisson.
4. Amostragem de Thompson: Ao ajustar um ensemble de recompensas implícitas às recompensas verdadeiras usando bootstraps independentes, o POETS aprende uma posteriori sobre funções de recompensa. A execução da Amostragem de Thompson regularizada por KL é alcançada simplesmente amostrando uniformemente uma política do ensemble $\Pi$ e agindo de acordo com ela.

Arquitetura Eficiente: "Tronco e Ramo"

Para superar o custo proibitivo de manter $n$ cópias completas de LLMs, o POETS utiliza uma arquitetura eficiente em parâmetros:

• Tronco Compartilhado: Uma base pré-treinada (a maioria dos pesos) é compartilhada entre todos os membros do ensemble e avaliada apenas uma vez por passagem direta/retroativa.
• Ramos Independentes: A diversidade do ensemble é encapsulada inteiramente em módulos independentes de adaptação de baixo posto (LoRA) que atuam como as camadas finais de leitura.
• Eficiência: Este design garante que gerar respostas e acumular gradientes para $n$ políticas leve praticamente o mesmo tempo de relógio que uma única política, com sobrecarga de memória escalando apenas com o tamanho dos ramos LoRA.

Contribuições Principais

1. Novo Framework: Introdução do POETS, que captura incerteza epistêmica via ensembles de políticas e realiza implicitamente Amostragem de Thompson regularizada por KL sem um modelo de recompensa explícito.
2. Garantias Teóricas: Prova de que o POETS herda os fortes limites de arrependimento suave cumulativo de $O(\sqrt{T\gamma_T})$ associados à Amostragem de Thompson regularizada por KL, onde $\gamma_T$ é o ganho de informação máximo.
3. Eficiência Computacional: Demonstração de que uma arquitetura LoRA "Tronco e Ramo" permite ensembles profundos com sobrecarga mínima (ex.: ~7,7% de aumento no tempo de execução para $n=16$ em uma GPU H200).
4. Desempenho Empírico: Eficiência de amostra state-of-the-art em diversos domínios de otimização de caixa preta combinatória (refinamento de FAQ, busca de proteínas, design de circuitos quânticos) e robustez aprimorada em configurações de aprendizado por reforço, particularmente em cenários off-policy com replay de experiência.

Resultados Experimentais

Os autores avaliaram o POETS contra baselines incluindo GRPO, TOSFIT (que usa um modelo de recompensa explícito), FIBO (Amostragem de Thompson em contexto) e EVOSEARCH (busca evolutiva).

• Otimização de Caixa Preta: O POETS alcançou eficiência de amostra state-of-the-art na busca de proteínas, design de circuitos quânticos e refinamento de FAQ. Notavelmente, superou as baselines mesmo sem um buffer de replay, enquanto o GRPO padrão falhou em manter a diversidade e superajustou-se a candidatos iniciais.
• Aprendizado por Reforço (RL): No cenário do conjunto de dados AIME (bandit contextual com recompensas verificáveis), o POETS melhorou as trajetórias de otimização tanto para configurações on-policy quanto off-policy (replay de experiência). Ele mitigou com sucesso os problemas de superajuste observados no GRPO quando exposto a contextos repetidos.
• Diversidade: O ensemble manteve a diversidade de geração (medida pela divergência de Jensen-Shannon) durante todo o treinamento, prevenindo o colapso de entropia comum em métodos padrão de gradiente de política.
• Ablações: Experimentos confirmaram que o bootstrapping de Poisson é essencial para a diversidade, que pequenos ensembles ($n=8$) são suficientes para alto desempenho e que a arquitetura "Tronco e Ramo" captura efetivamente a incerteza com custo computacional mínimo.

Significado e Alegações

O artigo afirma que o POETS representa um avanço significativo ao permitir exploração fundamentada e consciente de incerteza para LLMs na descoberta científica e em RL, sem o ônus computacional da modelagem explícita de recompensa ou a fragilidade do seguimento de instruções em contexto.

• Teórico: Estabelece que ensembles de políticas com bootstrapping são suficientes para implementar Amostragem de Thompson regularizada por KL, herdando limites de arrependimento ótimos.
• Prático: Fornece uma solução escalável que torna o ensemble profundo viável para LLMs, permitindo o uso eficaz de replay de experiência e exploração robusta em regimes de alta incerteza.
• Escopo: O trabalho é posicionado como uma contribuição algorítmica fundamental para o pós-treinamento de LLMs e descoberta científica, visando especificamente problemas de otimização combinatória onde as avaliações são custosas.

Os autores observam que, embora o POETS melhore a eficiência de amostra e a robustez, ele não aborda má especificação de recompensa, equidade ou alinhamento, que permanecem responsabilidades dos designers do sistema. Sugere-se trabalho futuro para estender o framework de bandits contextuais para configurações de múltiplos passos com atribuição de crédito granular.