Resumo Técnico: Otimização de Política com Prompt Reflexivo (R2PO)

Declaração do Problema

Os otimizadores de política baseados em Modelos de Linguagem de Grande Escala (LLM) existentes funcionam como buscadores de caixa preta que dependem exclusivamente de feedback de recompensa escalar. Embora esses métodos possam propor novos parâmetros de política com base em pontuações históricas de recompensa, carecem de insight diagnóstico sobre por que uma política falhou. Um otimizador vê uma pontuação de 0,45, mas não consegue distinguir entre uma política que consistentemente tem desempenho inferior, uma que fica presa em um loop ou uma que tem sucesso em 19 de 20 execuções, mas falha catastropicamente na 20ª. Essa limitação força os otimizadores baseados em LLM a dependerem de ajuste por tentativa e erro em vez de correção direcionada, resultando frequentemente em treinamento instável e convergência ineficiente.

Metodologia: Framework R2PO

Os autores propõem a Otimização de Política com Prompt Reflexivo (R2PO), um framework de dois estágios baseado em LLM projetado para aumentar recompensas escalares com evidências comportamentais em nível de trajetória. O R2PO opera sobre classes de políticas compactas (políticas lineares para controle contínuo e políticas tabulares para tarefas discretas) e consiste nos seguintes componentes:

1. Search-LLM (Otimizador Global): Este estágio funciona de maneira semelhante a otimizadores de LLM anteriores (por exemplo, ProPS). Dada uma história de políticas avaliadas e suas recompensas médias escalares, o Search-LLM propõe um vetor de parâmetros candidato inicial ($\theta_{init}$).
2. Avaliação do Ambiente: A política candidata é executada no ambiente para $K$ execuções independentes, gerando um conjunto de trajetórias $T$ contendo estados, ações e recompensas.
3. Critic-LLM (Revisor Local): Este estágio introduz a inovação central. Em vez de receber apenas a recompensa média escalar, o Critic-LLM inspeciona um "pacote de evidências de trajetória calibrado" derivado das $K$ execuções. Ele analisa o que deu errado e propõe uma revisão direcionada de parâmetros ($\theta_{rev}$).
4. Mecanismo de Seleção: Tanto o candidato original ($\theta_{init}$) quanto o candidato revisado ($\theta_{rev}$) são reavaliados. O sistema retém aquele que alcança a maior recompensa média, filtrando edições destrutivas ou alucinações do LLM.

Evidências de Trajetória Calibrada

Para evitar que o Critic-LLM se ajuste excessivamente a valores atípicos, o R2PO constrói o pacote de evidências usando três componentes específicos:

• Trajetória Mediana: Uma única execução cujo retorno está mais próximo da mediana dos $K$ retornos, representando o comportamento típico em vez de valores atípicos de melhor ou pior caso.
• Estatísticas Agregadas de Execução: Um relatório estruturado resumindo as recompensas média, mínima e máxima, durações de episódios e taxas de sucesso/fracasso em todas as $K$ execuções. Isso transmite a frequência de falhas sem destacar uma trajetória falha específica.
• Regra de Revisão: Uma instrução explícita ao Critic-LLM para abster-se de grandes mudanças se a recompensa média inicial exceder um limiar ($\tau_c$) e as estatísticas não indicarem um padrão de falha consistente. Isso previne a "super-correção" de políticas já fortes.

Principais Descobertas e Análise

1. Viés de Saliência

O artigo identifica um modo de falha dominante denominado viés de saliência. Quando apresentado com múltiplas trajetórias (por exemplo, melhor, pior e mediana), o Critic-LLM tende a fixar-se na trajetória de pior caso como representativa, mesmo quando a maioria das execuções indica comportamento bem-sucedido. Em uma variante de três trajetórias no ambiente CartPole, esse viés foi responsável por 76,6% das regressões de desempenho. O LLM diagnosticaria um problema com base em uma única falha azarada e proporia edições que destruíam o desempenho da política nas outras 19 execuções bem-sucedidas.

2. Estudos de Ablação

Ablações sistemáticas em dez ambientes demonstram que o sucesso do R2PO depende da combinação de três fatores, nenhum dos quais é suficiente isoladamente:

• Arquitetura de Dois Estágios: Separar a proposta global da revisão local, fundamentada no comportamento, é essencial. Um único prompt rico (CriticOnly) ou uma busca sequencial apenas escalar (ActorSecondPass) não conseguem igualar o desempenho do R2PO.
• Revisão Fundamentada em Trajetória: O uso de evidências reais de execução (trajetória mediana + estatísticas) supera significativamente o feedback apenas escalar.
• Mecanismo de Seleção: Uma etapa de seleção "mantenha-o melhor" é crítica. Sem ela (AlwaysCritic), a alta variância das edições condicionadas à trajetória leva a regressões frequentes.

3. Resultados Empíricos

Utilizando um modelo de peso aberto relativamente pequeno com 20 bilhões de parâmetros (gpt-oss:20b), o R2PO foi avaliado em dez ambientes (incluindo CartPole, InvertedPendulum, Pong e tarefas personalizadas de Labirinto/Nim) contra bases fortes (ProPS, ProPS+ e algoritmos de melhor desempenho do Stable-Baselines3, como PPO, SAC, TRPO).

• Desempenho: O R2PO alcançou a maior recompensa média em 9 de 10 ambientes e empatou no 10º (MountainCarContinuous). Alcançou a recompensa máxima possível em CartPole (500), InvertedPendulum (1000), Pong (3,0) e Nim (1,0).
• Eficiência: O R2PO alcançou desempenho próximo ao ótimo substancialmente mais cedo do que as bases (por exemplo, recompensa quase máxima em CartPole dentro de ~500 episódios, comparado a ~4.000 para ProPS+ e SB3).
• Estabilidade: O R2PO manteve políticas fortes uma vez encontradas, exibindo uma lacuna muito menor entre recompensas médias e melhores em comparação com métodos anteriores de LLM, que frequentemente mostravam alta variância e picos isolados.
• Eficiência de Recursos: Mesmo quando comparado a resultados do ProPS obtidos com o dobro do orçamento de interação (8.000 episódios) e um modelo proprietário maior (GPT-4o), o R2PO (treinado em 4.000 episódios com um modelo aberto de 20B) igualou ou superou as bases em 9 de 10 ambientes.

Significado e Alegações

O artigo afirma que tratar trajetórias como evidências de contexto de primeira classe, em vez de reduzi-las a retornos escalares, muda fundamentalmente como os LLMs podem buscar espaços de política. As principais contribuições são:

1. Precisão Diagnóstica: O R2PO permite que os LLMs aprendam mais rápido e diagnostiquem falhas com mais precisão, aproveitando evidências comportamentais, indo além do ajuste por tentativa e erro.
2. Mitigação de Vieses de LLM: O framework mitiga com sucesso o "viés de saliência" inerente ao raciocínio de LLMs sobre múltiplas fontes de evidência, usando estatísticas agregadas e trajetórias medianas, em vez de traços brutos de pior caso.
3. Acessibilidade: Os resultados demonstram que esses benefícios não se limitam a modelos grandes e proprietários; um modelo aberto de 20B é suficiente para superar bases de RL profundo e métodos anteriores baseados em LLM quando a arquitetura é corretamente projetada.

Os autores notam limitações, especificamente que o método atualmente foca em classes de políticas compactas (lineares e tabulares) e requer calibração manual grosseira do limiar de revisão $\tau_c$. Trabalho futuro é proposto para estender o R2PO a políticas neurais de alta dimensão e desenvolver mecanismos de calibração adaptativa.