Resumo Técnico: Exploração Direcionada por Prompt (PDE)

1. Definição do Problema

O pós-treinamento de Aprendizado por Reforço (RL) para modelos de fundação, particularmente modelos de Visão-Linguagem-Ação (VLA), é limitado pela exploração. Métodos padrão de RL dependem da injeção de estocasticidade no espaço de ações (ex: ruído de ação ou ruído de parâmetro) para descobrir novos comportamentos. No entanto, os autores argumentam que tal ruído induz apenas perturbações locais, resultando em trajetórias (rollouts) que permanecem próximas ao comportamento atual da política.

Esta limitação é crítica ao realizar o ajuste fino (fine-tuning) de políticas iniciais fracas (ex: aquelas com taxas de sucesso próximas de zero em tarefas de manipulação). Escapar de uma política subótima muitas vezes exige perturbações globais que alterem toda a trajetória e estratégia, algo que o ruído de ação passo a passo não consegue alcançar. Além disso, em cenários de recompensa esparsa, onde a política inicial raramente tem sucesso, os sinais de recompensa são esparsos demais para guiar a seleção de ações exploratórias úteis.

2. Metodologia: Exploração Direcionada por Prompt (PDE)

O artigo propõe a Exploração Direcionada por Prompt (PDE), uma estratégia que desloca o eixo de exploração do espaço de ações para o espaço de prompts. Como os modelos de fundação (LLMs e VLAs) são condicionados por prompts de linguagem natural, modificar o prompt induz mudanças globais no comportamento da política sem exigir atualizações de pesos.

Mecanismo Central

O PDE trata a distribuição de prompts como um substituto (proxy) para a distribuição da política. Ele implementa uma forma de amostragem posterior ao nível do prompt:

1. Amostragem Posterior Implícita: Em vez de manter uma posterior bayesiana sobre os parâmetros da rede neural (o que é intratável para modelos grandes), o PDE mantém uma distribuição sobre os prompts, $\rho(\cdot | g, H)$, onde $g$ é a tarefa e $H$ é o histórico de interação.
2. VLM como Atualização de Posterior Amortizada: Um Modelo de Visão-Linguagem (VLM) atua como um supervisor. Ele analisa vídeos de trajetórias gerados pela política atual sob vários prompts, diagnostica modos de falha e reescreve os prompts para elicitar um melhor comportamento. Este processo atualiza a distribuição de prompts $\rho$ para se concentrar em prompts que geram trajetórias bem-sucedidas.
3. Ciclo de Treinamento de Dois Estágios:
   • Descoberta de Prompt: Os pesos da política permanecem congelados. O VLM amostra prompts candidatos, executa trajetórias e refina o conjunto de prompts com base nas trajetórias observadas e recompensas.
   • Otimização da Política: Uma vez identificado um conjunto de prompts eficazes, a política é ajustada usando Otimização de Política Próxima (PPO).

Componentes Técnicos Principais

• Amostragem de Mistura (Mixture Sampling): Durante o treinamento de RL, os prompts são amostrados de uma mistura do prompt canônico da tarefa ($p_g$) e dos prompts exploratórios descobertos ($\rho$). O peso da mistura $\alpha$ é adaptativo, aumentando conforme a política melhora no prompt canônico.
• Retropropagação Mista (Mixed Backpropagation): Para garantir que as melhorias dos prompts exploratórios se transfiram para o prompt canônico, a perda PPO é modificada. A razão de vantagem utiliza a média da log-probabilidade da ação sob ambos o prompt exploratório e o prompt canônico. Isso acopla os sinais de aprendizado, garantindo que a política aprenda comportamentos que sejam robustos a variações de prompt.
• Refinamento de Prompt: O VLM não gera apenas paráfrases aleatórias; ele raciocina sobre modos de falha específicos (ex: "o robô agarrou o objeto errado") para gerar instruções direcionadas (ex: "agarre o recipiente verde, não a caneca").

3. Principais Contribuições

• Um Novo Eixo de Exploração: O artigo introduz a exploração no espaço de prompts como uma alternativa viável ao ruído no espaço de ações, capaz de induzir mudanças comportamentais globais que o ruído de ação não alcança.
• De Zero Sucesso para Recompensa Não-Zero: O PDE permite que o RL impulsione o aprendizado a partir de políticas com taxas de sucesso iniciais de zero. Ao descobrir prompts que desbloqueiam trajetórias de recompensa não-zero, o PDE fornece o sinal de aprendizado necessário para o RL prosseguir, enquanto métodos padrão falham em escapar do basal de recompensa zero.
• Eficiência de Amostra: O método melhora significativamente a eficiência de amostra em tarefas de manipulação e raciocínio, exigindo muito menos interações com o ambiente para atingir altas taxas de sucesso em comparação aos baselines.
• Generalização: A abordagem demonstra ser eficaz não apenas para controle VLA, mas também para tarefas de raciocínio e codificação baseadas em LLM, sugerindo que a exploração no espaço de prompt é um mecanismo geral para o ajuste fino de modelos de fundação.

4. Resultados Experimentais

Os autores avaliam o PDE em diversos benchmarks:

• LIBERO e LIBERO-PRO:

  • Em tarefas "Difíceis" (sucesso inicial < 10%), o PDE alcança uma melhoria relativa de 60% sobre o ruído de ação padrão.
  • No estudo de caso "Fechar o Micro-ondas", uma política com 0% de sucesso sob o prompt canônico é guiada pelo PDE para descobrir prompts (ex: "empurre a porta do micro-ondas até que ela feche") que geram sucesso não-zero, eventualmente atingindo ~100% de sucesso no prompt canônico.
  • O PDE supera os baselines, incluindo Ruído de Ação, Ruído de Parâmetro, Redução de Rede Aleatória (RND) e modelos de recompensa densa (Robometer).

• ManiSkill:

  • O PDE melhora as taxas de sucesso em todos os níveis de dificuldade (Difícil, Médio, Fácil) e eixos de generalização (Visual, Semântico, Execução).
  • Em tarefas difíceis onde o ruído de ação não consegue progredir, o PDE consegue impulsionar o aprendizado (bootstrap).

• Manipulação no Mundo Real:

  • Usando um braço Franka FR3, o PDE demonstra superior eficiência de amostra em ambientes físicos. Após 128 trajetórias no mundo real, o PPO+PDE alcançou uma taxa de sucesso de 45%, mais que o dobro dos 20% alcançados pelo PPO padrão com ruído de ação.

• Tarefas de LLM (LiveCodeBench & AIME 2026):

  • Em tarefas de codificação e raciocínio matemático, o PDE melhora a eficiência de amostra precoce, atingindo níveis de precisão mais altos em menos etapas de treinamento comparado ao ajuste fino de RL padrão (RLOO e GRPO).

5. Significância e Alegações

O artigo afirma que, para políticas de modelos de fundação, a exploração eficaz não requer necessariamente a perturbação dos parâmetros internos ou das ações do modelo. Em vez disso, a exploração eficaz pode vir do contexto (o prompt) que condiciona a política.

Os autores posicionam o PDE como uma solução para os problemas de "recompensa esparsa" e "inicialização fraca" no ajuste fino de RL. Ao alavancar o conhecimento linguístico pré-treinado de VLMs para raciocinar sobre falhas e reescrever instruções, o PDE realiza um framework clássico de RL (amostragem posterior) em um espaço de alto nível tratável. O trabalho sugere que, para modelos onde a trajetória decorre de um prompt, modificar o prompt é um mecanismo mais poderoso para exploração global do que o ruído passo a passo.

O artigo conclui modestamente, afirmando que o PDE "permite que o RL aprenda políticas bem-sucedidas mesmo a partir de começos de recompensa zero" e "melhora a eficiência de amostra de forma mais ampla", sem alegar que resolve todos os desafios de exploração em RL. O método é apresentado como uma estratégia complementar que altera o que a política é solicitada a fazer, em vez de como a política é atualizada.