Resumo Técnico: OGPO – Otimização de Política Generativa Off-Policy

Declaração do Problema

A manipulação autônoma por robôs exige políticas que sejam simultaneamente robustas a variações ambientais e eficientes em amostras para treinamento. Embora Políticas de Controle Generativo (GCPs) — como modelos baseados em difusão e fluxo — tenham surgido como parametrizações poderosas para aprendizado robótico, o ajuste fino delas via Aprendizado por Reforço (RL) apresenta desafios significativos. Os métodos existentes enfrentam um trade-off entre eficiência de amostras e a extensão da melhoria da política:

• Ajuste Fino Parcial: Métodos que apenas orientam o ruído inicial ou aprendem correções residuais são eficientes em amostras, mas lutam para explorar novos comportamentos ou melhorar políticas mal inicializadas.
• Ajuste Fino Completo: Métodos que atualizam todo o processo generativo (por exemplo, DPPO) podem alcançar alto desempenho, mas são frequentemente on-policy, levando a baixa eficiência de amostras e altos custos de dados.
• Instabilidade de Gradiente: A retropropagação direta através dos passos iterativos de remoção de ruído de uma GCP para maximizar valores-Q frequentemente leva a gradientes explosivos ou gradientes de ação imprecisos, particularmente em tarefas ricas em contato.

O problema central abordado é como alcançar o ajuste fino completo de política eficiente em amostras de GCPs expressivas sem sacrificar a capacidade de explorar novos comportamentos ou exigir quantidades massivas de dados de especialistas.

Metodologia: OGPO e OGPO+

O artigo propõe a Otimização de Política Generativa Off-Policy (OGPO), um algoritmo que desacopla as interações caras com o ambiente da geração computacional barata de trajetórias de ação.

1. Formulação de MDP de Dois Níveis

A OGPO adota uma estrutura de Processo de Decisão de Markov (MDP) de dois níveis:

• MDP Externo ($M_{ENV}$): Representa a dinâmica do ambiente onde as ações são executadas e as recompensas são recebidas.
• MDP Interno (MDP de Remoção de Ruído): Representa os passos computacionais iterativos dentro da GCP (por exemplo, passos de fluxo ou difusão) que geram a ação $a_{t,0}$ a partir de um ruído inicial $a_{t,K}$.

2. Estratégia de Otimização Desacoplada

Ao contrário de métodos on-policy anteriores (por exemplo, DPPO) que otimizam todo o MDP de dois níveis conjuntamente, a OGPO corta a conexão entre os dois níveis:

• Aprendizado de Crítico Off-Policy: O algoritmo aprende uma função-Q ($Q_{\phi}$) para o MDP externo do ambiente usando aprendizado padrão de Diferença Temporal (TD) off-policy em um buffer de replay de transições do ambiente. Isso garante alta eficiência de amostras ao reutilizar dados do ambiente.
• Extração de Política On-Policy: Em vez de retropropagar gradientes através da cadeia da GCP usando a função-Q (o que é instável), a OGPO trata a trajetória de remoção de ruído como uma "resposta" a um "contexto" de estado. Ela usa o valor-Q aprendido da ação executada final como uma recompensa terminal para o MDP interno de remoção de ruído.
• Otimização Estilo PPO: O algoritmo aplica um objetivo de Otimização Próxima de Política (PPO) sobre as trajetórias de remoção de ruído. Ele calcula uma razão de Amostragem de Importância Annealed (AIS) sobre a cadeia de remoção de ruído e otimiza a política para maximizar a vantagem em relação a uma política-alvo. Isso evita a diferenciação simultânea através da função-Q e de toda a cadeia da GCP.

3. Componentes Técnicos Chave

• Amostragem de Múltiplas Trajetórias: Inspirado pelo GRPO em LLMs, a OGPO amostra múltiplas trajetórias de remoção de ruído em paralelo para cada estado no buffer de replay. Isso permite redução de variância na estimativa de vantagem e elimina a necessidade de uma rede de valor separada.
• Injeção de Ruído Desviciada: Para políticas baseadas em fluxo, a OGPO introduz uma correção ao processo de inferência de equação diferencial estocástica (SDE). Isso garante que a adição de ruído para exploração (para tornar as verossimilhanças não singulares) não desloque as distribuições marginais das ações, preservando o alinhamento da política com o modelo de fluxo original.
• Variantes OGPO+: Para abordar a sobre-exploração do crítico e quedas de desempenho durante transições offline-para-online, os autores introduzem o OGPO+:
  • Regularização de Buffer de Sucesso: Adiciona um termo de perda de clonagem de comportamento (BC) usando apenas trajetórias bem-sucedidas para ancorar a política a comportamentos bons conhecidos.
  • Vantagens Conservadoras (OGPO+CA): Usa um estimador de vantagem conservador que atualiza a política apenas se o conjunto de críticos concordar sobre o sinal da vantagem, mitigando o impacto de estimativas de valor-Q de outliers.
  • Regularização $\chi^2$ (OGPO+$\chi^2$): Adiciona um termo de regularização baseado na divergência $\chi^2$ entre a política atual e uma política de referência atualizada lentamente para prevenir a sobre-otimização de críticos imperfeitos, particularmente em domínios baseados em pixels.

Contribuições Chave

1. Inovação Algorítmica: A introdução da OGPO, o primeiro método a permitir o ajuste fino completo de política eficiente em amostras de GCPs, combinando aprendizado de crítico off-policy com extração on-policy estilo PPO sobre trajetórias de remoção de ruído.
2. Otimização Desacoplada: Uma abordagem inovadora que aproveita a assimetria dos custos de amostras (etapas de ambiente caras vs. etapas computacionais de remoção de ruído baratas) para realizar otimização desacoplada, evitando a instabilidade da retropropagação através do tempo (BPTT) em GCPs.
3. Variantes Robustas (OGPO+): O desenvolvimento de melhorias modulares (Buffer de Sucesso, Vantagens Conservadoras, Regularização $\chi^2$) que estabilizam o treinamento, mitigam a sobre-exploração do crítico e permitem o ajuste fino a partir de políticas com zero dados de especialistas no buffer de replay.
4. Validação Empírica Abrangente: Experimentos extensivos demonstrando que a OGPO supera as bases de estado da arte (incluindo DPPO, DSRL, EXPO e QC) em diversas tarefas envolvendo inserção de alta precisão, manipulação de longo horizonte e controle destre.

Resultados

O artigo avalia a OGPO em vários benchmarks, incluindo Robomimic (SQUARE, TOOLHANG, TRANSPORT), Franka Kitchen, Adroit Hand e LIBERO.

• Eficiência de Amostras: O OGPO+ alcança desempenho de estado da arte com significativamente menos interações com o ambiente em comparação com bases on-policy como o DPPO. Em tarefas Robomimic, o OGPO+ atinge taxas de sucesso finais aproximadamente 10x mais rápido que o DPPO.
• Desempenho em Tarefas: O OGPO+ alcança altas taxas de sucesso em tarefas desafiadoras, incluindo inserção de alta precisão (TOOLHANG) e transferência bimanual de longo horizonte (TRANSPORT), onde métodos de ajuste fino parcial (DSRL, EXPO) frequentemente falham ou são instáveis.
• Capacidade de Zero Dados de Especialistas: De forma única, o OGPO+ pode ajustar finamente políticas de clonagem de comportamento mal inicializadas para sucesso quase total da tarefa sem qualquer dado de especialista no buffer de replay online, confiando exclusivamente na experiência auto-coletada.
• Exploração: Visualizações (UMAP) indicam que a OGPO encoraja a expansão de variedades, permitindo que a política explore regiões de alto valor além do suporte dos dados de demonstração inicial, enquanto bases como QC e DSRL tendem a permanecer próximas à distribuição inicial.

Significado e Alegações

O artigo alega que a OGPO representa uma mudança fundamental na forma como políticas generativas são otimizadas para robótica. Ao desacoplar a interação cara com o ambiente do processo de geração de política, a OGPO supera a ineficiência de amostras de métodos on-policy, mantendo ao mesmo tempo o poder expressivo de atualizações completas de política.

Os autores enfatizam que seu método é a única abordagem conhecida capaz de ajustar finamente GCPs do zero (ou a partir de uma inicialização pobre) para altas taxas de sucesso usando apenas dados auto-coletados, sem exigir grandes conjuntos de dados offline de demonstrações de especialistas. Essa capacidade aponta para um futuro onde políticas robóticas podem ser melhoradas autonomamente durante a implantação com intervenção humana mínima. O trabalho sugere que a chave para o sucesso não reside apenas na arquitetura do modelo generativo, mas no mecanismo de extração (PPO sobre cadeias de remoção de ruído vs. BPTT ou orientação), que permite aprendizado estável, expressivo e eficiente em amostras em ambientes complexos e ricos em contato.