Resumo Técnico: ReGuide

Definição do Problema

Políticas de difusão baseadas em clonagem de comportamento, embora expressivas na modelagem de distribuições de ações multimodais, permanecem vulneráveis ao desvio de covariável (covariate shift). Pequenos desvios dos estados demonstrados podem fazer com que a política consulte observações fora de sua distribuição de treinamento, levando a erros cumulativos e falha na tarefa. Isso é particularmente agudo em tarefas de manipulação de longo horizonte.

Soluções existentes enfrentam trade-offs significativos:

• Expansão da Distribuição de Treinamento: Métodos como o DAgger exigem acesso contínuo ao especialista para correções, enquanto a aumentação de dados depende de suposições sobre a estrutura da tarefa ou dinâmica local.
• Orientação em Tempo de Teste (Test-Time Guidance): Métodos recentes (ex: DynaGuide, Latent Policy Barrier) direcionam uma política congelada durante a inferência usando gradientes de um modelo de dinâmica aprendido. No entanto, essas abordagens descartam as trajetórias corrigidas após a execução, falhando em aproveitar os dados recuperados para a melhoria da política.

Metodologia: ReGuide

O ReGuide é um framework de auto-melhoria que transforma a orientação em tempo de teste em um mecanismo para gerar dados de recuperação on-policy reutilizáveis. Ele opera através de um loop iterativo de rollout–coleta–treinamento, consistindo em três componentes principais:

1. Construção de Alvos Consciente de Fase (Phase-Aware)

Para abordar a ambiguidade de alvos globais em tarefas de longo horizonte, o ReGuide decompõe demonstrações em macro-fases ordenadas temporalmente.

• Aumentação de Características: Estados latentes são aumentados com diferenças temporais (visuais e proprioceptivas) para desambiguar estados visualmente semelhantes pertencentes a diferentes estágios da tarefa.
• Agrupamento (Clustering): As características são agrupadas via PCA e ordenadas por passo de tempo para formar as macro-fases.
• Conjuntos de Alvos: Para cada fase $j$, um conjunto de centroides representativos $P_j$ é construído. Isso preserva a multimodalidade dentro das fases, ao mesmo tempo em que fornece alvos de orientação locais precisos, em vez de um único manifold global.

2. Orientação Condicionada por Fase (PCG)

O ReGuide emprega um modelo de dinâmica aprendido para guiar o processo de denoising da difusão, mas com restrições específicas para garantir a qualidade dos dados:

• Orientação de Ação Limpa (Clean-Action Guidance): Diferente da orientação padrão que diferencia através de iterações de denoising ruidosas, o ReGuide adapta a Difusão Guiada de Preservação de Manifold (MPGD). Ele aplica o gradiente de orientação através da ação limpa estimada ($\hat{A}^0_t$), correspondendo à distribuição sobre a qual o modelo de dinâmica foi treinado.
• Portão de Dois Limiares (Two-Threshold Gating): A orientação é aplicada apenas no regime "desviado-mas-recuperável".
  • Um limiar inferior evita intervenções desnecessárias quando o rollout já está próximo do manifold do especialista.
  • Um limiar superior evita a dependência de gradientes de dinâmica extrapolativos quando o rollout está longe demais da distribuição de treinamento.
  • Esses limiares são específicos de cada fase, adaptando-se à geometria local de cada estágio da tarefa.
• Troca de Fase: O sistema rastreia o índice da fase atual, avançando apenas quando o estado latente previsto está consistentemente mais próximo dos alvos da próxima fase.

3. Aprendizado de Auto-Melhoria Iterativo

Rollouts guiados bem-sucedidos são filtrados e absorvidos de volta no conjunto de treinamento para atualizar a política. O framework suporta dois mecanismos de atualização complementares:

• ReGuide-FT (Ajuste Fino): Realiza o fine-tuning do checkpoint atual em uma mistura do dataset original e dos novos rollouts guiados. Isso é computacionalmente eficiente e preserva a competência existente.
• ReGuide-FS (Do Zero): Treina uma nova política do zero no dataset aumentado. Isso remove a dependência do checkpoint inicial, sendo benéfico quando a política base possui uma inicialização pobre.
• Composição: Estes podem ser empilhados (ex: ReGuide-FS seguido de ReGuide-FT) para combinar as forças de ambas as abordagens.

Principais Contribuições

1. Mecanismo de Geração de Dados: O ReGuide reformula a orientação em tempo de teste não apenas como uma ferramenta de correção, mas como um gerador de dados de recuperação on-policy de alta qualidade que captura onde as políticas derivam e como se recuperar.
2. Orientação Condicionada por Fase (PCG): Uma estratégia de orientação que localiza alvos em fases da tarefa e controla a orientação para regimes confiáveis, evitando o colapso de modos de comportamento válidos.
3. Diferenciação de Ação Limpa: Adaptar a orientação para diferenciar através de ações limpas estimadas em vez de iterações ruidosas, garantindo compatibilidade com modelos de dinâmica treinados em dados limpos.
4. Loop Iterativo: Um framework que melhora iterativamente a política sem exigir demonstrações adicionais do especialista, limitado apenas pelo teto de performance dos dados auto-gerados.

Resultados Experimentais

Avaliado em quatro tarefas de manipulação do Robomimic (Can, Square, Transport, Tool Hang) sob regimes de baixos dados:

• Ganhos de Performance: O ReGuide melhora as taxas de sucesso da política base em 1,3–7,7×.
  • Tool Hang apresentou o aumento mais dramático (7,7× com ReGuide-FT iterado), partindo de uma taxa de sucesso base de 3%.
  • Can, Square e Transport viram melhorias consistentes (1,3–1,5×) com uma única iteração, e ganhos adicionais com composição ou iteração.
• Comparação com LPB: Em configurações de apenas tempo de teste (sem fine-tuning), o PCG supera o baseline Latent Policy Barrier (LPB) em todas as tarefas avaliadas.
• Insights de Ablação:
  • Guiado vs. Não Guiado: Os ganhos são atribuídos à qualidade dos dados de recuperação guiados, não meramente ao volume de rollouts adicionais.
  • Limiarização (Thresholding): O portão de dois limiares é crítico; remover o limiar superior reduz significamente a performance.
  • Multimodalidade: Um número intermediário de alvos de fase ($M \approx 50$) é ideal; poucos alvos colapsam os modos, enquanto muitos diluem o sinal.
  • Iteração: Uma segunda iteração de ReGuide-FT consistentemente supera a primeira, demonstrando a viabilidade do loop de auto-melhoria.

Significância e Alegações

O artigo afirma que o ReGuide oferece uma solução prática para o problema do desvio de covariável no aprendizado por imitação, transformando o "desperdício" de trajetórias falhas ou corrigidas em dados de treinamento valiosos. Ao tratar rollouts guiados como dados on-policy reutilizáveis, o ReGuide permite que as políticas se auto-melhorem iterativamente sem o alto custo de intervenção contínua do especialista.

Os autores enfatem que o framework é modesto em seu escopo: ele depende de um modelo de dinâmica fixo entre as iterações (para eficiência) e utiliza filtragem de sucesso ao nível da trajetória. Eles reconhecem que, embora o método funcione bem em simulação, trabalhos futuros são necessários para abordar validação em robôs reais, descoberta de fases adaptativa e calibração de incerteza para o modelo de dinâmica. A contribuição central é a demonstração de que dados de recuperação guiados são mais valiosos do que rollouts não guiados, permitindo um loop fechado de melhoria de política impulsionado exclusivamente pelas próprias experiências corrigidas da política.