Flow-based Policy Adaptation without Policy Updates

Resumo Técnico: GLOVES – Adaptação de Política Baseada em Fluxo sem Atualização de Política

Definição do Problema
Sistemas robóticos modernos dependem cada vez mais de agentes com conhecimento prévio, como operadores humanos, políticas de aprendizado por imitação (IL), políticas de aprendizado por reforço (RL) e modelos pré-treinados de visão-linguagem-ação (VLA). Embora esses agentes possam inferir a intenção da tarefa, suas ações são frequentemente ruidosas, enviesadas, atrasadas ou desalinhadas com o comportamento especialista, particularmente quando implantados em cenários de zero-shot ou mudança de domínio. As soluções padrão envolvem o ajuste fino (finetuning) de agentes em dados específicos da tarefa; no entanto, isso é frequentemente inviável ou indesejável devido ao fato de o agente ser um humano, o modelo ser uma API de caixa-preta, a dificuldade de coletar demonstrações em larga escala ou o custo proibitivo de atualizar modelos grandes. O artigo aborda o desafio de adaptar as ações de um agente no momento da execução sem atualizar o próprio agente, especificamente para a adaptação de action-chunks condicionada à imagem.

Metodologia: GLOVES
Os autores propõem o GLOVES (uma família de métodos de adaptação baseados em fluxo), que corrige ações não especialistas transportando-as em direção a uma distribuição de ação especialista usando correspondência de fluxo (flow matching). O framework opera como um módulo de controle compartilhado leve que preserva a intenção do agente enquanto melhora o sucesso da tarefa.

1. Mecanismo Central (Correspondência de Fluxo):
   O GLOVES aprende um fluxo condicional $v_\theta(x, t | c)$ que mapeia uma distribuição de origem tratável (ruído Gaussiano) para uma distribuição especialista alvo condicionada a observações visuais $c$. Durante o treinamento, ele aprende um fluxo especialista a partir de demonstrações especialistas limitadas. Quando disponível, também pode aprender um fluxo do agente a partir de ações imperfeitas do agente.

2. Intervenção Seletiva via Portão OOD:
   Uma inovação fundamental é o uso do próprio fluxo especialista como um detector natural de fora da distribuição (OOD). Em vez de treinar um modelo de incerteza separado, o sistema avalia um action chunk proposto $a_u$ invertendo o fluxo especialista para estimar sua representação latente $\hat{z} = F^{-1}_\theta(a_u)$. A pontuação $s(a_u) = \|\hat{z}\|^2_2$ serve como uma métrica de não conformidade.

   • Se a pontuação indicar que a ação está dentro da distribuição (consistente com o prior especialista), ela é executada sem alterações.
   • Se a ação for OOD, o sistema intervém para corrigi-la.
     Este mecanismo evita a edição desnecessária de ações válidas e reduz a sobrecarga computacional.

3. Variantes de Adaptação:
   O artigo introduz três métodos específicos dentro da família GLOVES para refinar ações:

   • FPAS (Amostragem de Ação de Prior de Fluxo): Utiliza a pontuação OOD para guiar uma busca baseada em amostragem local ao redor do comando do agente. Ele amostra candidatos perturbados, penalizando aqueles com altas pontuações OOD ou aqueles que se desviam demais da ação original, e refina iterativamente o chunk.
   • FEEG (Edição de Fluxo com Guia de Energia): Guia diretamente o fluxo especialista aprendido para gerar uma ação que seja semelhante à do especialista, mas consistente com a intenção do usuário. Ele emprega uma função de energia $E(x) = \frac{1}{2}\|x - a_u\|^2$ para regularizar a trajetória do fluxo, equilibrando a fidelidade ao agente com a conformidade à distribuição especialista.
   • IFAE (Edição de Action-Chunk Livre de Inversão): Inspirado no FlowAlign, este método evita a etapa de inversão "ruído-então-denoise" comum em editores baseados em difusão. Ele utiliza trajetórias de fluxo acopladas entre os fluxos do agente e do especialista para transportar diretamente o action chunk do agente em direção à distribuição especialista, eliminando a necessidade de selecionar um hiperparâmetro de "profundidade de assistência" dependente da tarefa.

Principais Contribuições

• Adaptação de Política sem Atualizações: O GLOVES permite a adaptação de agentes de caixa-preta (incluindo humanos e VLAs) no momento da execução sem modificar os parâmetros da política subjacente.
• Framework Unificado: Unifica a adaptação de política e a autonomia compartilhada em um único framework de correção de ação.
• Correção Consistente com a Origem: Ao contrário dos métodos que exigem a seleção de um hiperparâmetro de tradeoff entre fidelidade e conformidade de difusão parcial, o GLOVES (especificamente o IAE) realiza o transporte da origem para o especialista que permanece consistente com a proposta do agente sem inversão explícita.
• Detecção de OOD Integrada: O método utiliza o fluxo especialista aprendido tanto para a intervenção seletiva (decidir quando assistir) quanto para a própria correção, removendo a necessidade de detectores de anomalias separados.
• Eficiência de Dados: O sistema requer apenas um pequeno número de demonstrações especialistas ou segmentos de habilidades bem-sucedidos reutilizáveis para treinar o adaptador.

Resultados Experimentais
Os autores avaliaram o GLOVES em quatro tarefas de simulação (Slalom, Colocação de CAN, Entrada de Teclado, Conexão de Carregador) e duas tarefas de robô no mundo real (Inserção de Carregador, Serviço de Copo).

• Agentes de Wrapper Estocástico: Em simulação, as variantes do GLOVES alcançaram a melhor taxa de sucesso em 13 de 16 configurações de wrapper estocástico (cobrindo agentes ruidosos, atrasados, lentos e enviesados).
• Agentes VLA: Para agentes VLA com ajuste fino, o GLOVES melhorou as taxas de sucesso em até 29,03% em simulação.
• Desempenho no Mundo Real: Em robôs reais, o GLOVES superou consistentemente os baselines (métodos de autonomia compartilhada baseados em DDPM e modelos de consistência) e melhorou o desempenho de VLAs com ajuste fino.
• Eficiência: O portão OOD filtrou com sucesso ações válidas, garantindo que as correções fossem aplicadas apenas quando necessário, reduzindo assim os custos de inferência.

Significância e Alegações
O artigo afirma que o GLOVES fornece um framework leve e robusto para melhorar agentes imperfeitos sem os custos computacionais e de dados do ajuste fino. Ao aproveitar a correspondência de fluxo, o método oferece um mecanismo natural de intervenção seletiva que equilibra a preservação da intenção do agente com a adesão ao comportamento especialista. Os autores enfatem que sua abordagem é amplamente agnóstica à natureza do agente (humano ou IA) e não requer acesso a uma política especialista, design de recompensa ou conhecimento das dinâmicas do sistema. Os resultados sugerem que a adaptação ao nível de ação via transporte de fluxo é uma alternativa eficaz à autonomia total ou ao retreinamento do modelo, particularmente em cenários onde as atualizações do agente são restritas ou os dados são escassos.