Resumo Técnico: Set-Supervised Diffusion Policy (SDP)

Declaração do Problema

As Políticas de Difusão (DP) emergiram como um framework robusto para manipulação robótica, particularmente em espaços de ação contínuos de alta dimensão e de blocos de ação (action-chunks). No entanto, como outros métodos de Aprendizado por Imitação (Behavior Cloning - BC), as DPs são vulneráveis ao desvio de distribuição (distributional shift), onde a distribuição de estados induzida pela política se afasta dos dados de treinamento durante a implantação. Uma estratégia comum de mitigação envolve intervenções de humanos no ciclo (human-in-the-loop), onde um professor corrige as falhas do robô.

Os pipelines atuais de agregação de dados e as perdas padrão de BC ignoram amplamente o "sinal negativo" fornecido pelas ações indesejadas do robô durante essas intervenções. Eles tipicamente registram apenas as ações corretivas do professor, enviesando o aprendizado para a distribuição específica do professor. Isso leva ao sobreajuste (overfitting) a dados de especialistas potencialmente imperfeitos ou ruidosos e a uma dependência crescente de intervenções custosas e de alta qualidade. Além disso, métodos existentes que tentam aprender com preferências ou correções (por exemplo, Direct Preference Optimization ou Modelos Baseados em Energia como o CLIC) lutam com blocos de ação de alta dimensão ou carecem da estabilidade e integração com mecanismos de blocos de ação que tornam as DPs eficazes.

Metodologia: Set-Supervised Diffusion Policy (SDP)

Os autores propõem a Set-Supervised Diffusion Policy (SDP), um framework que aproveita dados de blocos de ação contrastivos (pares de ações positivas e negativas) para treinar políticas de difusão. Em vez de tratar a ação do professor como um alvo único e exato, a SDP constrói um conjunto de blocos de ação desejados que serve como um alvo de valor de conjunto para o aprendizado da política.

1. Estendendo Conjuntos de Ações Desejadas para Blocos de Ação (Action-Chunks)

Baseando-se no conceito de supervisão de valor de conjunto do CLIC (que opera em ações de passo único), a SDP estende isso para blocos de ação (sequências de ações $A_t = [a_t, \dots, a_{t+T-1}]$).

• Dado uma observação $O_t$ e um par de blocos de ação (negativo $A^-$ do robô, positivo $A^+$ do humano), a SDP define um conjunto de ação desejado $\hat{A}_t$.
• Este conjunto é construído como uma sequência de conjuntos desejados de passo único $\hat{A}^s_{t+i}$, onde cada passo é definido pela distância entre as ações negativa e positiva.
• Um bloco de ação pertence ao conjunto se cada ação de passo único dentro dele estiver dentro do respectivo conjunto desejado de passo único. Isso relaxa o requisito de corresponder exatamente à ação do professor, permitindo ações alternativas que sejam igualmente desejáveis.

2. Objetivo de Treinamento e Amostragem

Treinar uma política de difusão para maximizar a probabilidade de amostragem deste conjunto não é trivial porque os modelos de difusão não fornecem estimativas de verossimilhança explícitas necessárias para as perdas de divergência KL padrão usadas em Modelos Baseados em Energia.

• Aproximação: A SDP aproxima o objetivo maximizando a verossimilhança de uma lista de blocos de ação desejados amostrados extraídos da distribuição alvo.
• Amostragem com Restrição: Para gerar essas amostras, a SDP emprega um procedimento de amostragem de difusão refletida (reflected diffusion sampling). Durante o processo de denoising, as amostras intermediárias são projetadas de volta para o conjunto desejado se cruzarem a fronteira. Especificamente, se um passo de denoising cair fora do conjunto, ele é projetado para a ação positiva correspondente ($a^+$). Isso garante que as amostras geradas permaneçam dentro do conjunto desejado enquanto permanecem próximas da distribuição atual da política.
• Função de Perda: A política é treinada usando uma perda de denoising padrão (semelhante ao BC), mas sobre esses blocos de ação amostrados em vez das ações brutas do professor.

3. Pipeline de Agregação de Dados

A SDP integra-se com um loop de aprendizado interativo online:

• Quando um humano intervém, o sistema registra tanto a ação do professor ($A^+$) quanto a ação não executada pelo robô ($A^-$) para o mesmo passo de tempo.
• Esses pares formam um conjunto de dados contrastivo usado para construir conjuntos de ações desejadas.
• O framework suporta tanto o aprendizado online (agregando dados durante a execução) quanto o aprendizado offline (aumentando conjuntos de dados de demonstração existentes através da síntese de ações negativas).

Principais Contribuições

1. Supervisão de Valor de Conjunto para Políticas de Difusão: O artigo introduz um novo framework que adapta a supervisão de valor de conjunto (previamente limitada a EBMs e ações de passo único) para políticas de difusão que operam em espaços de blocos de ação de alta dimensão.
2. Aprendizado Contrastivo a partir de Correções: A SDP utiliza efetivamente o sinal negativo das falhas do robô durante as intervenções humanas, em vez de descartá-lo. Isso reduz o sobreajuste a ações específicas do professor e melhora a robustez aos dados ruidosos.
3. Estratégia de Amostragem por Reflexão: Os autores propõem um pipeline de treinamento prático envolvendo um processo de denoising com operadores de reflexão para gerar blocos de ação desejados válidos para treinar modelos de difusão.
4. Melhoria na Qualidade dos Dados: O método induz conjuntos de dados de maior qualidade durante o aprendizado interativo online ao encorajar a exploração dentro do conjunto de ações desejadas, levando a uma cobertura de estados mais ampla em comparação com as abordagens padrão de BC.

Resultados Experimentais

Os autores avaliaram a SDP em múltiplas tarefas de manipulação simuladas (Push-T, Square, PickCan, TwoArmLift) e tarefas do mundo real (Insert-T, Round-table Assembly).

• Aprendizado Interativo Online: A SDP superou consistentemente os baselines de estado da arte (DP, DP-DPO, CLIC, IBC) tanto em configurações de intervenção precisas quanto ruidosas. Notavelmente, a SDP mostrou uma degradação de desempenho significativamente menor sob feedback ruidoso em comparação com a DP padrão, demonstrando robustez superior.
• Aprendizado Offline: As políticas treinadas offline em conjuntos de dados coletados por agentes SDP superaram aquelas treinadas em conjuntos de dados coletados por agentes DP padrão. Isso sugere que a SDP gera conjuntos de dados com melhor cobertura de estado e propriedades para generalização.
• Desempenho no Mundo Real: Em tarefas de longo horizonte no mundo real, a SDP alcançou taxas de sucesso mais altas que a DP, particularmente quando treinada em conjuntos de dados contendo correções humanas. O método mostrou-se mais eficaz ao alavancar dados de correção para melhorar o desempenho em tarefas difíceis.
• Estudos de Ablação: Os experimentos confirmaram que a estratégia de amostragem baseada em reflexão é crítica para o desempenho, superando alternativas como o classifier guidance.

Significância e Alegações

O artigo afirma que a supervisão contrastiva é um sinal poderoso, porém subutilizado, para o aprendizado de políticas robóticas. Ao mudar da imitação ponto a ponto para a supervisão de valor de conjunto, a SDP mitiga os problemas de sobreajuste inerentes ao comportamento de imitação padrão. Os autores argumentam que esta abordagem permite que as políticas melhorem além da qualidade dos dados de treinamento (semelhante ao Aprendizado por Reforço), mantendo a estabilidade e a expressividade dos modelos de difusão.

O trabalho demonstra que modelar explicitamente o espaço de ações aceitáveis via correções humanas leva a políticas mais robustas e dados de treinamento de maior qualidade, reduzindo a dependência de demonstrações de especialistas perfeitas. Os autores reconhecem limitações, como o custo computacional de amostragem de blocos de ação desejados durante o treinamento e a suposição de feedback de correção absoluto (em vez de relativo).