From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

1. Declaração do Problema

O artigo aborda uma limitação fundamental no Aprendizado por Imitação Interativo (IIL) e na Clonagem de Comportamento (BC): a fragilidade da supervisão pontual.

• O Problema: A BC tradicional trata demonstrações humanas ou feedback corretivo como alvos de ação exatos e pontuais ($a^*$). Embora eficaz com dados perfeitos, essa abordagem falha quando o feedback humano é ruidoso, subótimo ou relativo (indicando direção, mas não magnitude).
• A Consequência: Ao utilizar classes de políticas expressivas (por exemplo, Modelos Baseados em Energia (EBMs) ou Modelos de Difusão), a supervisão pontual faz com que a política sobreajuste a rótulos específicos e potencialmente ruidosos. Isso cria mínimos locais agudos ao redor das ações fornecidas, desviando a política do comportamento ótimo subjacente real.
• Limitações das Alternativas:
  • Aprendizado de Preferência em Pares: Embora mais robusto do que rótulos pontuais, comparações em pares (por exemplo, "Ação A é melhor que Ação B") apenas restringem a ordenação relativa de duas ações. Em espaços contínuos de alta dimensão, isso deixa o restante do espaço de ações amplamente não restrito, permitindo que a política atribua alta probabilidade a regiões subótimas enquanto ainda satisfaz a restrição de preferência.
• A Lacuna: Há uma necessidade de um objetivo de supervisão que seja mais robusto do que a BC pontual (para lidar com ruído/subotimização) mas mais informativo do que comparações em pares (para restringir efetivamente o espaço de ações).

2. Metodologia: CLIC

Os autores propõem o CLIC (Aprendizado de Política Contrastivo a partir de Correções Interativas), um framework que migra de rótulos pontuais para supervisão baseada em conjuntos.

Conceito Central: Conjuntos de Ação Desejados

Em vez de tratar uma correção humana como uma única ação-alvo, o CLIC a interpreta como definindo um Conjunto de Ação Desejado ($\hat{A}$). Este conjunto contém todas as ações consistentes com o feedback, excluindo a ação executada (subótima).

• Correções Absolutas: Se um humano fornece uma nova ação $a_h$, o conjunto desejado é uma região ao redor de $a_h$ (por exemplo, uma bola ou polítopo).
• Correções Relativas: Se um humano fornece uma direção $h$ para melhorar a ação atual $a_r$, o conjunto desejado é um cone ou semi-espaço nessa direção, sem comprometer uma magnitude específica.

Componentes Principais

A. Construção de Conjuntos de Ação Desejados
O artigo define duas construções geométricas específicas para esses conjuntos:

1. Conjuntos Polipédricos (CLIC-Half): Construídos pela interseção de múltiplas restrições de "semi-espaço" derivadas de aumento de dados.
   • Uma única correção $(a_r, a_h)$ é aumentada em múltiplos pares contrastivos $(a^-_i, a^+_i)$.
   • Cada par define um semi-espaço onde ações mais próximas de $a^+_i$ são preferidas.
   • A interseção desses semi-espaços forma um polítopo (aproximando-se de um cone).
   • Parâmetros: A certeza direcional ($\alpha$) e a certeza de magnitude ($\epsilon$) controlam a forma e o tamanho do conjunto.
2. Conjuntos Circulares (CLIC-Circular): Especificamente para correções absolutas.
   • Define uma bola centrada na ação humana $a_h$ com um raio proporcional à distância entre a ação do robô e a ação humana.
   • Isso captura a intuição de que a ação ótima reside dentro de uma vizinhança da correção.

B. Agregação e Convergência

• Refinamento Iterativo: Uma única correção é frequentemente insuficiente para identificar a ação ótima. O CLIC agrega múltiplas correções ao longo do tempo.
• Interseção: O conjunto de ação desejado geral para um estado é a interseção de todos os conjuntos individuais derivados do buffer de feedback ($\hat{A}_{D_s} = \bigcap \hat{A}_i$).
• Convergência: Teoricamente, à medida que mais feedback é agregado, a interseção desses conjuntos converge para o conjunto de ações ótimas ($A^*_s$), desde que o professor forneça feedback sobre ações subótimas e os conjuntos sempre incluam pelo menos uma ação ótima.

C. Objetivo de Moldagem de Política
Para treinar a política $\pi_\theta$ para alinhar-se a esses conjuntos, o CLIC minimiza a divergência KL entre a política atual e uma distribuição-alvo ($\pi_{target}$):
$$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$$

• Distribuição-Alvo: Definida via regra de Bayes usando um modelo de observação.
  • Modelo de Observação: Uma função de pertinência suave (sigmoide) que atribui alta probabilidade a ações dentro do conjunto desejado e baixa probabilidade a aquelas fora dele.
  • Priori: Utiliza a política atual como priori ($\pi_\theta$) em vez de uma priori uniforme. Isso cria uma "perda Bayesiana ponderada pela política", garantindo que as atualizações sejam conservadoras e incrementais, impedindo que a política se desvie excessivamente de comportamentos previamente aprendidos.
• Implícito vs. Explícito:
  • Implícito (EBM): A perda é otimizada usando amostragem contrastiva (estilo InfoNCE), onde a distribuição-alvo pondera amostras com base em sua pertinência ao conjunto.
  • Explícito (Gaussiano): Para tarefas unimodais, o método simplifica-se para uma perda de hinge garantindo que a média da política esteja dentro do polítopo.

3. Principais Contribuições

1. Perspectiva de Supervisão Baseada em Conjuntos: Propõe uma formulação inovadora onde o feedback corretivo define uma região de ações aceitáveis em vez de um único ponto, preenchendo a lacuna entre a BC pontual e o aprendizado de preferência em pares.
2. Framework CLIC: Introduz um algoritmo prático que constrói e agrega esses conjuntos para refinar iterativamente a política. Suporta tanto feedback absoluto quanto relativo e lida naturalmente com comportamentos multimodais via políticas implícitas (EBMs).
3. Análise Teórica: Fornece condições de convergência mostrando que o feedback agregado baseado em conjuntos pode recuperar o conjunto de ações ótimas, mesmo quando os sinais de feedback individuais são ruidosos ou relativos.
4. Avaliação Abrangente: Validação extensa em simulação e em robôs reais (KUKA iiwa), demonstrando robustez através de diversos tipos de feedback.

4. Resultados Experimentais

Experimentos em Simulação:

• Feedback Preciso: O CLIC performa competitivamente com métodos de última geração (SOTA) (por exemplo, Diffusion Policy, IBC), provando que a supervisão baseada em conjuntos não sacrifica o desempenho quando os dados são perfeitos.
• Feedback Ruidoso: O CLIC supera significativamente as linhas de base (IBC, Diffusion Policy, PVP). Enquanto métodos de BC pontual sobreajustam ao ruído e falham em convergir, a abordagem baseada em conjuntos do CLIC absorve o ruído, mantendo altas taxas de sucesso.
• Feedback Relativo e Parcial:
  • Correções Relativas: CLIC-Half e CLIC-Explicit aprendem com sucesso a partir de feedback direcional onde métodos de BC pontual falham completamente (devido ao problema "on-policy" onde correções passadas tornam-se subótimas).
  • Feedback Parcial: Em tarefas de multi-robô onde humanos corrigem apenas um braço, o CLIC-Half se destaca ao restringir apenas as dimensões corrigidas, enquanto as linhas de base que tentam imitar o vetor de ação completo (parcialmente subótimo) falham.

Experimentos em Robôs Reais:

• Insert-T (Multimodal): O CLIC-Half alcançou 80% de sucesso em tarefas difíceis, superando significativamente o Diffusion Policy (30%) e o IBC (10%). Isso destaca a capacidade do CLIC de lidar com tomada de decisão complexa e multimodal sem sobreajuste.
• Apanhar Bola (Dinâmico/Parcial): Aprendeu com sucesso uma tarefa de alta frequência usando feedback relativo e parcial, alcançando uma taxa de sucesso de 100% em duas tentativas.
• Despejar Água (Precisão): Demonstrou a capacidade de alternar entre correções absolutas e relativas durante o treinamento, refinando a política de controle grosseiro para fino.

Estudos de Ablação:

• Confirmaram que a priori ponderada pela política é crucial para a estabilidade.
• Mostraram que os hiperparâmetros que controlam a geometria do conjunto ($\alpha, \epsilon$) devem ser ajustados para corresponder à incerteza do sinal de feedback.
• Visualizaram que, à medida que o raio do conjunto encolhe para zero, o CLIC degenera em IBC com sobreajuste, validando a necessidade da formulação de "conjunto".

5. Significado e Impacto

• Robustez ao Erro Humano: O principal significado é tornar o aprendizado por imitação robusto às imperfeições inerentes dos professores humanos (fadiga, limites de teleoperação, carga cognitiva).
• Framework Unificado: O CLIC unifica o aprendizado a partir de demonstrações absolutas, correções relativas e feedback parcial sob um único framework matemático.
• Escalabilidade para Tarefas Complexas: Ao evitar o sobreajuste de modelos expressivos a rótulos ruidosos, o CLIC permite o uso de políticas implícitas poderosas (EBMs) em configurações interativas do mundo real, onde os dados raramente são perfeitos.
• Aplicabilidade Prática: O método reduz a carga cognitiva sobre os professores humanos (que podem fornecer direções aproximadas em vez de trajetórias exatas) e acelera o processo de aprendizado para tarefas robóticas complexas.

Em resumo, o CLIC repensa a unidade fundamental de supervisão no aprendizado por imitação, migrando de um único ponto para um conjunto, fornecendo uma solução matematicamente sólida e empiricamente robusta para aprender a partir de feedback humano imperfeito.