Resumo Técnico: VE2VF – Destilação de Visão-Habilitada para Visão-Livre

Declaração do Problema

A montagem robótica e a manipulação rica em contato exigem alta precisão e adaptabilidade a peças e ambientes diversos. Abordagens tradicionais baseadas em modelos lutam devido à dificuldade de modelar com precisão a dinâmica de contato, o atrito e a deformação. Embora abordagens baseadas em aprendizado, como Aprendizado por Reforço (RL), ofereçam promessas, elas enfrentam obstáculos significativos:

• Lacuna Sim-Real: Simuladores frequentemente falham em capturar interações de contato complexas, tornando difícil a transferência de políticas para o mundo real.
• Ineficiência de Amostragem: O RL direto sem modelo em hardware requer tempo excessivo de interação e estratégias de exploração seguras.
• Sobreajuste Visual: Políticas habilitadas por visão, embora eficazes durante o treinamento, tendem a sobreajustar-se a condições visuais específicas (iluminação, texturas, fundos). Isso limita sua robustez e generalização para tarefas fora da distribuição (OOD) ou ambientes não vistos.
• Observabilidade Parcial: Treinar políticas livres de visão diretamente do zero usando apenas propriocepção (posição, torção, força) é desafiador devido à falta de orientação visual para a exploração.

Metodologia: Framework VE2VF

Os autores propõem o VE2VF (Visão-Habilitada para Visão-Livre), um framework de RL com loop humano (HIL) que emprega uma abordagem de destilação professor-aluno para alcançar manipulação robusta e livre de visão. O processo consiste em três etapas principais:

1. Configuração de RL com Loop Humano

O sistema utiliza Soft Actor-Critic (SAC) com RLPD (Aprendizado por Reforço com Dados Prioritários). O loop de aprendizado integra:

• Exploração Autônoma: O agente gera suas próprias transições.
• Orientação Humana: Um operador humano fornece demonstrações offline e intervenções de teleoperação online (sobrescrevendo as ações do agente) para orientar a exploração e fornecer sinais de recompensa.
• Estrutura de Recompensa: Uma recompensa binária esparsa é utilizada (1 para sucesso na tarefa, 0 caso contrário), evitando modelagem complexa de recompensas.

2. Etapa I: Treinamento do Professor Habilitado por Visão

Uma política "professora" ($\pi_t$) é treinada em um conjunto de tarefas representativas usando entradas multimodais completas:

• Observações: Imagens de câmeras ($I$), posição do efetuador final ($p$), velocidade ($v$), força ($f$) e torque ($\tau$).
• Representação: A posição é representada em relação ao estado inicial do episódio para facilitar o servocontrole visual reativo.
• Objetivo: O professor aprende a aproveitar o feedback visual rico para dominar as tarefas, alcançando altas taxas de sucesso. No entanto, ele permanece dependente das condições visuais.

3. Etapa II: Destilação do Aluno Livre de Visão

Uma política "aluno" ($\pi_s$) é treinada para replicar o comportamento do professor, mas confia exclusivamente em entradas proprioceptivas (posição, torção, força), descartando dados visuais.

• Mecanismo de Destilação: O aluno é treinado usando o mesmo framework HIL-RL, mas com termos de perda adicionais para alinhar-se ao professor:
  • Destilação do Crítico: Um termo de Erro Quadrático Médio (MSE) força a função Q do aluno ($Q_s$) a corresponder à função Q do professor ($Q_t$).
  • Destilação do Ator: Um termo de divergência de Kullback-Leibler (KL) regulariza a política do aluno ($\pi_s$) para corresponder à distribuição de ações do professor ($\pi_t$).
• Representação de Estado: O aluno utiliza um sistema de coordenadas relativo à tarefa ($T_z$) para garantir invariância ao posicionamento espacial absoluto.
• Resultado: O aluno herda as "habilidades" e estratégias de exploração aprendidas pelo professor, mas torna-se invariante a mudanças visuais.

4. Etapa III: Ajuste Fino (Opcional)

Para tarefas altamente desafiadoras ou não vistas, o aluno livre de visão pode ser ajustado finamente. Isso envolve treinar um novo professor habilitado por visão especializado para a tarefa específica e destilar seu conhecimento no aluno, em vez de treinar o aluno do zero.

Contribuições Principais

1. Framework de Destilação Cross-Modal: Um método inovador que destila conhecimento de um professor habilitado por visão para um aluno livre de visão. Isso mantém a eficiência de amostragem do aprendizado visual durante a fase de treinamento, enquanto produz uma política de implantação invariante às condições visuais.
2. Generalização Eficiente de Habilidades: A abordagem demonstra que o treinamento conjunto em um pequeno conjunto de tarefas representativas permite transferência zero-shot robusta para cenários de inserção não vistos.
3. Validação no Mundo Real: O método é validado inteiramente em hardware do mundo real (Franka FR3) sem randomização de domínio ou aumento de dados, alcançando altas taxas de sucesso em aproximadamente 50 minutos de tempo total de interação do robô.

Resultados Experimentais

Os experimentos foram conduzidos na base de referência NIST Assembly Board I, envolvendo várias tarefas de inserção de pinos, engrenagens e conectores.

• Desempenho: O método VE2VF alcançou uma taxa de sucesso geral de 95% em tarefas de treinamento, perturbadas e fora da distribuição.
• Comparação com Baselines:
  • RL Habilitado por Visão (HIL-SERL VPTW): Alcançou sucesso quase perfeito em tarefas de treinamento, mas colapsou (0% de sucesso) em tarefas fora da distribuição e degradou-se significativamente sob perturbações visuais.
  • RL Livre de Visão do Zero (HIL-SERL PTW): Mostrou desempenho moderado (47,1%), mas lutou para aprender estratégias de inserção eficazes sem orientação visual, falhando em alcançar sucesso total.
  • Primitivas de Movimento Dinâmico (DMP): Desempenho pobre (35,7%), confirmando a necessidade de comportamentos adaptativos e aprendidos.
  • RL Residual: Desempenho bom (85,7%), mas superado pelo VE2VF, particularmente em comportamentos de recuperação (por exemplo, escorregar de uma soquete e tentar novamente).
• Estudos de Ablação:
  • A destilação provou ser essencial; treinar o aluno livre de visão do zero, mesmo com tempo estendido (até 75 minutos), levou ao sobreajuste em tarefas mais simples e falha em tarefas complexas.
  • Combinar entradas de posição, torção e força forneceu a melhor robustez em comparação ao uso de subconjuntos dessas modalidades.
• Ajuste Fino: Para a tarefa desafiadora de inserção DSUB (50% de sucesso zero-shot), o ajuste fino do aluno com um professor específico da tarefa via destilação alcançou 100% de sucesso em apenas 10 minutos adicionais.

Significado e Alegações

O artigo afirma que o VE2VF aborda o compromisso crítico entre a eficiência de amostragem do aprendizado guiado por visão e a robustez necessária para implantação no mundo real. Ao usar a visão apenas como um "professor" para orientar a exploração e, em seguida, destilar esse conhecimento em um "aluno" proprioceptivo, o sistema alcança:

• Robustez: Políticas que generalizam através de diferentes iluminações, texturas e posições de destino.
• Adaptabilidade: A capacidade de recuperar-se de falhas (por exemplo, escorregar) por meio de comportamentos reativos aprendidos com o professor.
• Eficiência: Aquisição rápida de habilidades complexas ricas em contato (aprox. 50 minutos) sem a necessidade de simulação extensa ou modelagem manual de recompensas.

Os autores concluem que essa abordagem oferece um caminho prático para implantar habilidades robustas de manipulação rica em contato em ambientes de montagem de alta variedade e baixo volume, onde as condições visuais são imprevisíveis.