SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks

1. O Problema

O artigo aborda o desafio de automatizar a montagem industrial de Alta Variedade e Baixo Volume (HMLV - High-Mix Low-Volume), comum em Pequenas e Médias Empresas (PMEs). Estas tarefas exigem:

• Precisão extrema e segurança: Necessárias para evitar danos em componentes e no robô.
• Flexibilidade: Capacidade de adaptar-se a variações de produtos e incertezas ambientais.
• Desafios Atuais:
  • A programação manual é frágil e cara de adaptar.
  • Métodos baseados em Aprendizado por Reforço (RL) puro sofrem de baixa eficiência de amostragem (requerem muitos dados) e exploração insegura em tarefas ricas em contato (onde forças de colisão podem quebrar peças).
  • A falta de especialistas em automação nas PMEs dificulta a implementação de soluções complexas.

O objetivo é criar um sistema de RL que seja seguro, eficiente em termos de amostras e capaz de aprender tarefas de montagem complexas com tolerâncias sub-milimétricas (0,2–0,4 mm) em um orçamento de tempo realista.

---

2. Metodologia: SHaRe-RL

O SHaRe-RL é um framework híbrido que integra três fontes principais de conhecimento prévio para guiar o aprendizado:

A. Estrutura de Tarefa (Manipulation Primitive Nets - MP-Nets)

Em vez de aprender a tarefa inteira "de ponta a ponta" (end-to-end), o sistema decompõe o processo em Primitivas de Manipulação (MPs):

• Primitivas Fixas: Partes repetíveis do processo (ex: aproximação, alinhamento grosseiro, retração) são executadas com setpoints fixos.
• Primitivas Adaptativas (AMPs): Apenas as fases críticas e incertas (ex: o alinhamento fino e inserção final) são controladas pela política de RL.
• Vantagem: Isso reduz drasticamente o espaço de estados e ações que o RL precisa explorar, focando o aprendizado apenas onde a incerteza é maior.

B. Aprendizado Interativo Humano no Loop (Human-in-the-Loop)

O sistema utiliza um pipeline de RL off-policy (baseado em SAC - Soft Actor-Critic) que incorpora:

• Demonstrações: Um operador teleopera o robô antes do treinamento para coletar trajetórias iniciais.
• Correções Online: Durante o treinamento, o operador pode assumir o controle do robô a qualquer momento (usando um SpaceMouse) para corrigir falhas ou induzir casos de erro raros.
• Buffer de Dados: O algoritmo mistura dados de demonstração e dados gerados online para atualizar a política, acelerando a convergência e evitando ótimos locais.

C. Limites de Força Adaptativos (Safety Layer)

Para garantir segurança em tarefas de contato, o sistema implementa uma camada de segurança determinística:

• Mecanismo: Define limites de força por eixo que se contraem dinamicamente quando o contato é detectado.
• Comportamento: Em espaço livre, o robô pode mover-se livremente. Assim que o contato ocorre ($F_{meas} > 0$), o limite de força diminui exponencialmente, garantindo que a força de interação não exceda um valor seguro ($F^*_{lim}$), independentemente da ação bruta da política.
• Garantia: O método é matematicamente provado para limitar forças de contato sem comprometer a dinâmica em espaço livre.

---

3. Contribuições Principais

1. Primeira Integração: Apresenta o primeiro sistema a combinar redes de primitivas de manipulação (MP-Nets) com RL off-policy e humano-no-loop.
2. Mecanismo de Segurança: Formula um mecanismo de complacência adaptativa por eixo que limita provadamente as forças de interação durante a exploração.
3. Desempenho Empírico: Demonstra aprendizado robusto em uma tarefa industrial real (inserção de conectores) com tolerâncias sub-milimétricas em apenas 3 horas de interação real, superando o estado da arte e até mesmo o tempo de ciclo de um especialista humano.
4. Generalização: Mostra que a política aprendida generaliza para variantes de conectores nunca vistas anteriormente (Zero-Shot).
5. Código Aberto: Implementação como extensão do framework open-source LeRobot, compatível com manipuladores de baixo custo.

---

4. Resultados Experimentais

Os experimentos foram realizados na inserção de conectores industriais Harting HanDD (tolerância de 0,2–0,4 mm) usando um robô UR3e.

• Comparação Principal:
  • SHaRe-RL: Alcançou 100% de sucesso com um tempo de ciclo de 3,5 segundos.
  • HIL-SERL (RL sem estrutura): Apenas 65% de sucesso e 7,4 segundos.
  • SHaRe-BC (Aprendizado por Imitação Estruturado): 80% de sucesso, mas estagnou no nível das demonstrações humanas.
  • Humano Especialista: 100% de sucesso, mas com 4,5 segundos (SHaRe-RL foi mais rápido).
• Eficiência de Interação: A taxa de intervenção humana diminuiu progressivamente até zero ao final do treinamento, indicando que o robô aprendeu a operar autonomamente.
• Estudos de Ablação:
  • Remover correções online ou demonstrações reduziu drasticamente o sucesso (para 45% e 35%, respectivamente).
  • Remover a entrada visual (câmera) fez o desempenho colapsar para 10%, provando a necessidade de feedback visual para resolver ambiguidades geométricas que a força sozinha não resolve.
• Generalização Zero-Shot: A política treinada em um tipo de conector funcionou com sucesso em duas variantes diferentes sem ajuste fino, embora o tempo de ciclo tenha aumentado ligeiramente devido a mudanças na geometria.
• Segurança: Testes de colisão mostraram que o limite de força adaptativo estabiliza a força de contato em 5 N (alvo) em ~0,3 segundos, mesmo com comandos de 20 N, protegendo o hardware.

---

5. Significado e Conclusão

O trabalho demonstra que o conhecimento de processo (expertise de domínio) é essencial para viabilizar o RL no mundo real industrial. Ao combinar a estrutura de tarefas (MP-Nets), a expertise humana (demonstrações/correções) e limites de segurança físicos, o SHaRe-RL supera as limitações de:

1. Controle Tradicional: Que é rígido e difícil de adaptar.
2. RL Puro: Que é ineficiente e perigoso em ambientes de contato.

Impacto: O método reduz a barreira de entrada para a automação em PMEs, permitindo que robôs aprendam tarefas complexas de montagem de forma segura e rápida, sem exigir especialistas em RL no local. O artigo sugere que o futuro da automação industrial reside na co-construção entre a estrutura de tarefas definida por humanos e a capacidade de otimização e descoberta de algoritmos de RL.