Resumo Técnico: FORGE-plus

Declaração do Problema

Habilidades de Aprendizado por Reforço (RL) condicionadas à força demonstraram sucesso em tarefas de montagem ricas em contato ao respeitar um teto de força comandado ($F_{max}$). No entanto, duas lacunas críticas permanecem para implantar essas habilidades em objetos frágeis:

1. Quem define o teto? Os métodos atuais frequentemente ajustam automaticamente o $F_{max}$ para maximizar as taxas de sucesso. Essa abordagem falha quando um único sistema deve lidar tanto com partes robustas (ex: aço) quanto frágeis (ex: nylon ou vidro), pois um teto suficiente para a primeira destruirá a segunda.
2. O que fazer em caso de falha? Quando uma inserção falha, a estratégia de recuperação intuitiva — "pressionar mais forte" — é precisamente a ação que destrói componentes frágeis. Os atuais raciocinadores de falha baseados em visão (ex: REFLECT, DoReMi) operam ao nível da tarefa e frequentemente perdem as distinções sutis entre modos de falha (ex: cunhagem vs. rosqueamento cruzado) que são evidentes apenas em traços de força, não em pixels visuais.

Metodologia: Arquitetura FORGE-plus

O FORGE-plus introduz um sistema de duas camadas projetado para impor segurança sem depender da autoridade de controle em tempo real do LLM. O sistema opera inteiramente em simulação (Isaac Lab) com dinâmica de corpo rígido e quebra modelada.

1. O Sistema de Duas Camadas

• Camada Lenta (Supervisor LLM Congelado):
  • Definidor de Orçamento: Antes de um episódio, um LLM puramente textual e congelado lê a identidade do objeto (nome, material, tags de geometria) e gera um teto de força por objeto ($F_{max}$). Ele não vê imagens ou dados de quebra específicos da instância.
  • Seletor de Recuperação: Ao detectar uma falha, o LLM lê uma "assinatura de força" textual compacta (derivada do histórico de força/torque, duração de contato e eventos de deslizamento) e seleciona uma manobra de recuperação de um menu fixo (ex: retrair_e_reaproximar, oscilar_procurar, rotacionar_alinhar, reagarrar, abortar).
  • Restrição: O menu exclui explicitamente qualquer opção para "aumentar o teto". A saída do LLM é sobrescrita no lado do servidor para garantir que o $F_{max}$ permaneça imutável durante a recuperação.
• Camada Rápida (Habilidade de RL Condicionada à Força):
  • Uma política MLP condicionada à força (treinada via Behavior Cloning e DAgger) executa a inserção.
  • Clamp Rígido: Um clamp de segurança no loop de controle rápido (60–120 Hz) satura todas as forças comandadas para o $F_{max}$ definido pelo LLM. Isso garante que o LLM nunca tenha autoridade direta sobre a força física aplicada.
  • Cabeça de Liberação: Uma cabeça linear aprendida (ignorando o tronco principal da política) decide quando liberar o objeto com base em observações brutas.

2. Design de Avaliação (Não-Circularidade)

A avaliação é desenhada para evitar o raciocínio circular em relação à fragilidade:

• Quebra Oculta: A força de quebra ($F_{break}$) é amostrada por episódio de uma distribuição e nunca é observada pela política, pelo LLM ou pelo codificador de assinatura. Ela é visível apenas para o avaliador.
• Invariantes de Segurança: O $F_{max}$ é fixo durante a recuperação, e a autoridade de força reside estritamente no loop de controle rápido.

Principais Contribuições

1. Arquitetura e Benchmark

O artigo apresenta uma arquitetção unificada para montagem com orçamento de força sob fragilidade por objeto. Introduz uma métrica de quebra não-circular e um benchmark envolvendo duas tarefas distintas:

• Posicionamento de Garrafa Frágil: Inserindo uma garrafa de vinho em um suporte (classe frágil simulada com $F_{break} \approx 22$ N).
• Inserção de Engrenagem com Folga Justa: Inserindo uma engrenagem com folga diametral de 0,4 mm (engrenagem de ABS frágil simulada com $F_{break} \approx 38 \pm 5$ N).
• Embodiments: Experimentos executados em dois grippers: Robotiq 2F-140 e mão Franka Panda.

2. Resultados de Ciclo Completo

Um único checkpoint unificado (uma "sopa de pesos" de políticas treinadas em classes frágeis e robustas) alcançou:

• Portões Limpos: 256/256 inserções limpas bem-sucedidas com zero quebras em ambas as classes de engrenagem frágil e robusta usando o Robotiq 2F-140.
• Liberação: 256/256 liberações aprendidas bem-sucedidas com zero "liberações ruins" (prematuras ou falhas).
• Fluxo Físico: Um fluxo de pick-da-mesa totalmente físico (sem teletransporte ou fixação cinemática) completou 64/64 episódios com uma força de inserção de pico média de 5,4 N.

3. Eficácia de Recuperação vs. Baselines

Sob distúrbios injetados (cunhagens de borda e deslizamentos de pegada de 5 mm):

• Recuperação por Assinatura de Força: O sistema proposto recuperou 40% dos travamentos (Robotiq) e 64% dos travamentos (Franka) ao rotear assinaturas de força específicas para a primitiva de recuperação correta (ex: reagarrar para pegadas inclinadas).
• Baseline "Pressionar Mais Forte": Este baseline (modelado no comportamento publicado do Tactile-VLA) mostrou dois modos distintos de falha:
  • Robotiq 2F-140: 100% fútil (timeouts), porque o furo inclinado nunca engajou a carga, tornando a escalada de força inútil.
  • Franka Panda: 96% destrutivo, quebrando partes frágeis ao escalar a força.
• Proxy Vision-LLM: Um proxy de amostragem de menu para raciocinadores apenas de visão alcançou taxas de sucesso menores (28% e 32%) porque não conseguia distinguir a assinatura de força de uma pegada inclinada de outras falhas.

4. Resultados Negativos como Descobertas

O artigo relata rigorosamente o que não funciona:

• Falha do PPO: O treinamento on-policy PPO falha em folga de 0,4 mm no Robotiq 2F-140; o ruído de exploração necessário para encontrar o funil é inerentemente destrutivo para partes frágeis.
• Polimento de Baixo Desvio: O ajuste fino de uma política de Behavior Cloning (BC) funcional com PPO (baixo desvio padrão) destrói a política dentro de 25 iterações devido à amplificação de gradiente.
• Oráculo de Orçamento: Mesmo um "oráculo" definindo $F_{max} = F_{break} - \epsilon$ falhou (50% de quebra) porque o overshoot do controlador excedeu o orçamento. Isso prova que um orçamento seguro deve considerar a distribuição de overshoot do controlador, não apenas o limiar de quebra.
• Designs de Cabeça de Liberação: Três designs naturais para uma cabeça de liberação aprendida falharam; apenas uma cabeça linear de skip de entrada (ignorando o tronco) teve sucesso.

Significância e Alegações

O artigo afirma que o FORGE-plus fornece uma solução estrutural para os problemas de "quem define o teto" e "o que fazer em caso de falha" na montagem rica em contato:

1. Orçamentos Derivados de Identidade: Um orçamento conservador derivado da identidade do objeto supera um orçamento "oráculo" porque considera o overshoot do controle, garantindo segurança sem precisar conhecer o limiar de quebra específico da instância.
2. Recuperação Baseada em Força: Estratégias de recuperação devem ser fundamentadas em assinaturas de força, não em visão. A assinatura de força é o único sinal capaz de distinguir a necessidade de um "reagarrar" (pegada inclinada) de outras falhas, superando a seleção baseada em visão por um fator de ~2.
3. O Fracasso do "Pressionar Mais Forte": A recuperação natural de aumentar a força é provada ser ou fútil ou destrutiva dependendo do gripper e do modo de falha, nunca a solução correta para montagem frágil.
4. Separação de Segurança: A segurança é garantida pelo clamp rígido no loop rápido, não pelo LLM. O LLM atua apenas como um seletor semântico para primitivas de movimento, nunca como uma autoridade de força.

Os autores enfatizam que estes resultados são apenas em simulação com física de corpo rígido e quebra modelada. Não é alegada transferência sim-to-real, embora a condicionação de força estilo FORGE subjacente seja notada por ter sucesso prévio de transferência. O trabalho serve como um benchmark rigoroso e um conjunto de descobertas negativas para guiar pesquisas futuras em manipulação frágil.