FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

Resumo Técnico: FAWAM – Modelos de Ação de Mundo Sensíveis à Força para Manipulação de Ciclo Fechado com Contato Rico

1. Definição do Problema

Tarefas de manipulação robótica com contato rico (ex: limpar, descascar, empurrar) exigem a regulação contínua da interação com o ambiente. Embora as observações visuais sejam o padrão, elas são frequentemente insuficientes para inferir estados de interação críticos, como contato fraco, pressão excessiva ou travamento (jamming). Métodos existentes que incorporam sensores de força tipicamente tratam essa informação como uma modalidade de observação adicional para o aprendizado de políticas ou a utilizam para controle reativo de baixo nível. No entanto, essas abordagens falham em modelar explicitamente a evolução de futuros estados de contato (ex: futuros torques/wrench) e carecem de referências preditivas para guiar correções durante a execução. Consequentemente, os robôs têm dificuldade em antecipar resultados de contato e ajustar-se proativamente quando o feedback sentido desvia das expectativas.

2. Metodologia

Os autores propõem o FAWAM (Force-Aware World Action Model), um framework de ciclo fechado que integra sinais de força em três níveis: percepção, predição e execução. O sistema opera em duas frequências distintas: um Modelo de Ação com Visão de Força (Force-Envisioned Action Model) operando a 1 Hz para planejamento de alto nível, e um Corretor Residual Guiado por Força (Force-Guided Residual Corrector) operando a 10 Hz para ajuste online.

A. Modelo de Ação com Visão de Força
Este componente estende um modelo de ação de mundo (baseado em GE-Act) para incorporar a consciência de força:

• Condicionamento de Força: Históricos recentes de força/torque de 6 eixos ($w_{t-H_f+1:t}$) são codificados em um recurso de contato compacto ($c_t$) via um MLP leve. Este recurso modula a via de geração de ação usando modulação estilo AdaLN-Zero, onde offsets condicionados pela força são adicionados aos parâmetros AdaLN-Zero padrão (shift, scale, gate) dentro dos blocos DiT.
• Predição Conjunta: Em vez de usar uma cabeça de predição de força isolada, o modelo substitui a projeção de ação original por uma projeção linear conjunta. Esta saída concatena trajetórias de ações futuras ($A_t$) e trajetórias de torque/wrench futuras ($W_t$). Este design força o decodificador a aprender uma representação compartilhada que captura o acoplamento entre os movimentos do robô e suas consequências físicas de contato.
• Treinamento: O modelo utiliza uma estratégia de treinamento em dois estágios. Primeiro, um modelo de geração de vídeo é ajustado (fine-tuned) usando flow matching no espaço latente. Segundo, o decodificador de ação sensível à força é treinado com uma função de perda combinada ($L_{stage2} = L_{action} + \lambda_F L_{force}$) para prever simultaneamente futuros movimentos e forças de contato sob o mesmo framework de flow matching.

B. Corretor Residual Guiado por Força
Para lidar com variações inesperadas de contato (ex: resistência súbita) durante a execução de um bloco de ação (action chunk), um corretor residual é introduzido:

• Entradas: O corretor recebe o bloco de ação base, a referência de torque prevista, o feedback de torque em tempo real e o estado proprioceptivo atual.
• Computação de Erro: Ele computa explicitamente um erro de rastreamento de torque ($e^w_t$) comparando o feedback de força medido ($w^{meas}$) com a trajetória de torque prevista ($w^{pred}$).
• Mecanismo de Gating: Uma cabeça de gating prevê um escalar de portão ($g^{res}_t$) para determinar se a correção é necessária. Uma máscara binária ($\kappa_t$) é aplicada com base em um limiar para evitar que o modelo residual perturbe execuções nominais.
• Saída: O sistema gera uma ação residual ($\Delta a^{res}$) que é adicionada à ação base apenas quando o portão está ativo, refinando a execução online.
• Coleta de Dados: Os dados de correção são coletados usando um sistema de teleoperação líder-seguidor com feedback de força (FACTR). Operadores humanos intervêm quando ocorre contato anormal, e a diferença entre o comando corrigido e o comando da política base serve como o alvo residual.

3. Principais Contribuições

1. Framework FAWAM: Um modelo de ação de mundo sensível à força que aproveita sinais de força através dos níveis de percepção, predição e execução para permitir manipulação robusta com contato rico.
2. Correção Residual Guiada por Força: Um mecanismo inovador que utiliza a discrepância entre forças previstas e feedback sentido para corrigir ações durante a execução, indo além do simples controle reativo para um ajuste proativo guiado por predição.
3. Validação Empírica: Experimentos extensos no mundo real demonstrando ganhos significativos de desempenho sobre baselines de estado da arte.

4. Resultados Experimentais

Experimentos foram conduzidos em um braço robótico Franka Research 3 (FR3) em quatro tarefas: Apagar Quadro Branco, Descascar Pepino, Girar Caixa e Limpar Vaso. As tarefas envolveram diversas condições de contato induzidas por variações de inclinação de superfície, alturas de mesa e posições de objetos.

• Desempenho: O FAWAM alcançou uma taxa de sucesso (SR) média de 85,00%.
  • Isso representa uma melhoria de 36,25% sobre os baselines baseados apenas em visão (ex: $\pi0.5$ com 47,50%, GE-Act com 48,75%).
  • Mostra uma melhoria de 21,25% sobre os baselines atuais sensíveis à força (ForceVLA e TA-VLA, ambos com 63,75%).
• Análise de Ablação:
  • A política base sem correção residual (FAWAM w/o Res) alcançou uma taxa de sucesso de 73,75%, indicando que o modelo de ação com visão de força sozinho fornece uma base sólida.
  • A adição do corretor residual proporcionou o impulso final para 85,00%, validando a eficácia da correção online.
  • O estudo de ablação confirmou que todos os três componentes (Observação Condicionada por Força, Predição Conjunta e Correção Residual) contribuem positamente para o desempenho.

5. Significância e Alegações

O artigo alega que a manipulação com contato rico não é meramente um mapeamento reativo de observação-para-ação, mas um paradigma de predição proativa. Ao modelar explicitamente a evolução de futuros estados de contato e usar essas predições como referências online, o FAWAM permite que os robôs antecipem resultados de contato e corrijam desvios antes que falhas ocorram. Os autores afirmam que sua integração sistemática de sinais de força — indo além da simples fusão de observação para a modelagem preditiva e correção residual — resulta em comportamentos robustos adaptáveis a variações dinâmicas do ambiente e distúrbios externos. Os resultados sugerem que a predição de contato futura é um componente crítico ausente nas atuais políticas visuomotoras para tarefas que exigem interação física sustentada.