Resumo Técnico: TacWAM

Declaração do Problema

Modelos de Ação de Mundo (WAMs - World Action Models) integram a previsão de estados futuros com a geração de ações robóticas para facilitar o controle. No entanto, os WAMs existentes dependem predominantemente de futuros visuais. Embora a previsão visual capture efetivamente a estrutura da cena e o movimento de objetos, ela oferece supervisão limitada para fenômenos físicos críticos para manipulação rica em contato, como acúmulo de força, deformação, cisalhamento e deslizamento incipiente. Os estados visuais podem ser ambíguos; por exemplo, um aperto que parece estável pode estar prestes a deslizar, ou uma inserção pode parecer alinhada, mas estar mecanicamente restringida.

O desafio central abordado por este trabalho é duplo:

1. Futuros Táteis Informativos: As previsões táteis devem carregar informações físicas significativas (força, deformação) que os futuros visuais não capturam.
2. Consistência de Implantação: Esses estados táteis futuros devem servir como supervisão de treinamento sem se tornarem entradas "privilegiadas" para a geração de ações. O ramo de ação deve permanecer restrito às informações disponíveis no momento da implantação, evitando um descompasso entre treinamento e teste onde o modelo dependa de conhecimento futuro que não consegue acessar durante a execução.

Metodologia: TacWAM

O TacWAM (Modelo de Ação de Mundo com Predição Tátil Consciente de Mecânica e Guiado por Âncora) é um WAM aumentado por tato projetado para enfrentar esses desafios através de três componentes arquitetônicos primários e um mecanismo de atenção específico.

1. Codificador Tátil de Fusão Espacialmente Alinhada (SAF)

Para criar uma representação unificada para a predição tátil, o TacWAM emprega um Codificador Tátil SAF que mapeia observações heterogêneas do lado do gripper em um espaço latente compartilhado.

• Entradas: O codificador funde três sinais espacialmente registrados: aparência tátil retificada ($I_{rect}$), campos de força locais densos ($F_t$) e fluxo de deformação de malha ($M_{flow}$).
• Fusão Bilateral: As características de ambos os lados do gripper são codificadas e fundidas bilateralmente.
• Supervisão Global: Para preservar a mecânica de contato global, a representação latente é reconstruída por um reconstrutor tátil ($R_{tac}$) que prevê campos de força densos, fluxo de deformação e um wrench resultante bilateral (força 3D e torque 3D para cada sensor). Este wrench atua como supervisão de mecânica global, garantindo que o espaço latente capture estruturas de força e deformação, em vez de apenas estados de contato binários.

2. Predição Modulada por Histórico Tátil

Reconhecendo que uma observação tátil de um único quadro é frequentemente ambígua (por exemplo, magnitudes de força idênticas podem implicar contato estável, aumento de pressão ou deslizamento), o TacWAM incorpora contexto temporal.

• Um Codificador de Histórico Tátil resume as mudanças táteis recentes ($z_{tac}$) que precedem o atual bloco de ação em um vetor de contexto compacto ($c_{tac}$).
• Este contexto modula o especialista tátil via normalização adaptativa, ajudando o modelo a desambiguar a fase de interação atual e prever a evolução da força e da deformação. Crucialmente, este histórico é usado para condicionar a predição de estados futuros, mas não é uma entrada privilegiada direta para o fluxo de ação.

3. Atenção Tri-Modal Guiada por Âncora (AGT)

O mecanismo central que garante a consistência de implantação é o módulo de Atenção AGT, que governa o fluxo de informação dentro do backbone de Mistura de Transformers. O modelo processa três fluxos: Visual ($V$), Tátil ($T$) e Ação ($A$).

• Âncoras: O quadro visual atual ($V_0$) e o estado tátil limpo atual ($T_0$) servem como âncoras.
• Alvos Futuros: Tokens visuais futuros ($V_{1:H}$) e táteis futuros ($T_{1:H}$) são tratados como variáveis de predição com ruído durante o flow matching.
• Isolamento de Informação: A máscara AGT impõe estritamente que tokens de ação ($A$) não podem ler tokens de predição futuros ($V_{1:H}, T_{1:H}$). Os tokens de ação podem acessar apenas as âncoras atuais ($V_0, T_0$), linguagem de tarefa e propriocepção.
• Objetivo de Treinamento: Estados táteis futuros servem como um objetivo preditivo paralelo para supervisionar o aprendizado de representações relevantes ao contato, mas eles não condicionam a geração de ação diretamente.

Principais Contribuições

1. Estrutura TacWAM: Um novo WAM que estende o treinamento visual com histórico tátil e predição tátil futura, permitindo que o modelo aprenda com a evolução tátil além da observação atual.
2. Codificador Tátil SAF: Um mecanismo que mapeia aparência tátil, força e deformação em um espaço latente compartilhado, preservando padrões de contato locais e informações de força/torque global através da reconstrução de wrench bilateral.
3. Atenção AGT: Um mecanismo de atenção tri-modal que isola os alvos sensoriais futuros do ramo de ação, garantindo que a geração de ação dependa exclusivamente da informação disponível na implantação, enquanto ainda se beneficia da supervisão preditiva tátil.
4. Validação Empírica: Avaliação abrangente em quatro tarefas reais ricas em contato, demonstrando a eficácia da arquitetura proposta.

Resultados Experimentais

Os autores avaliaram o TacWAM em uma plataforma real (Agilex Piper com sensores Xense G1-WS) em quatro tarefas: agarrar batata chips frágil, agarrar cerejas de tamanho variável, limpar quadro branco de forma sustentada e girar duas canetas dinamicamente.

• Desempenho: O TacWAM alcançou uma taxa de sucesso média de 75,0%, superando o baseline mais forte (VT-WAM, um WAM visual-tátil) em 37,5 pontos percentuais.
• Ganhos Específicos por Tarefa:
  • Agarrar batata chip: +40,0% sobre o melhor baseline.
  • Limpar quadro branco: +40,0% sobre o melhor baseline.
  • Girar duas canetas: +30,0% sobre o melhor baseline.
• Estudos de Ablação:
  • Remoção do Histórico Tátil: As taxas de sucesso caíram significativamente (de 82,5% para 55,0% em média), particularmente em tarefas que exigem inferência de acúmulo de força (ex: o agarrar de chip caiu de 90% para 50%). Isso confirma que o contexto temporal é vital para desambiguar estados de contato.
  • Relaxamento das Restrições AGT: Permitir que tokens de ação acessem predições táteis futuras (Attn-AT) ou permitir a interação bidirecional de tokens futuros (Attn-VT) causou uma degradação severa no desempenho (caindo para 7,5% de média). Isso valida que a restrição de "informação privilegiada" é crítica; sem ela, o modelo aprende atalhos que falham durante a implantação.
• Qualidade da Predição: As magnitudes de força previstas pelo TacWAM acompanharam a verdade fundamental (ground truth) mais de perto do que as variantes sem histórico, mostrando redução no atraso temporal ao estimar fases de contato.

Significância e Alegações

O artigo afirma que estados táteis preditivos são um sinal de treinamento valioso para modelagem de ação de mundo rica em contato, desde que integrados com representações conscientes de mecânica e restrições de informação estritas.

A significância do TacWAM reside na demonstração de que:

1. Futuros Táteis são Supervisores, Não Entradas: Estados táteis futuros podem enriquecer o treinamento do modelo de mundo ao supervisionar mudanças de força e deformação sem comprometer a natureza causal da geração de ação.
2. Contexto Temporal é Essencial: Um único quadro tátil é insuficiente para controle robusto; resumir o histórico tátil recente é necessário para interpretar estados atuais e prever dinâmicas futuras com precisão.
3. O Isolamento de Informação Previne o Descompasso Treinamento-Teste: O mecanismo de atenção AGT prova que impedir que o ramo de ação "trapaceie" lendo predições futuras é essencial para implantar modelos em cenários reais de malha fechada (closed-loop).

Os autores concluem que o TacWAM consegue preencher a lacuna entre modelos de mundo visuais e as realidades físicas da manipulação rica em contato, oferecendo um framework onde a predição tátil melhora o aprendizado de ação sem violar as restrições de implantação.