Resumo Técnico: Direcionamento de Política em Tempo de Inferência via Visão e Tato (ViTaL)

Declaração do Problema

O direcionamento em tempo de inferência adapta políticas robóticas generativas pré-treinadas (ex: políticas de difusão) durante a implantação sem necessidade de retreinamento, verificando ou refinando ações candidatas antes da execução. Embora métodos recentes utilizem com sucesso observações visuais para verificação de tarefas de longo horizonte, a visão sozinha é frequentemente insuficiente para a manipulação rica em contato. Em tarefas como pipetagem, limpeza ou inserção, o sucesso depende tanto do progresso semântico global (observável via visão) quanto de interações físicas locais sutis, como força de contato e estabilidade de preensão (observáveis via tato).

As abordagens atuais enfrentam dois desafios primários na integração dessas modalidades:

1. Observabilidade Dependente de Modalidade em Escalas Temporais: Resultados visuais frequentemente exigem previsões de longo horizonte para distinguir modos semânticos (ex: mover-se em direção ao copo correto), enquanto resultados táteis são locais e transitórios (ex: aplicação de força durante um aperto), muitas vezes obscurecidos em previsões visuais de longo horizonte.
2. Modelagem de Recompensa Multimodal: Definir uma função de recompensa unificada é difícil porque a importância relativa dos resultados visuais e táteis muda através das fases da tarefa. Uma única função de recompensa tem dificuldade em equilibrar o progresso global da tarefa com requisitos de contato de granularidade fina (ex: distinguir um aperto suave de um ato de soltar).

Metodologia: Estrutura ViTaL

Os autores propõem o ViTaL (Visuo-Tactile Latent Steering), uma estrutura que formula o direcionamento multimodal como um problema de otimização de nível duplo (bi-level). Esta abordagem decompõe o direcionamento em duas etapas que se alinham com as escalas temporais naturais da visão e do tato:

1. Formulação de Otimização de Nível Duplo (Bi-level)

O objetivo é selecionar uma sequência de ações $a^*_{t:t+h}$ que maximize uma recompensa condicionada à tarefa enquanto adere a um prior visual.

• Otimização Interna (Seleção de Modo Visual): O sistema amostra sequências de ações de longo horizonte ($H$ passos) a partir da política base. Estas são executadas usando um modelo de mundo latente visuo-tátil para prever estados futuros. Um verificador visual pontua estas previsões com base no progresso semântico em direção ao objetivo da tarefa. A sequência com a maior recompensa visual, $\bar{a}_{t:t+H}$, é selecionada como o modo de comportamento global.
• Otimização Externa (Refinamento Tátil): Os primeiros $h$ passos da sequência visualmente selecionada servem como uma "âncora de ação". O sistema então realiza a edição de difusão de curto horizonte ($h$ passos) para refinar esta âncora. Um verificador tátil pontua os futuros táteis previstos, e a política é reponderada para favorecer ações que satisfaçam as restrições de contato locais enquanto permanecem próximas ao plano visual.

2. Modelo de Mundo Latente Visuo-Tátil

Para suportar o direcionamento baseado em resultados, o ViTaL emprega um modelo de mundo latente aprendido ($p_\phi$) que prevê futuros estados visuais e táteis diretamente no espaço latente.

• Arquitetura: Utiliza codificadores congelados (DINOv3 para visão, AnyTouch para tato) para mapear observações para estados latentes ($z_v, z_\tau$). Um transformer condicionado à ação prevê futuros latentes conjuntos recursivamente.
• Eficiência: Ao operar no espaço latente, o modelo evita o custo computacional de decodificar imagens completas ou mapas táteis para cada ação candidata, permitindo um direcionamento eficiente condicionado por texto.

3. Verificadores Alinhados Semanticamente

O ViTaL utiliza a linguagem como uma representação de tarefa compartilhada para unir o raciocínio visual e tátil. Um Modelo de Linguagem-Visão (VLM) decompõe instruções de alto nível em objetivos textuais de nível de fase ($\ell^v_p, \ell^\tau_p$).

• Verificador Visual: Decodifica latentes visuais previstos em imagens RGB e utiliza um modelo de recompensa zero-shot (ROBOMETER) para avaliar o progresso semântico (ex: "o robô está se movendo em direção ao copo azul?").
• Verificador Tátil: Computa a similaridade de cosseno entre o embedding do latente tátil previsto e o embedding de texto do objetivo de contato (ex: "agarre levemente"). Isto constitui uma recompensa tátil condicionada a texto, permitindo que o sistema pontue futuros táteis sem a necessidade de projetar funções de recompensa específicas para a tarefa ou decodificar imagens táteis.

4. Otimização em Tempo de Inferência

O processo de direcionamento combina a seleção visual baseada em amostragem com a edição de difusão para o refinamento tátil:

• Estágio Visual: Amostra $N$ trajetórias de longo horizonte, executa-as no modelo de mundo e seleciona a melhor com base no verificador visual.
• Estágio Tátil: Trata a âncora visual selecionada como uma condição para a edição de difusão. Ele adiciona ruído parcial à âncora e enviesa o processo de denoising em direção a ações com maiores recompensas táteis, efetivamente refinando a execução do contato.

Principais Contribuições

1. Direcionamento Multimodal de Nível Duplo: Uma estrutura que utiliza a visão para a seleção de modo semântico de longo horizonte e o tato para o refinamento de contato direcionado, abordando o descompasso de escala temporal entre as modalidades.
2. Recompensa Tátil Condicionada por Linguagem: A introdução de um novo verificador tátil que pontua futuros táteis previstos em um espaço latente alinhado usando descrições textuais. Isso permite uma verificação tátil escalável e livre de demonstrações, que é flexível a diferentes fases da tarefa.
3. Modelagem de Mundo Latente: A integração de um modelo de mundo latente visuo-tátil que permite a pontuação direta e eficiente de resultados multimodais no espaço latente sem decodificação.

Resultados Experimentais

Os autores avaliaram o ViTaL em três tarefas de manipulação rica em contato no mundo real usando um robô Franka Emika com sensores GelSight Mini: transferência de pipeta, limpeza e inserção de pino.

• Ganhos de Desempenho: O ViTaL melhorou o sucesso geral da tarefa em 51% em relação à política base. Superou o direcionamento unimodal (apenas visão ou apenas tato) em pelo menos 33% e excedeu a fusão multimodal ingênua (soma simples de recompensas) em pelo menos 20%.
• Modos de Falha: O direcionamento apenas visual frequentemente tinha sucesso no alinhamento global, mas falhava devido a erros de contato local (ex: derramar líquido). O direcionamento apenas tátil melhorava o contato, mas frequentemente perdia o objetivo global. O ViTaL abordou com sucesso ambos os modos de falha.
• Precisão da Recompensa: Os verificadores propostos alcançaram alta precisão de ordem de preferência (aprox. 85% para visão, 81% para tato) ao comparar futuros previstos contra o solo real, demonstrando a confiabilidade do modelo de mundo latente e dos verificadores semânticos.
• Eficiência: A abordagem de nível duplo forneceu um melhor equilíbrio entre sucesso e velocidade de inferência em comparação com a fusão ingênua, adicionando apenas 0,05 segundos por passo de inferência, enquanto reduzia significativamente as taxas de falha.

Significância e Alegações

O artigo afirma que o ViTaL representa um passo significativo para tornar as políticas robóticas pré-treinadas robustas para tarefas ricas em contato sem exigir retreinamento ou engenharia extensiva de recompensas específicas para a tarefa. Ao decompor o problema de direcionamento em seleção de modo visual e refinamento tátil, o método aproveita as forças complementares da visão (contexto global) e do tato (precisão local).

Os autores destacam que sua recompensa tátil condicionada a texto é a primeira do tipo para manipulação robótica, permitindo um raciocínio de contato flexível e orientado por linguagem. Eles reconhecem limitações, observando que a fidelidade do sistema depende do modelo de mundo latente (onde erros cumulativos podem afetar a verificação) e que os codificadores táteis são atualmente pré-treinados em conjuntos de dados menores comparados aos VLMs modernos. No entanto, os resultados sugerem que o direcionamento de inferência multimodal é um caminho viável para uma manipulação robótica mais adaptável e confiável.