Tactile Modality Fusion for Vision-Language-Action Models

Título: TacFiLM: Fusão de Modalidade Tátil para Modelos Visão-Linguagem-Ação (VLA)

1. O Problema

Os modelos Visão-Linguagem-Ação (VLA) recentes têm demonstrado grande sucesso em robótica, oferecendo políticas generalizáveis e semanticamente fundamentadas. No entanto, a maioria desses modelos depende exclusivamente da percepção visual.

• Limitação da Visão: A visão sozinha não consegue capturar dinâmicas complexas de interação durante manipulações ricas em contato (como inserção de peças, encaixe de cabos), onde forças de contato, atrito superficial, conformidade e cisalhamento são críticos.
• Desafios da Integração Tátil: Tentativas anteriores de integrar sinais táteis em VLAs geralmente envolvem:
  1. Concatenação de Tokens: Adicionar embeddings táteis como tokens extras à entrada do modelo, o que aumenta o comprimento da sequência e o custo computacional.
  2. Pré-treinamento em Larga Escala: Exigir grandes quantidades de dados e poder computacional para alinhar as modalidades, o que é inviável para muitos cenários de fine-tuning pós-treinamento.
• Necessidade: Existe uma demanda por estratégias de fusão leves (lightweight) que possam integrar feedback tátil sem reestruturar pesadamente o modelo ou aumentar a complexidade computacional.

2. Metodologia: TacFiLM

Os autores propõem o TacFiLM, uma abordagem de fusão de modalidades leve que integra sinais visuais e táteis em modelos VLA pré-treinados através de Modulação Linear por Características (FiLM - Feature-wise Linear Modulation).

• Arquitetura Base: O método utiliza o framework OpenVLA-OFT, que combina um backbone visual (SigLIP + DINOv2), um projetor MLP e um modelo de linguagem (LLaMA 2 7B).
• Mecanismo de Fusão (FiLM):
  • Em vez de concatenar tokens táteis à entrada, o TacFiLM utiliza representações táteis pré-treinadas para condicionar as características visuais intermediárias.
  • As imagens táteis são codificadas por um modelo de representação tátil pré-treinado (como Sparsh ou T3), gerando um embedding tátil ($z$).
  • Este embedding é usado para calcular parâmetros de escala ($\gamma$) e deslocamento ($\beta$) via uma MLP.
  • Esses parâmetros são aplicados às ativações intermediárias do encoder visual (antes da atenção multi-cabeça) através da transformação afim:
    $$\text{FiLM}(F^n | \gamma, \beta) = F^n \odot (1 + \gamma) + \beta$$
  • Isso permite que o modelo "sintonize" suas representações visuais com base no feedback tátil, preservando os priores visuais e linguísticos pré-treinados.
• Vantagens:
  • Não aumenta o comprimento da sequência de tokens.
  • Não requer o treinamento de novos codificadores de tato específicos para a tarefa (usa representações pré-treinadas).
  • É computacionalmente eficiente e parametricamente leve.

3. Contribuições Principais

1. Novo Método de Fusão: Introdução do TacFiLM, uma estratégia de condicionamento de imagem que integra sinais táteis em VLAs sem alterar a arquitetura de entrada do modelo de linguagem.
2. Avaliação Abrangente: Experimentos extensivos em robôs reais (Franka Panda) com mais de 700 execuções (rollouts), cobrindo tarefas de inserção com diferentes geometrias e tolerâncias (in-distribution e out-of-distribution).
3. Análise de Codificadores Pré-treinados: Investigação e comparação de diferentes modelos de representação tátil pré-treinados (T3 e variantes do Sparsh: MAE, IJEPA, DINO), demonstrando que o Sparsh-DINO oferece o melhor desempenho para esta tarefa.
4. Estudos de Ablação: Análise da localização da integração do FiLM (camadas iniciais, médias, tardias ou todas) e robustez sob condições visuais degradadas (luz baixa, perda de quadros).

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de inserção de pinos (círculo, quadrado, pentágono) e encaixe de cabos (USB, HDMI), com diferentes folgas (2mm e 3mm).

• Desempenho Geral:
  • O TacFiLM superou consistentemente os baselines (VLA apenas visual e VLA com concatenação tátil) em taxa de sucesso, porcentagem de inserções diretas (sem necessidade de ajustes corretivos) e tempo de conclusão.
  • Tarefas In-Distribution: No teste de inserção de pino circular com 3mm de folga, o TacFiLM alcançou 100% de sucesso, comparado a 86,67% do modelo visual puro.
  • Tarefas Out-of-Distribution (OOD): Em tarefas não vistas durante o treino (ex: encaixe de cabo HDMI), o TacFiLM melhorou a taxa de sucesso em 50% em comparação aos baselines, que tiveram desempenho próximo de zero em algumas tarefas difíceis.
• Eficiência e Segurança:
  • Força de Contato: O TacFiLM aplicou forças significativamente menores. Em tarefas selecionadas, exigiu aproximadamente um terço da força aplicada pelos métodos baselines, indicando maior sensibilidade e controle dinâmico.
  • Tempo: Redução no tempo médio de conclusão das tarefas.
• Robustez Visual:
  • Sob condições de luz reduzida (80% escurecido) ou com perda de quadros de vídeo (50%), o TacFiLM manteve 100% de taxa de sucesso, enquanto o modelo visual puro sofreu degradação significativa. Isso demonstra que o feedback tátil compensa eficazmente a perda de informação visual.
• Comparação de Codificadores: O modelo Sparsh-DINO mostrou o melhor desempenho na classificação binária de características táteis (rotação e contato), sendo escolhido como o backbone para os experimentos principais.

5. Significado e Conclusão

O trabalho demonstra que a fusão de modalidades baseada em FiLM é uma estratégia superior à simples concatenação de tokens para integrar tato em modelos VLA.

• Eficiência: Permite a integração de feedback tátil crítico sem o custo computacional de reentrenar grandes modelos ou aumentar a complexidade da sequência de entrada.
• Generalização: Melhora a robustez do robô em cenários onde a visão é insuficiente (oclução, baixa luz) ou onde a precisão milimétrica e o controle de força são essenciais.
• Impacto: O TacFiLM estabelece um novo paradigma para a criação de políticas robóticas mais seguras, eficientes e capazes de realizar manipulações complexas de contato, utilizando apenas fine-tuning pós-treinamento.

Em suma, o TacFiLM prova que condicionar as representações visuais com dados táteis pré-treinados é uma via eficaz para superar as limitações dos modelos puramente visuais em tarefas de manipulação física do mundo real.