M2R2: MultiModal Robotic Representation for Temporal Action Segmentation

1. Declaração do Problema

Segmentação Temporal de Ações (TAS) envolve identificar limites temporais entre ações em dados não cortados e atribuir rótulos a cada segmento. Embora crucial para a robótica (por exemplo, aprender políticas de movimento, entender pré-condições) e visão computacional (por exemplo, documentação médica), as abordagens atuais enfrentam limitações significativas:

• Limitações da Robótica: A TAS robótica tradicional depende fortemente de dados proprioceptivos (forças, torques, posições das juntas). Esses métodos frequentemente usam heurísticas artesanais ou bibliotecas de habilidades pré-definidas, exigindo ajuste extensivo de hiperparâmetros e carecendo de generalização.
• Limitações da Visão: Abordagens de visão computacional dependem de sensores exteroceptivos (câmeras). Embora poderosas, elas lutam em cenários com oclusões ou objetos visualmente similares (por exemplo, distinguir pinos que diferem por milímetros), comuns em tarefas de montagem.
• Rigidez Arquitetural: Modelos existentes de TAS robótica multimodal são tipicamente end-to-end, fundindo características e realizando a segmentação dentro de um único modelo. Isso torna difícil reutilizar características aprendidas em diferentes arquiteturas TAS ou adaptar-se a novos cabeçalhos de segmentação de última geração.

2. Metodologia: M2R2

Os autores propõem o M2R2 (MultiModal Robotic Representation), um framework modular que desacopla a extração de características multimodais do modelo TAS.

A. Modalidades de Entrada

O M2R2 funde dados de sensores proprioceptivos e exteroceptivos:

• Exteroceptivos: Vídeo RGB (visual) e Áudio.
• Proprioceptivos: Pose e torção do efetuador final, largura da garra e medições de força/torque.

B. Arquitetura

O sistema segue uma estratégia de fusão tardia usando uma arquitetura baseada em Transformer:

1. Codificadores Específicos por Modalidade:
   • Visão: Usa ActionCLIP (um Visual Transformer) para extrair características de imagem.
   • Áudio: Usa o Audio Spectrogram Transformer (AST) para extrair características de espectrogramas log-mel.
   • Propriocepção: Dados brutos de sensores são aumentados via projeção linear e incorporados com embeddings temporais aprendíveis para corresponder à dimensão da característica.
2. Módulo de Fusão:
   • Características de todas as modalidades são empilhadas em uma sequência de tokens.
   • Um Codificador Transformer de Auto-atenção troca informações entre modalidades.
   • Um MLP funde os tokens atualizados em um único vetor multimodal ($x_i$) por passo de tempo.
3. Modularidade: As características resultantes são genéricas e podem ser alimentadas em qualquer modelo TAS existente (por exemplo, MSTCN, ASRF, DiffAct).

C. Estratégia de Treinamento

Os autores introduzem uma estratégia de treinamento inovadora para garantir que as características capturem a ordem temporal e os limites:

• Amostragem de Dados: Janelas curtas contendo 3 ações consecutivas são amostradas com preenchimento para incluir contexto.
• Objetivos de Dupla Perda:
  1. Perda de Ordem de Ação ($L_{action}$): Inspirada no Br-Prompt, o modelo maximiza a similaridade entre a representação da janela e um embedding de texto descrevendo a sequência de ações (por exemplo, "Primeiro pegar, depois inserir"). Isso impõe a aprendizagem de dependências temporais.
  2. Perda de Regressão de Limite ($L_{boundary}$): Uma Rede de Regressão de Limite prevê a probabilidade de um quadro ser um limite. O modelo minimiza o Erro Quadrático Médio (MSE) entre os limites previstos e os limites suavizados da verdade fundamental.
• Pós-Treinamento: Após o treinamento, o Transformer de Fusão, a Rede de Limites e o Codificador de Texto são descartados. Apenas o extrator de características permanece para gerar entradas para modelos TAS a jusante.

3. Contribuições Principais

1. Extrator de Características M2R2: Um extrator multimodal baseado em aprendizado profundo, adaptado para TAS robótica, que combina dados proprioceptivos e exteroceptivos.
2. Estratégia de Treinamento Modular: Um método que permite a reutilização de características aprendidas em diferentes arquiteturas TAS, superando a rigidez de modelos multimodais end-to-end.
3. Ablação Abrangente: Um estudo extenso avaliando a contribuição específica da visão, áudio e vários sensores proprioceptivos (garra, força/torque, pose) para o desempenho de segmentação.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados: REASSEMBLE (montagem/desmontagem), (Im)PerfectPour (bartending) e JIGSAWS (gestos cirúrgicos).

• Desempenho de Última Geração:
  • No REASSEMBLE, o M2R2 combinado com o modelo ASRF alcançou uma pontuação F1@50 de 82,4%, superando significativamente as linhas de base apenas de visão (que pontuaram ~8,4%) e métodos proprioceptivos não supervisionados (que pontuaram ~35,8%).
  • No (Im)PerfectPour, as características do M2R2 treinadas no REASSEMBLE generalizaram bem, superando as linhas de base apenas de visão em 16,1% em F1@50.
  • No JIGSAWS, o M2R2 alcançou um F1@50 de 89,4% e uma pontuação EDIT de 91,7%, superando abordagens multimodais end-to-end anteriores.
• Robustez:
  • Modelos apenas de visão frequentemente confundiam objetos de aparência similar. O M2R2 resolveu essas ambiguidades ao aproveitar pistas proprioceptivas (por exemplo, mudanças de força durante o contato).
  • Métodos heurísticos tendiam a super-segmentar durante mudanças rápidas de sensores; o M2R2 aprendeu a ignorar ruído local enquanto identificava limites verdadeiros.
• Insights de Ablação:
  • Propriocepção é crítica: Embora a visão sozinha tenha desempenhado mal, a propriocepção sozinha alcançou alto desempenho (75,4% F1@50) no REASSEMBLE, embora combinar todas as modalidades tenha produzido os melhores resultados.
  • Largura da Garra: Remover dados da garra causou a queda de desempenho mais significativa, destacando sua importância para distinguir tamanhos de objetos.
  • Áudio: Melhorou a detecção de limites (Taxa de Detecção), mas foi insuficiente para identificação de objetos sozinho.

5. Significado

• Ponte entre as Lacunas: O M2R2 conecta com sucesso a visão computacional (que se destaca na compreensão semântica) e a robótica (que depende de dados de interação física), criando uma representação robusta para tarefas complexas de manipulação.
• Reutilização e Flexibilidade: Ao desacoplar a extração de características do cabeçalho de segmentação, o M2R2 permite que pesquisadores integrem novos modelos TAS aprimorados sem retreinar todo o pipeline multimodal.
• Generalização: O framework demonstra forte transferibilidade entre diferentes domínios de tarefa (montagem vs. bartending vs. cirurgia) e embodiments robóticos, sugerindo um caminho para sistemas de aprendizado robótico mais adaptáveis.
• Impacto Prático: A capacidade de distinguir objetos visualmente similares usando dados multimodais é crucial para tarefas de alta precisão como montagem, onde a oclusão visual é comum.