Resumo Técnico: Aprendizado Contínuo Multissensorial (MuSe)

Declaração do Problema

A manipulação robótica, particularmente em cenários ricos em contato, frequentemente depende de dados sensoriais que vão além da visão, como feedback de força-torque (F/T), tátil ou áudio, para inferir estados de interação como deslizamento ou forças de contato que não são diretamente visíveis. No entanto, conjuntos de dados multissensoriais em larga escala são escassos, e os sensores são frequentemente específicos para o hardware ou para a tarefa, tornando impraticável o pré-treinamento de políticas com todas as potenciais modalidades sensoriais.

Este artigo formaliza o desafio como aprendizado contínuo multissensorial: adaptar uma política de robô pré-treinada (treinada em dados apenas de visão) para incorporar novas modalidades sensoriais para novas tarefas, preservando o desempenho nas tarefas originais. O objetivo é alcançar três objetivos específicos:

1. Transferência Direta (Forward Transfer): Melhorar o desempenho em novas tarefas usando a nova modalidade em comparação ao treinamento do zero.
2. Transferência Indireta (Backward Transfer): Reter ou melhorar o desempenho nas tarefas de pré-treinamento após aprender novas tarefas com novos dados sensoriais.
3. Generalização Cross-Modal: Compreender e utilizar uma modalidade recém-introduzida em tarefas onde ela nunca foi observada durante o treinamento.

O ajuste fino (fine-tuning) ingênuo em novos dados multissensoriais frequentemente leva ao esquecimento catastrófico das habilidades de pré-treinamento e falha em integrar adequadamente as novas dimensões de entrada sem depender excessivamente delas.

Metodologia: Estrutura MuSe

Os autores propõem o MuSe (Multi-Sensory continual learning), uma estrutura projetada para integrar eficientemente novas modalidades sensoriais em políticas de visão-ação pré-treinadas. A estrutura é instanciada pela adição de sensoriamento de força-torque a um modelo de Vídeo-Ação Unificado (UVA) pré-treinado. O MuSe baseia-se em três componentes críticos:

1. Fusão de Múltiplas Etapas

Para equilibrar a interação profunda cross-modal com a preservação das representações pré-treinadas, o MuSe emprega uma arquitetura de fusão de via dupla:

• Fusão Precoce (Early Fusion): A nova modalidade (ex: F/T) é codificada por um codificador específico da modalidade e projetada no espaço de embedding compartilhado. Esses tokens são concatenados com os tokens de observação e ação existentes antes de serem processados pelo backbone transformer. Isso permite que o backbone realize atenção cross-modal através de todas as camadas.
• Fusão Tardia (Late Fusion): Características da nova modalidade são injetadas em camadas intermediárias do transformer via adaptadores de atenção cruzada leves.
  Esta combinação garante que a nova modalidade tenha acesso direto à via de processamento de sequência e, ao mesmo tempo, receba condicionamento específico da modalidade, evitando que o novo sensor sobrescreva o conhecimento de visão-ação.

2. Predição de Futuro Multissensorial (Modelo de Mundo)

O MuSe é treinado com um objetivo de predição de futuro flexível que incentiva um espaço latente unificado e fisicamente fundamentado. Em vez de apenas prever ações, o modelo prevê:

• Ações futuras ($L_{act}$).
• Observações originais futuras (ex: frames de vídeo, $L_{obs}$).
• Valores futuros da nova modalidade introduzida ($L_{new}$, ex: sinais de F/T).

A perda total é uma soma ponderada: $L = \lambda_a L_{act} + \lambda_o L_{obs} + \lambda_{n+1} L_{new}$. Prever a nova modalidade força a representação a codificar dados sensoriais, enquanto prever imagens futuras ancora a representação à dinâmica visual compartilhada entre os conjuntos de dados.

3. Replay de Experiência

Para mitigar o esquecimento catastrófico durante o ajuste fino, o MuSe utiliza o replay de experiência. Lotes de treinamento são amostrados de uma mistura do novo conjunto de dados multissensorial ($D_{new}$) e do conjunto de dados de pré-treinamento original ($D_{pre}$).

• Para amostras de $D_{new}$, o modelo recebe entrada multissensorial completa e é supervisionado em todas as perdas de predição.
• Para amostras de $D_{pre}$, a nova modalidade está ausente. A entrada é substituída por um token de "máscara de modalidade" aprendido, e a perda para a nova modalidade ($L_{new}$) é mascarada, enquanto a supervisão para ações e observações originais é mantida.

Configuração Experimental e Resultados

Os autores avaliaram o MuSe em tarefas de manipulação no mundo real usando um backbone UVA pré-treinado em 1.271 episódios de 21 tarefas apenas de visão. O modelo foi então ajustado em 434 episódios de cinco tarefas ricas em contato com supervisão de F/T.

Principais Resultados

• Generalização Cross-Modal: O MuSe demonstrou a capacidade de prever sinais de F/T em tarefas de pré-treinamento onde o F/T foi registrado, mas nunca usado para supervisão. O MuSe alcançou o menor erro de predição L2 (8,42) comparado às ablações (ex: remover o replay de experiência aumentou o erro para 12,38).
• Transferência Direta (Forward Transfer): Nas tarefas de ajuste fino ricas em contato, o MuSe superou significativamente os baselines:
  • Limpeza de Vaso (Vase Wiping): 11,5/15 sucesso (MuSe) vs. 5/15 (Sem F/T) e 8/15 (Sem Pré-treino).
  • Inserção de Pino (Peg Insertion): 13/15 sucesso (MuSe) vs. 9/15 (Sem F/T) e 6/15 (Sem Pré-treino).
    O MuSe utilizou efetivamente o F/T para regular forças de contato e recuperar-se de travamentos, enquanto o baseline "Sem F/T" falhou devido à má regulação de contato.
• Transferência Indireta (Backward Transfer): O MuSe preservou ou melhorou o desempenho nas tarefas originais de pré-treinamento em comparação com o baseline apenas de visão:
  • Limpeza de Quadro Branco (Whiteboard Wiping): 12,5/15 (MuSe) vs. 8,5/15 (Apenas Pré-treino).
  • Inserção de Pino (Peg Insertion): 10/15 (MuSe) vs. 8/15 (Apenas Pré-treino).
    Crucialmente, o baseline "Sem Replay de Experiência" (No ER) sofreu esquecimento severo (ex: 0,5/15 na limpeza de quadro branco), destacando a necessidade do replay para reter habilidades visuais.

Significância e Alegações

O artigo afirma que o MuSe demonstra que um conjunto de dados multissensoriais modesto pode aumentar a capacidade geral do modelo além da distribuição de ajuste fino. Especificamente:

1. Generalizabilidade de F/T: O sensoriamento de força-torque, mesmo quando aprendido de dados limitados, pode ser previsto e explorado em uma ampla gama de tarefas, incluindo aquelas onde nunca foi explicitamente supervisionado.
2. Representação Aprimorada: O condicionamento em F/T permite um aprendizado de representação mais rico para comportamentos ricos em contato, enquanto a predição de F/T futuro fornece uma estimação do perfil de complacência necessário para interações precisas.
3. Implantação Prática: A abordagem permite que políticas robóticas sejam adaptadas post-hoc a novos sensores sem exigir pré-treinamento multissensorial em larga escala desde o início, abordando as restrições de hardware e escassez de dados no mundo real.

Os autores observam limitações, incluindo o foco em uma única expansão de sensor (F/T) e a dependência do acesso aos dados de pré-treinamento originais para o replay, sugerindo que trabalhos futuros devem explorar outras modalidades e métodos que não exijam o armazenamento de dados anteriores.