Resumo Técnico: Splash – Aprendizado de Alinhamento Tátil com Máscara Isolada em MLLMs

1. Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são cada vez mais utilizados para robótica incorporada, onde a compreensão de propriedades físicas como fricção e complacência é crucial. No entanto, equipar MLLMs compactos (sMLLMs, por exemplo, ≤3B de parâmetros) com capacidades de raciocínio tátil apresenta um desafio significativo: o esquecimento catastrófico.

Abordagens existentes que integram modalidades táteis frequentemente exigem a atualização de todo o modelo ou de grandes subconjuntos de parâmetros. Em sMLLMs com recursos limitados, essa otimização para sinais táteis distorce as características visuais-linguísticas (VL) pré-treinadas, fazendo com que o modelo perca suas habilidades de raciocínio de propósito geral. Conforme demonstrado no artigo, mesmo pequenas quantidades de dados de treinamento tátil podem degradar o desempenho VL, criando um compromisso de soma zero entre a aquisição de novas modalidades sensoriais e a preservação das capacidades de raciocínio estabelecidas.

2. Metodologia: O Framework Splash

Os autores propõem o Splash, um framework de alinhamento tátil com máscara isolada projetado para integrar a sensação tátil em sMLLMs sem sobrecarga adicional de inferência ou esquecimento catastrófico. A filosofia central é confinar toda a adaptação tátil a um subespaço de parâmetros "dormentes" (menos importantes), mantendo os parâmetros "críticos" congelados.

2.1 Localizando o Subespaço Dormente

O Splash aproveita a hipótesagem de esparsidade natural em modelos pré-treinados, onde apenas um subconjunto de parâmetros é crítico para manter a função.

• Métrica de Importância: Usando um pequeno conjunto de calibração de dados visão-linguagem (por exemplo, CC12M), o método calcula uma pontuação de importância relativa à visão ($S_{i,j}$) para cada peso nas camadas lineares do LLM. A pontuação é definida como o produto da magnitude do peso e da norma $\ell_2$ da ativação de entrada correspondente:
  $$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$$
• Geração de Máscara: Com base em uma razão de esparsidade ($s\%$), uma máscara binária ($\mathbf{M}$) é gerada. Parâmetros com pontuações abaixo de um limiar são marcados como "dormentes" (treináveis), enquanto aqueles acima são "críticos" (congelados).
• Restrições de Estabilidade: O primeiro e o último blocos do transformer são excluídos da máscara para preservar o aterramento visual e as representações semânticas de alto nível, garantindo a estabilidade do treinamento.

2.2 Alinhamento Tátil com Máscara Isolada

Ao contrário das abordagens de duas etapas anteriores (alinhar codificadores primeiro, depois realizar o ajuste fino do LLM), o Splash emprega um processo de treinamento unificado de etapa única.

• Arquitetura: O modelo consiste em um front-end visual congelado, um front-end tátil treinável (um ViT-Tiny inicializado a partir do ImageNet) e o backbone do LLM.
• Objetivo de Treinamento: O modelo minimiza a perda de entropia cruzada para gerar descrições táteis dados imagens RGB, imagens de contato e prompts de texto.
• Atualizações de Parâmetros:
  • Parâmetros Críticos: Congelados ($\nabla \mathcal{L} = 0$). Estes atuam como âncoras estáveis para o manifold VL pré-treinado.
  • Parâmetros Dormentes: Atualizados via gradiente descendente usando a máscara ($\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$).
  • Front-end Tátil: Totalmente treinável.
• Mecanismo: Ao isolar estritamente as atualizações ao subespaço dormente, o Splash evita a perturbação de todo o manifold de parâmetros, evitando efetivamente o esquecimento catastrófico sem introduzir módulos externos como adaptadores (ex: LoRA) que adicionam latência de inferência.

3. Principais Contribuições

1. Framework Splash: Um novo método de adaptação de parâmetros isolados que integra a sensação tátil em sMLLMs com zero sobrecarga de inferência adicional, mitigando o esquecimento catastrófico relacionado à visão.
2. Treinamento Unificado: Um esquema de treinamento de etapa única que otimiza simultaneamente o front-end tátil e o subespaço dormente do LLM, eliminando a necessidade de procedimentos de alinhamento de múltiplas etapas.
3. Preservação de Capacidade: Demonstrou capacidade de alcançar o estado da arte (SOTA) em raciocínio tátil em modelos de pequena escala (1B e 3B) enquanto preserva as capacidades originais de VL de propósito geral dos modelos.

4. Resultados Experimentais

Os autores avaliaram o Splash em três benchmarks Visuo-Táctil-Linguagem (VTL) (SSVTP, TVL, TacQuad) e cinco benchmarks de Visão-Linguagem (VL) de propósito geral (MMMU, MathVista, MME, MMBench).

• Raciocínio Tátil (Benchmarks VTL):

  • O Splash-3B (baseado em Qwen2.5-VL-3B) alcançou uma pontuação média de 4,91, superando o baseline mais forte, TVL-LLaMA (backbone 7B), que obteve 4,31.
  • O Splash-1B (baseado em InternVL2.5-1B) alcançou uma média de 5,01, superando o UniTouch (backbone 7B, 3,74) e o TVL-Qwen (4,50).
  • O Splash demonstrou robustez superior sob mudanças de distribuição (ex: TacQuad), onde outros métodos como (IA)3 sofreram quedas significativas de desempenho.

• Preservação de Capacidade (Benchmarks VL):

  • O Splash-3B manteve ou melhorou o desempenho em tarefas VL gerais em comparação com seu baseline zero-shot e outros modelos adaptados. Por exemplo, ele melhorou o MMMUval de 50,0 (TVL-Qwen) para 55,3 e o MathVista de 52,8 para 65,3.
  • Em contraste, métodos como (IA)3 que preservaram a habilidade VL frequentemente falharam em aprender dinâmicas táteis de forma eficaz (subajuste), enquanto o ajuste fino total ou LoRA frequentemente degradaram o desempenho VL.

• Estudos de Ablação:

  • Razão de Esparsidade: Uma razão de esparsidade de 60% (60% dos parâmetros congelados) forneceu o equilíbrio ideal entre aprendizado tátil e preservação VL. A esparsidade de 100% (ajuste total) causou esquecimento catastrófico, enquanto uma esparsidade muito baixa limitou o aprendizado tátil.
  • Dados de Calibração: O método provou ser robusto à escolha do conjunto de dados de calibração, apresentando bom desempenho mesmo com dados de ruído não pareados, sugerindo que captura redundâncias arquiteturais intrínsecas em vez de sofrer overfitting a alinhamentos semânticos específicos.

5. Significância e Alegações

O artigo afirma que o Splash oferece um caminho prático para a inteligência tátil de alto nível para robôs de borda com recursos limitados. Ao identificar e reativar pesos "dormentes" subutilizados, o framework permite que modelos compactos internalizem dinâmicas de contato complexas sem sacrificar suas habilidades de raciocínio fundamentais.

Os autores enfatizam que o Splash alcança uma expansão de modalidade não destrutiva. Ao contrário dos métodos de ajuste fino eficiente em parâmetros (PEFT) aditivos que podem perturbar todo o espaço de parâmetros, o isolamento estrutural do Splash garante que os caminhos de raciocínio VL pré-treinados permaneçam fundamentalmente intocados. Isso permite a implantação de raciocínio visuo-tátil sofisticado em modelos pequenos (≤3B) que são adequados para implantação em borda robótica do mundo real, superando os gargalos computacionais de modelos maiores de 7B+.