Résumé technique : Splash – Apprentissage de l'alignement tactile par isolation de masque dans les MLLM

1. Énoncé du problème

Les modèles de langage multimodaux (MLLM) sont de plus en plus utilisés pour la robotique incarnée, où la compréhension des propriétés physiques comme la friction et la compliance est cruciale. Cependant, doter les MLLM compacts (sMLLM, par exemple $\le$ 3 milliards de paramètres) de capacités de raisonnement tactile présente un défi majeur : l'oubli catastrophique.

Les approches existantes qui intègrent les modalités tactiles nécessitent souvent de mettre à jour l'ensemble du modèle ou de larges sous-ensembles de paramètres. Dans le cas des sMLLM aux ressources limitées, cette optimisation pour les signaux tactiles déforme les caractéristiques visuelles-linguistiques (VL) préentraînées, provoquant la perte des capacités de raisonnement généraliste du modèle. Comme le démontre l'article, même de petites quantités de données d'entraînement tactile peuvent dégrader les performances VL, créant un compromis à somme nulle entre l'acquisition de nouvelles modalités sensorielles et la préservation des capacités de raisonnement établies.

2. Méthodologie : Le cadre Splash

Les auteurs proposent Splash, un cadre d'alignement tactile par isolation de masque conçu pour intégrer la détection tactile dans les sMLLM sans surcoût d'inférence supplémentaire ni oubli catastrophique. La philosophie centrale consiste à confiner toute l'adaptation tactile à un sous-espace de paramètres « dormants » (moins importants) tout en gardant les paramètres « critiques » gelés.

2.1 Localisation du sous-espace dormant

Splash s'appuie sur l'hypothèse de la parcimonie naturelle dans les modèles préentraînés, où seul un sous-ensemble de paramètres est critique pour le maintien des fonctions.

• Métrique d'importance : En utilisant un petit ensemble de calibration issu de données vision-langage (par exemple, CC12M), la méthode calcule un score d'importance relatif à la vision ($S_{i,j}$) pour chaque poids des couches linéaires du LLM. Le score est défini par le produit de la magnitude du poids et de la norme $\ell_2$ de l'activation d'entrée correspondante :
  $$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$$
• Génération de masque : Sur la base d'un ratio de parcimonie ($s\%$), un masque binaire ($\mathbf{M}$) est généré. Les paramètres dont les scores sont inférieurs à un seuil sont marqués comme « dormants » (entraînables), tandis que ceux supérieurs sont « critiques » (gelés).
• Contraintes de stabilité : Le premier et le dernier bloc transformer sont exclus du masquage pour préserver l'ancrage des entrées et les représentations sémantiques de haut niveau, garantissant ainsi la stabilité de l'entraînement.

2.2 Alignement tactile par isolation de masque

Contrairement aux approches précédentes en deux étapes (alignement des encodeurs d'abord, puis ajustement fin du LLM), Splash emploie un processus d'entraînement unifié en une seule étape.

• Architecture : Le modèle se compose d'une partie frontale visuelle gelée, d'une partie frontale tactile entraînable (un ViT-Tiny initialisé à partir d'ImageNet) et du squelette (backbone) LLM.
• Objectif d'entraînement : Le modèle minimise la perte de cross-entropie pour la génération de descriptions tactiles à partir d'images RGB, d'images de contact et de prompts textuels.
• Mises à jour de paramètres :
  • Paramètres Critiques : Gelés ($\nabla \mathcal{L} = 0$). Ils agissent comme des ancres stables pour la variété (manifold) VL préentraînée.
  • Paramètres Dormants : Mis à jour via la descente de gradient en utilisant le masque ($\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$).
  • Front-end Tactile : Entièrement entraînable.
• Mécanisme : En isolant strictement les mises à jour au sous-espace dormant, Splash empêche la perturbation de l'ensemble de la variété des paramètres, évitant efficacement l'oubli catastrophique sans introduire de modules externes comme des adaptateurs (ex: LoRA) qui ajouteraient une latence d'inférence.

3. Contributions clés

1. Cadre Splash : Une nouvelle méthode d'adaptation par isolation de paramètres qui intègre la détection tactile dans les sMLLM avec un surcoût d'inférence nul, atténuant l'oubli catastrophique lié à la vision.
2. Entraînement Unifié : Un schéma d'entraînement en une seule étape qui optimise simultanément le front-end tactile et le sous-espace dormant du LLM, éliminant le besoin de procédures d'alignement multi-étapes.
3. Préservation des Capacités : Capacité démontrée à atteindre un état de l'art (SOTA) en raisonnement tactile sur des modèles à petite échelle (1B et 3B) tout en préservant les capacités VL généralistes originales des modèles.

4. Résultats expérimentaux

Les auteurs ont évalué Splash sur trois benchmarks Visuo-Tactile-Language (VTL) (SSVTP, TVL, TacQuad) et cinq benchmarks Vision-Language (VL) généralistes (MMMU, MathVista, MME, MMBench).

• Raisonnement Tactile (Benchmarks VTL) :

  • Splash-3B (basé sur Qwen2.5-VL-3B) a obtenu un score moyen de 4,91, surpassant le meilleur baseline, TVL-LLaMA (backbone 7B), qui a obtenu 4,31.
  • Splash-1B (basé sur InternVL2.5-1B) a atteint une moyenne de 5,01, dépassant UniTouch (backbone 7B, 3,74) et TVL-Qwen (4,50).
  • Splash a démontré une robustesse supérieure lors des changements de distribution (ex: TacQuad), là où d'autres méthodes comme (IA)3 subissent des chutes de performance significatives.

• Préservation des Capacités (Benchmarks VL) :

  • Splash-3B a maintenu ou amélioré ses performances sur les tâches VL générales par rapport à son baseline zero-shot et aux autres modèles adaptés. Par exemple, il a amélioré MMMUval de 50,0 (TVL-Qwen) à 55,3 et MathVista de 52,8 à 65,3.
  • En revanche, les méthodes comme (IA)3 qui préservent la capacité VL échouent souvent à apprendre efficacement la dynamique tactile (sous-apprentissage), tandis que le fine-tuning complet ou LoRA dégradent souvent les performances VL.

• Études d'Ablation :

  • Ratio de Parcimonie : Un ratio de parcimonie de 60 % (60 % des paramètres gelés) a fourni le compromis optimal entre l'apprentissage tactile et la préservation VL. Une parcimonie de 100 % (ajustement complet) a causé un oubli catastrophique, tandis qu'une très faible parcimonie a limité l'apprentissage tactile.
  • Données de Calibration : La méthode s'est révélée robuste au choix du jeu de données de calibration, performant même avec des données de bruit non appariées, ce qui suggère qu'elle capture les redondances architecturales intrinsèques plutôt que de sur-apprendre des alignements sémantiques spécifiques.

5. Signification et Revendications

L'article affirme que Splash offre une voie pratique vers une intelligence tactile de haut niveau pour les robots de bord aux ressources contraintes. En identifiant et en réactivant des poids « dormants » sous-utilisés, le cadre permet aux modèles compacts d'internaliser des dynamiques de contact complexes sans sacrifier leurs capacités de raisonnement fondamentales.

Les auteurs soulignent que Splash réalise une expansion de modalité non destructive. Contraque les méthodes de fine-tuning efficace en paramètres (PEFT) additives qui peuvent perturber l'ensemble de l'espace des paramètres, l'isolation structurelle de Splash garantit que les voies de raisonnement VL préentraînées restent fondamentalement intactes. Cela permet le déploiement d'un raisonnement visuo-tactile sophistiqué sur de petits modèles ($\le$ 3B) adaptés au déploiement robotique réel en périphérie (edge), surmontant les goulots d'étranglement computationnels des modèles plus larges de 7B+.