Technische Samenvatting: Splash – Mask-Isolated Tactile Alignment Learning in MLLMs

1. Probleemstelling

Multimodale Large Language Models (MLLMs) worden steeds vaker gebruikt voor belichaamde robotica (embodied robotics), waarbij het begrijpen van fysieke eigenschappen zoals wrijving en compliantie cruciaal is. Het uitrusten van compacte MLLMs (sMLLMs, bijv. ≤3B parameters) met tactiele redeneervaardigheden vormt echter een aanzienlijke uitdaging: catastrofale vergetelheid (catastrophic forgetting).

Bestaande benaderingen die tactiele modaliteiten integreren, vereisen vaak het bijwerken van het volledige model of grote deelverzamelingen van parameters. In hulpbronnenbeperkte sMLLMs kan deze optimalisatie voor tactiele signalen de vooraf getrainde visuele-talige (VL) kenmerken verstoren, waardoor het model zijn algemene redeneervermogen verliest. Zoals in het artikel wordt aangetoond, kan zelfs een kleine hoeveelheid tactiele trainingsdata de VL-prestaties verslechteren, wat een zero-sum trade-off creëert tussen het verwerven van nieuwe sensorische modaliteiten en het behoud van gevestigde redeneercapaciteiten.

2. Methodologie: Het Splash-framework

De auteurs stellen Splash voor, een mask-isolated tactile alignment framework ontworpen om tactiele waarneming te integreren in sMLLMs zonder extra inferentie-overhead of catastrofale vergetelheid. De kernfilosofie is om alle tactiele adaptatie te beperken tot een "dormant" (minder belangrijke) parametersubruimte, terwijl "kritieke" parameters bevroren blijven.

2.1 Het lokaliseren van de Dormant Subruimte

Splash maakt gebruik van de hypothese van natuurlijke schaarste in vooraf getrainde modellen, waarbij slechts een deelset van parameters cruciaal is voor het behoud van de functie.

• Belangrijkheidsmetriek: Met behulp van een kleine kalibratieset van vision-language data (bijv. CC12M) berekent de methode een visueel-relatieve belangrijkheidsscore ($S_{i,j}$) voor elke gewicht in de lineaire lagen van de LLM. De score wordt gedefinieerd als het product van de gewichtsmagnitudo en de $\ell_2$-norm van de bijbehorende input-activatie:
  $$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$$
• Mask Generatie: Op basis van een sparsity ratio ($s\%$) wordt een binaire mask ($\mathbf{M}$) gegenereerd. Parameters met scores onder een drempelwaarde worden gemarkeerd als "dormant" (trainbaar), terwijl parameters boven de drempelwaarde "kritiek" (bevroren) zijn.
• Stabiliteitsbeperkingen: De eerste en laatste transformer blocks worden uitgesloten van masking om input-grounding en hoogwaardige semantische representaties te behouden, wat zorgt voor trainingsstabiliteit.

2.2 Mask-Isolated Tactile Alignment

In tegenstelling tot eerdere twee-fasen benaderingen (het eerst alignen van encoders en daarna het fine-tunen van de LLM), gebruikt Splash een unified, single-stage training proces.

• Architectuur: Het model bestaat uit een bevroren visuele front-end, een trainbare tactiele front-end (een ViT-Tiny geïnitialiseerd vanaf ImageNet), en de LLM-backbone.
• Trainingsdoel: Het model minimaliseert de cross-entropy loss voor het genereren van tactiele beschrijvingen gegeven RGB-beelden, contactbeelden en tekstprompts.
• Parameterupdates:
  • Kritieke Parameters: Bevroren ($\nabla \mathcal{L} = 0$). Deze fungeren als stabiele ankers voor de vooraf getrainde VL-manifold.
  • Dormant Parameters: Bijgewerkt via gradiëntafdaling met de mask ($\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$).
  • Tactile Front-end: Volledig trainbaar.
• Mechanisme: Door updates strikt te isoleren tot de dormant subruimte, voorkomt Splash de verstoring van de gehele parameter-manifold, waardoor catastrofale vergetelheid effectief wordt vermeden zonder externe modules zoals adapters (bijv. LoRA) toe te voegen die inferentie-latentie introduceren.

3. Belangrijkste Bijdragen

1. Splash Framework: Een nieuwe parameter-geïsoleerde adaptatiemethode die tactiele waarneming integreert in sMLLMs met nul extra inferentie-overhead, waarbij de visuele gerelateerde catastrofale vergetelheid wordt beperkt.
2. Unified Training: Een single-stage trainingsschema dat gelijktijdig de tactiele front-end en de dormant LLM-subruimte optimaliseert, waardoor de noodzaak voor multi-stage alignment procedures wordt geëlimineerd.
3. Prestatiebehoud: Gedemonstreerde bekwaamheid om state-of-the-art (SOTA) tactiele redenering te bereiken op kleinschalige modellen (1B en 3B) terwijl de oorspronkelijke algemene VL-capaciteiten van de modellen behouden blijven.

4. Experimentele Resultaten

De auteurs hebben Splash geëvalueerd op drie Visuo-Tactile-Language (VTL) benchmarks (SSVTP, TVL, TacQuad) en vijf algemene Vision-Language (VL) benchmarks (MMMU, MathVista, MME, MMBench).

• Tactiele Redenering (VTL Benchmarks):

  • Splash-3B (gebaseerd op Qwen2.5-VL-3B) behaalde een gemiddelde score van 4.91, waarmee het de sterkste baseline, TVL-LLaMA (7B backbone), die een score van 4.31 behaalde, overtrof.
  • Splash-1B (gebaseerd op InternVL2.5-1B) behaalde een gemiddelde van 5.01, waarmee het UniTouch (7B backbone, 3.74) en TVL-Qwen (4.50) versloeg.
  • Splash demonstreerde superieure robuustheid onder distributieverschuivingen (bijv. TacQuad), waar andere methoden zoals (IA)3 significante prestatiedalingen leden.

• Capaciteitsbehoud (VL Benchmarks):

  • Splash-3B behield of verbeterde de prestaties op algemene VL-taken vergeleken met de zero-shot baseline en andere aangepaste modellen. Het verbeterde bijvoorbeeld MMMUval van 50.0 (TVL-Qwen) naar 55.3 en MathVista van 52.8 naar 65.3.
  • In tegenstelling hiertoe faalden methoden zoals (IA)3, die VL-capaciteiten behielden, vaak in het effectief leren van tactiele dynamiek (under-fitting), terwijl full fine-tuning of LoRA vaak de VL-prestaties verslechterde.

• Ablatie-studies:

  • Sparsity Ratio: Een sparsity ratio van 60% (60% van de parameters bevroren) bood de optimale balans tussen tactiel leren en VL-behoud. 100% sparsity (full tuning) veroorzaakte catastrofale vergetelheid, terwijl een zeer lage sparsity het tactiele leren beperkte.
  • Kalibratiedata: De methode bleek robuust tegen de keuze van de kalibratiedataset en presteerde goed, zelfs met ongepaarde ruisdata, wat suggereert dat het intrinsieke architecturale redundanties vangt in plaats van te overfitten op specifieke semantische alignments.

5. Betekenis en Claims

Het artikel beweert dat Splash een praktisch pad biedt naar hoogwaardige tactiele intelligentie voor hulpbronnenbeperkte edge-robots. Door onderbenutte "dormant" gewichten te identificeren en te reactiveren, stelt het framework compacte modellen in staat om complexe contactdynamiek te internaliseren zonder hun fundamentele redeneervermogen op te offeren.

De auteurs benadrukken dat Splash niet-destructieve modaliteitsexpansie bereikt. In tegenstelling tot additieve parameter-efficient fine-tuning (PEFT) methoden die de gehele parameterruimte kunnen verstoren, zorgt de structurele isolatie van Splash ervoor dat de vooraf getrainde VL-redeneringspaden fundamenteel onaangetast blijven. Dit maakt de implementatie van geavanceerde visuo-tactiele redenering op kleine modellen (≤3B) mogelijk die geschikt zijn voor real-world robotic edge deployment, waarbij de computationele knelpunten van grotere 7B+ modellen worden overwonnen.