Technische Samenvatting: Mixture of Probes (MoP) voor Geprivilegieerde Modaliteiten in MLLM's

1. Probleemformulering: De Geprivilegieerde Modaliteit-setting

Multimodale Large Language Models (MLLM's) zijn doorgaans ontworpen onder de aanname dat alle modaliteiten die tijdens de training beschikbaar zijn (bijv. video, diepte, audio), ook tijdens de inferentie toegankelijk zullen zijn. De realiteit van de praktijk schendt deze aanname echter vaak. Een model kan getraind zijn met rijke hulpstromen (geprivilegieerde modaliteiten), maar moet tijdens de testfase opereren met slechts één enkele, goedkopere of meer betrouwbare modaliteit. Dit scenario wordt gedefinieerd als de geprivilegieerde modaliteit-setting.

Bestaande MLLM's hebben moeite met deze setting omdat ze modaliteiten primair behandelen als uitwisselbare inputs die gealigneerd moeten worden in een gedeelde representatieruimte. Ze slagen er niet in om effectief gebruik te maken van hulpmodaliteiten die alleen tijdens de training beschikbaar zijn om de prestaties op de doelmodaliteit tijdens de inferentie te verbeteren. De auteurs identificeren twee belangrijke beperkingen in huidige benaderingen:

1. Suboptimale modaliteitsrepresentaties: Nieuwe modaliteiten worden vaak geïntegreerd via gedeelde encoders met beperkte adaptatie in de laatste lagen, waarbij de tussenliggende kenmerken die laag-niveau, modaliteit-specifieke signalen vastleggen, worden verwaarloosd.
2. Ongestructureerde cross-modale representaties: Bestaande methoden missen expliciete mechanismen om modaliteit-generieke informatie (overdraagbaar tussen modaliteiten) te onderscheiden van modaliteit-specifieke informatie, wat effectieve kennisoverdracht belemmert.

2. Methodologie: Mixture of Probes (MoP)

Om deze beperkingen aan te pakken, stellen de auteurs Mixture of Probes (MoP) voor, een framework dat ontworpen is om modaliteit-specifieke en modaliteit-generieke signalen binnen een MLLM te ontwarren. De kernintuïtie, geïnspireerd door de neurowetenschap en de Modality Focusing Hypothesis, is dat effectieve cross-modale transfer vereist dat unieke modaliteitsstructuren behouden blijven terwijl gedeelde abstracties worden geïsoleerd.

2.1 Architectuur

MoP breidt een standaard uniforme MLLM-architectuur (bestaande uit modaliteit-specifieke tokenizers, een universele modaliteitsencoder, een connector en een LLM) uit met een gestructureerd probing-mechanisme:

• Universele Modaliteitsencoder: Een gedeelde Transformer-encoder verwerkt getokeniseerde inputs van alle modaliteiten naar een gemeenschappelijke latente ruimte.
• Leerbare Probes: In plaats van uitsluitend te vertrouwen op de laatste encoder-laag, introduceert MoP twee families van leerbare tokens (probes) die interageren met de tussenliggende representaties van de encoder:
  • Modaliteit-specifieke Probes ($P^m_s$): Een set probes die alleen geconditioneerd is op een specifieke modaliteit $m$. Deze leggen signalen vast die uniek zijn voor die modaliteit.
  • Modaliteit-generieke Probes ($P_g$): Een gedeelde set probes die geconditioneerd is op alle modaliteiten. Deze leggen structurele informatie vast die gemeenschappelijk is over de modaliteiten heen.
• Laag-gewijze Interactie: Beide probe-sets worden op elke laag $l$ van de encoder bijgewerkt via cross-attention met de verborgen toestanden ($H^m_l$) van de encoder. De probes fungeren als queries die saillante cues extraheren uit de tussenliggende representaties die verloren kunnen gaan in de laatste laag.
• Integratie: Na de laatste encoder-laag worden de probe-tokens geprojecteerd in de embedding-ruimte van de LLM en geconcateneerd met de standaard modaliteit-tokens voordat ze naar de LLM worden gevoed.

2.2 MoP Cross-modale Training (MoP-X)

Om ervoor te zorgen dat de probes onderscheidende representaties leren en cross-modale transfer vergemakkelijken, introduceren de auteurs een specifieke trainingsstrategie:

1. Probe Ontwarringsverlies ($\mathcal{L}_{dis}$): Een verliesfunctie die expliciet de gelijkenis tussen modaliteit-specifieke en modaliteit-generieke probes bestraft, evenals tussen verschillende modaliteit-specifieke probes. Dit voorkomt "probe collapse" (waarbij probes convergeren naar identieke representaties) en moedigt het model aan om orthogonale, gespecialiseerde kenmerken te leren.
2. Modaliteit-geïntreepte Batching: In tegenstelling tot methoden die modaliteiten sequentieel of in isolatie trainen, construeert MoP-X mini-batches door gelijktijdig voorbeelden uit meerdere modaliteiten te samplen. Dit zorgt ervoor dat gedeelde componenten (zoals de modaliteit-generieke probes) binnen een enkele optimalisatiestap worden blootgesteld aan heterogene signalen, wat indirecte cross-modale interactie faciliteert.

Het totale trainingsdoel combineert de standaard autoregressieve taalmodellering-loss ($\mathcal{L}_{AR}$) met de ontwarringsverlies ($\mathcal{L}_{dis}$):
$$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$$

3. Experimentele Evaluatie

De auteurs evalueren MoP over twee domeinen, acht taken en vier modaliteiten onder een rigoureus protocol waarbij elke modaliteit als de enige input tijdens de inferentie wordt behandeld.

3.1 Domeinen en Benchmarks

• Activiteiten van het Dagelijks Leven (ADL): Geëvalueerd op de Ego-in-Exo Perception benchmark. De training maakt gebruik van egocentrische video, exocentrische video en diepte. De inferentie wordt afzonderlijk getest op de egocentrische, exocentische en diepte-modaliteiten.
• Muziekbegrip: Geëvalueerd op Music-AVQA. De training maakt gebruik van gekoppelde audio-visuele data. De inferentie wordt afzonderlijk getest op de audio- en videomodaliteiten.

3.2 Baselines

MoP wordt vergeleken met:

• Unimodale MLLM: Getraind op enkel de doelmodaliteit voor de inferentie.
• Naive MLLM: Gezamenlijk getraind op alle modaliteiten zonder gestructureerde cross-modale mechanismen.
• State-of-the-Art MLLM's: Inclusief X-InstructBLIP en OneLLM, die zich richten op multimodale alignment.

3.3 Belangrijkste Resultaten

• Superieure Prestaties: MoP presteert consistent beter dan alle baselines over alle inferentie-modaliteiten heen. In het ADL-domein bereikt het tot wel 65% relatieve verbetering ten opzien van sterke baselines in specifieke settings (bijv. diepte-inferentie).
• Effectieve Geprivilegieerde Learning: In tegen tegenstelling tot de Naive MLLM, die vaak faalt om de unimodale baselines te verbeteren wanneer deze op meerdere modaliteiten is getraind, slaagt MoP erin om hulpmodaliteiten te benutten om de single-modality prestaties te verhogen.
• Ablatie-studies:
  • Type Probes: Het verwijderen van ofwel de modaliteit-specifieke of de modaliteit-generieke probes verslechtert de prestaties, wat de noodzaak van beide bevestigt.
  • Ontwarringsverlies: De loss is cruciaal; zonder deze daalt de variantie van de probes en nemen de prestaties significant af.
  • Probing Diepte: Probing op elke encoder-laag levert de beste resultaten op, wat wijst op het voordeel van het extraheren van signalen door de volledige diepte van het model.
  • Data Schaling: MoP vertoont consistente prestatiewinsten naarmate de trainingsdata schaalt, terwijl Naive MLLM's een afnemend rendement laten zien.

4. Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

1. Formalisering van de Geprivilegieerde Modaliteit-setting: De auteurs formaliseren het scenario waarin hulpmodaliteiten de training verrijken maar afwezig zijn tijdens de inferentie, en tonen aan dat standaard multimodale training faalt om deze asymmetrie te exploiteren.
2. Mixture of Probes (MoP): Een nieuwe architectuur die ontwarre de representaties leert door middel van gestructureerde probing over de diepte van een universele encoder, waarbij modaliteit-specifieke signalen worden gescheiden van modaliteit-generieke abstracties.
3. MoP Cross-modale Training (MoP-X): Een trainingsstrategie met een probe-ontwarringsverlies en geïntreepte batching om representatiescheiding af te dwingen en cross-modale interactie te bevorderen.
4. Empirische Validatie: Uitgebreide evaluatie die aantoont dat hulpmodaliteiten, wanneer ze correct via MoP worden benut, de prestaties van single-modality inferentie aanzienlijk kunnen verbeteren, waarbij ze zowel unimodale modellen als bestaande multimodale alignment-methoden overtreffen.

Betekenis: Dit werk daagt het heersende paradigma uit dat modaliteiten louter behandelt als uitwisselbare inputs voor alignment. In plaats daarvan stelt het dat de sleutel tot het benutten van geprivilegieerde informatie ligt in het expliciet structureren van het model om te scheiden wat uniek is voor een modaliteit van wat gedeeld wordt. Dit stelt MLLM's in staat om te "leren van" rijke, tijdens de inferentie niet beschikbare data om robuuster en capabeler te worden in beperkte, single-modality deployment scenario's.

Beperkingen: De auteurs merken op dat MoP momenteel een universele modaliteitsencoder veronderstelt en niet direct uitbreidbaar is naar heterogene, modaliteit-specifieke encoders. Bovendien richt het onderzoek zich strikt op de single-modality inferentie-setting, waardoor multi-modale inferentie-scenario's aan toekomstig onderzoek worden overgelaten.