PLUME: Latent Reasoning Based Universal Multimodal Embedding

Probleemstelling

Universele Multimodale Embeddings (UME) hebben tot doel heterogene invoer (tekst, afbeeldingen, video's, visuele documenten) in te bedden in één gedeelde ruimte voor zoekopdrachten. Bestaande methoden kampen met twee hoofdproblemen:

1. Eenvoudige Single-Pass Methodes: Deze zijn efficiënt maar missen de mogelijkheid tot complexe, stap-voor-stap redenering, wat leidt tot slechtere prestaties bij queries die ruimtelijk begrip of kennisintensieve inferentie vereisen.
2. Expliciete Chain-of-Thought (CoT): Recentere methoden genereren eerst een lange tekstuele redenering (CoT) voordat ze de embedding extraheren. Hoewel dit de nauwkeurigheid verbetert, introduceert het twee ernstige knelpunten:
   • Rekenkundig: Het genereren van honderden tokens veroorzaakt hoge latentie en beperkt de doorvoer (inference throughput) aanzienlijk.
   • Representatief: Het comprimeren van rijke multimodale informatie in discrete tekstuele tokens creëert een "flesnek", waarbij fijne, continue details verloren gaan.

De kernvraag is: hoe kunnen we het redeneervermogen van Multimodale Large Language Models (MLLMs) benutten tijdens het vormen van embeddings, zonder de efficiëntie van het zoeken te offeren?

Methodologie: PLUME

PLUME (Progressive Latent Reasoning Framework) lost dit op door expliciete tekstuele redenering te vervangen door een kort, autoregressief traject van continue latente toestanden binnen het model.

De architectuur bestaat uit vier kerncomponenten:

1. Latente Rollout (Hidden-Space Reasoning):

   • In plaats van tokens te genereren, doorloopt het model een reeks $K$ stappen in de verborgen ruimte (hidden space).
   • De invoer wordt eerst gecodeerd tot een multimodale prefix. Vervolgens start een "latent block" (gemarkeerd met <slt> en <elt> tokens).
   • Tijdens deze $K$ stappen verwerkt het model continue vectoren in plaats van discrete tokens, waarbij het gebruikmaakt van de KV-cache van de prefix. Dit behoudt de sequentiële afhankelijkheid van redenering zonder de overhead van tekstgeneratie.

2. Semantisch-Anker-Gestuurde Transition Adapter:

   • Omdat multimodale queries (video vs. tekst vs. document) verschillende redeneerpatronen vereisen, gebruikt PLUME een Mixture-of-Experts (MoE)-achtige adapter tussen de latente stappen.
   • Een router selecteert dynamisch welke experts (MLP's) actief zijn, gebaseerd op een semantisch anker ($c(x)$) dat uit de invoer wordt gehaald. Dit anker fungeert als een stabiel globaal signaal dat de routering stabiliseert.
   • Dit zorgt ervoor dat dezelfde beperkte rekenbudget ($K$ stappen) adaptief wordt toegewezen aan verschillende query-structuren.

3. Progressieve Curriculum van Expliciet naar Latent:

   • Een directe overstap van expliciete CoT-training naar volledig latente uitvoering is instabiel. PLUME gebruikt een curriculum learning-strategie:
     • Fase 1: Het model traint met volledige expliciete CoT (tekstuele redenering) als "scaffold".
     • Fase 2: De expliciete redenering wordt geleidelijk (van links naar rechts) vervangen door latente blokken.
     • Fase 3: Het model traint volledig in de latente ruimte.
   • Hierdoor leert het model de redeneringsstructuur eerst via tekst en internaliseert deze vervolgens in de verborgen toestanden.

4. Training en Inference:

   • Training: Het model wordt getraind met een combinatie van taalmodelleringsverlies (voor de generatieve pad), InfoNCE-verlies (voor retrieval) en een balanceringsverlies voor de routering.
   • Inference: Er wordt geen expliciete tekst gegenereerd. De retrieval-embedding wordt direct geëxtraheerd uit de verborgen toestand na de laatste latente stap.

Kernbijdragen

1. Latente Redeneringsframework: PLUME internaliseert intermediaire redenering in een kort, continu proces, waardoor de voordelen van multi-stap redenering behouden blijven zonder de kosten van tekstgeneratie.
2. Adaptieve Architectuur: De semantisch-anker-gestuurde adapter zorgt ervoor dat het model verschillende redeneerpaden kan volgen voor verschillende modaliteiten (video, documenten, afbeeldingen) binnen hetzelfde rekenbudget.
3. Curriculum Learning: Een innovatieve trainingsstrategie die expliciete CoT gebruikt als tijdelijk hulpmiddel om de overgang naar latente redenering te stabiliseren.

Resultaten

De methoden zijn geëvalueerd op het MMEB-v2 benchmark (78 taken, inclusief video en visuele documenten).

• Prestaties: PLUME presteert beter dan sterke baselines met expliciete CoT (zoals UME-R1) en single-pass methoden (zoals VLM2Vec-V2).
  • Gemiddelde verbetering: +1.5 punten ten opzichte van UME-R1 en +3.6 punten ten opzichte van de beste single-pass methode.
  • Vooral sterke winst bij Video (+9.2 punten t.o.v. VLM2Vec-V2) en Visuele Documenten, waar continue redenering cruciaal is voor tijdsdynamiek en complexe lay-outs.
• Efficiëntie:
  • PLUME reduceert de redenering van gemiddeld 403 gegenereerde tokens (UME-R1) naar slechts 8 latente stappen.
  • Snelheid: Dit resulteert in een 30x snellere inferentie (298 ms vs. 9023 ms per sample op een H20 GPU).
  • PLUME bevindt zich op de Pareto-grens: het biedt de hoogste nauwkeurigheid bij een zeer lage latentie.

Betekenis en Impact

PLUME demonstreert dat voor retrieval-systemen intermediaire berekening belangrijker is dan geverbaliseerde intermediaire tekst. Door redenering te "internaliseren" in de verborgen ruimte van het model, kunnen systemen complexe queries verwerken met de snelheid van traditionele embeddings, maar met de intelligentie van reasoning-modellen.

Dit is een doorbraak voor praktische toepassingen zoals videozoekopdrachten en het doorzoeken van visuele documenten, waar de informatie te complex en dicht opeengepakt is om efficiënt in tekstuele tussenstappen te organiseren. PLUME biedt een schaalbaar paradigma voor de volgende generatie multimodale zoeksystemen.