Technische Samenvatting: Eén Token per Multimodale Bewijslast: Latente Geheugen voor Middelenbeperkte QA

Probleemstelling

Grote taalmodellen (LLM's) en visuele-taalmodellen (VLM's) vertrouwen op extern geheugen om hun output te funderen in relevante multimodale bewijslast voor taken zoals Question Answering (QA). De heersende geheugenparadigma is echter computationeel duur en intensief qua opslag. Bestaande Retrieval-Augmented Generation (RAG)-systemen halen ruwe tekst en afbeeldingen op en sturen deze ongecomprimeerd naar de generator. Deze aanpak leidt tot aanzienlijk tokenverbruik en latentie, met name voor multimodale bewijslast waarbij een enkele afbeelding tijdens de generatie kan uitbreiden naar honderden visuele tokens. Deze kosten belemmeren de implementatie van geheugenversterkte systemen in omgevingen met beperkte middelen, zoals edge-apparaten en online assistenten, waar opslag en latentie kritieke beperkingen zijn.

Methodologie: Latente Geheugen

Het artikel stelt Latente Geheugen voor, een paradigma dat ruwe multimodale bewijslast-items vervangt door compacte, hoogdimensionale latente tokens. Het kernidee is om elk eenheid van bewijslast (tekst of afbeelding) te comprimeren tot een enkel latent token dat een dubbel doel dient: retrieval en generatie.

Architectuur en Pipeline

1. Geheugencompressie: Een kleine, trainbare compressor LLM/VLM ($\theta$) codeert elk bewijslast-item $x_i$ naar een enkel latent token $z_i$. Dit wordt bereikt door een leerbaar [MEM] token aan de input toe te voegen en de uiteindelijke verborgen status (hidden state) te extraheren.
2. Verenigde Retrieval-ruimte: De latente tokens worden via een MLP geprojecteerd naar een lager-dimensionale retrieval-ruimte. Op het moment van de query wordt de vraag in dezelfde ruimte ingebed, en relevante latente tokens worden opgehaald via gelijkeniszoekopdrachten (bijv. inwendig product).
3. Latent-geconditioneerde Generatie: De opgehaalde latente tokens worden via een leerbare projector geprojecteerd naar de verborgen dimensie van een bevroren grote LLM/VLM generator ($\phi$). De generator produceert het antwoord op basis van deze latente tokens, waardoor de noodzaak om ruwe bewijslast of uitgebreide visuele tokens te verwerken, wordt omzeild.
4. Optionele Reconstructie: Om de interpreteerbaarheid te behouden, kan een decoder de oorspronkelijke tekst of afbeelding-captions reconstrueren vanuit de latente tokens, hoewel dit niet vereist is voor generatie.

Trainingsdoelstellingen

De compressor en de bijbehorende projectoren worden end-to-end getraind met behulp van een verenigde verliesfunctie die drie doelstellingen combineert:

• Reconstructieverlies ($L_{Recon}$): Zorgt ervoor dat het latente token voldoende informatie behoudt om de oorspronkelijke tekst of afbeelding-embedding te reconstrueren (met een teacher-forcing benadering voor tekst en CLIP-embedding voorspelling voor afbeeldingen).
• Contrastief Retrieval-verlies ($L_{Contrast}$): Lijn de query-embedding uit met de ondersteunende positieve latente bewijslast en duwt deze weg van negatieve bewijslast, waardoor een verenigde retrieval-ruimte voor gemengde modaliteiten ontstaat.
• Distillatieverlies ($L_{Distill}$): Lijn het generatiegedrag van de bevroren generator wanneer deze met latente tokens wordt geprompt, uit tegenover het gedrag wanneer deze met ruwe bewijslast wordt geprompt. Dit zorgt ervoor dat de generator de latente tokens als geldige bewijslast kan interpreteren zonder de grote generator zelf te finetunen.

Belangrijkste Bijdragen

1. Latente Geheugen Paradigma: De auteurs stellen een nieuw geheugenparadigma voor dat elk multimodale bewijslast-item compileert tot een enkel hoogdimensionaal latent token, wat de opslag en het tokenverbruik aanzienlijk vermindert.
2. Verenigde Trainingsdoelstelling: Ze demonstreren dat een enkel latent token tegelijkertijd retrieval, informatiebehoud en generatie kan ondersteunen via een trainingsdoelstelling die reconstructie, contrastief leren en distillatie combineert.
3. Efficiëntie-Prestatie-Afweging: De methode bereikt competitieve QA-prestaties vergeleken met geavanceerde RAG-baselines terwijl het aanzienlijk minder generator-tokens verbruikt (3× tot 10× reductie).

Experimentele Resultaten

De methode werd geëvalueerd op zeven tekst-alleen QA-benchmarks (bijv. HotpotQA, 2WikiMultihopQA, MuSiQue) en multimodale benchmarks (WebQA).

• Tekst-alleen QA: Gebruikmakend van een bevroren Meta-Llama-3-8B-Instruct generator, bereikte de 1-token Latente Geheugen competitieve Exact Match (EM) en F1-scores vergeleken met RAG-baselines (BM25, Dense Retrieval, Qwen3-Embedding), terwijl het ongeveer 3× minder tokens gebruikte. Bijvoorbeeld, op out-of-domain gemiddelden gebruikte het 71 tokens bij $k=5$ vergeleken met 209 voor BM25 en 208 voor Dense Retrieval.
• Multimodale QA (WebQA): Gebruikmakend van een bevroren LLaVA-1.5-13B generator, leverde Latente Geheugen de sterkste beeld-gegronde QA-prestaties. Bij $k=5$ behaalde het een afbeelding-F1 van 69,4 met slechts 82 tokens, terwijl de beste baseline (Nemo-Emb) 1.885 tokens nodig had om een lagere F1 van 53,0 te bereiken.
• Schaalbaarheid: De aanpak schaalt lineair met het aantal bewijslast-items tijdens compilatie en behoudt een lage complexiteit tijdens inferentie, waardoor de kwadratische groei die geassocieerd wordt met full-context prompting wordt vermeden.
• Generalisatie: De op HotpotQA getrainde Latente Geheugen werd effectief overgedragen naar out-of-domain datasets (2WikiMultihopQA, MuSiQue) zonder aanvullende afstemming, wat robuuste retrieval-capaciteiten demonstreert.

Betekenis en Claims

Het artikel claimt dat Latente Geheugen een levensvatbare oplossing biedt voor bronnenbeperkte toepassingen door fundamenteel te veranderen hoe extern geheugen wordt gerepresenteerd. Door multimodale bewijslast te comprimeren tot enkele tokens, pakt het de dubbele knelpunten aan van opslagdruk (vooral voor afbeeldingen) en tokenverbruik tijdens generatie.

De auteurs benadrukken dat deze aanpak de implementatie van geheugenversterkte systemen op apparaten met strikte opslag- of latentiebeperkingen (bijv. edge AI) mogelijk maakt zonder de noodzaak om grote, dure generator-modellen te finetunen. De verenigde latente representatie-ruimte vereenvoudigt de retrieval-generatie-pipeline, wat efficiënte verwerking van long-context en multi-turn interacties mogelijk maakt. Hoewel het huidige ontwerp ervan uitgaat dat bewijslast kan worden gedecomposeerd in atomaire tekst- of beeld-eenheden, positioneert het artikel Latente Geheugen als een fundamentele stap naar efficiëntere, multimodale agentische systemen.