LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

Het paper introduceert LaMI, een methode die Large Language Models verbetert voor visueel redeneren en commonsense-taken door late fusie van meerdere gegenereerde beelden met tekstuele voorspellingen, zonder de tekstuele prestaties te schaden of kostbare multimodale training te vereisen.

De kern

🎨 De Kern: Een Taalmodel met een "Verbeeldingskracht"

Stel je een groot taalmodel (LLM) voor als een superintelligente, maar blinde bibliothecaris. Deze bibliothecaris heeft miljoenen boeken gelezen en kan perfect praten, redeneren en vragen beantwoorden. Maar als je hem vraagt: "Wat is de kleur van de buik van een keizerpinguïn?", kan hij in de war raken. Hij heeft de tekst wel gelezen, maar hij heeft de pinguïn nooit gezien. Hij raadt misschien "geel" (omdat het een vogel is) of "zwart", maar hij mist de visuele bevestiging.

Aan de andere kant heb je Visuele Taalmodellen (VLMs). Dit zijn bibliothecarissen die ook foto's hebben gelezen. Zij weten dat de pinguïn witte buik heeft. Maar ze hebben een nadeel: ze zijn vaak minder goed in pure teksttaken (zoals een grappig verhaal schrijven) en het is heel duur en lastig om ze te trainen met nieuwe boeken.

LaMI (Late Multi-Image Fusion) is de oplossing die de auteurs hebben bedacht. Het is alsof je de blinde bibliothecaris een magische bril geeft, maar dan op een slimme manier.

---

🚀 Hoe werkt het? (De Drie Stappen)

In plaats van de bibliothecaris volledig te herschrijven, voegen we een nieuwe stap toe op het moment dat hij een vraag krijgt.

1. De "Droomwereld" Genereren (Multi-Image)

Wanneer de bibliothecaris de vraag krijgt ("Wat is de kleur van de pinguïn?"), doet hij niet direct een gok. In plaats daarvan:

• Hij laat een kunstenaar (een AI die tekent) direct een paar verschillende schetsen maken van een keizerpinguïn.
• Omdat de kunstenaar niet perfect is, maakt hij misschien 5 of 6 verschillende versies: één met een witte buik, één met een grijze, één met een gele.
• De metafoor: Het is alsof je een groep vrienden vraagt om een tekening te maken van een droom. Iedereen tekent iets anders. Door naar alle tekeningen te kijken, zie je het patroon: bijna iedereen tekent een witte buik.

2. De "Late" Fusie (Het Slimme Moment)

Dit is het belangrijkste nieuwe idee van LaMI.

• Oude methode: Je geeft de tekeningen direct aan de bibliothecaris terwijl hij leest. Dit kan hem verwarren; hij raakt de tekst uit het oog en wordt "verkeerd" beïnvloed door de plaatjes.
• LaMI-methode (Late Fusion): De bibliothecaris leest de tekst eerst helemaal uit en vormt zijn eigen antwoord. Pas op het allerlaatste moment, net voordat hij het antwoord hardop zegt, kijkt hij even naar de tekeningen.
• De metafoor: Het is alsof je een jurist een dossier laat lezen en een verdict laten vellen. Pas op het laatste moment laat je hem een foto van de getuige zien. Als de foto duidelijk is, past hij zijn oordeel aan. Als de foto wazig is, vertrouwt hij op zijn kennis van het dossier. Hij wordt niet afgeleid tijdens het lezen.

3. De "Vertrouwensmeter" (CLIP-scores)

Niet alle tekeningen zijn even goed. Soms tekent de kunstenaar een pinguïn die eruitziet als een kip.

• Het systeem heeft een vertrouwensmeter (een CLIP-score). Deze kijkt: "Lijkt deze tekening wel op wat er in de tekst staat?"
• Als de tekening van de witte buik heel sterk overeenkomt met de tekst, telt die zwaar mee.
• Als de tekening raar is (bijvoorbeeld een paarse pinguïn), negeert het systeem die tekening en blijft het vertrouwen op de tekst van de bibliothecaris.

---

🏆 Waarom is dit zo goed?

1. Het werkt met bestaande modellen: Je hoeft geen dure, nieuwe bibliotheek te bouwen. Je kunt het toepassen op krachtige modellen zoals LLaMA 3 die al bestaan.
2. Geen verlies van taalvaardigheid: Omdat de "late fusion" pas op het einde gebeurt, blijft de bibliothecaris een meester in taal. Hij wordt niet "dommer" in tekstuele taken door de plaatjes.
3. Veiligheid: Als de plaatjes verkeerd zijn (bijvoorbeeld een stopbord dat niet rood is, maar blauw getekend), ziet het systeem dit en negeert het. Het vertrouwt dan gewoon op de tekst.

⚖️ De Prijs: Tijd vs. Kwaliteit

Er is een kleine prijs te betalen: het duurt iets langer. Het systeem moet eerst 5 of 6 plaatjes genereren voordat het antwoord geeft.

• Vergelijking: Het is alsof je in plaats van direct een antwoord te geven, eerst even een Google Image Search doet en naar de resultaten kijkt. Dat duurt misschien 2 seconden langer, maar het antwoord is veel betrouwbaarder.

🎯 Conclusie in één zin

LaMI geeft een slimme tekst-AI de mogelijkheid om op het laatste moment een paar "droombeelden" te genereren en die te gebruiken om zijn antwoord te verifiëren, waardoor hij beter wordt in visuele vragen zonder zijn taalvaardigheid te verliezen.

Het is de kunst van niet alleen lezen, maar ook even visualiseren voordat je antwoordt.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs) die uitsluitend op tekst zijn getraind, missen vaak visuele common sense (bijvoorbeeld: "Wat is de kleur van de buik van een keizerpinguïn?"). Hoewel Visueel-Taalmodellen (VLMs) beter presteren op visuele taken, hebben ze twee belangrijke nadelen:

1. Ze presteren vaak slechter op puur tekstuele common sense-taken vergeleken met tekst-gebaseerde LLMs.
2. Het aanpassen van nieuwe LLMs aan visuele invoer vereist kostbare multimodale training.

Bestaande methoden om LLMs visueel te verrijken (Visually-Augmented Language Models of VaLMs) gebruiken vaak vroege fusie (early fusion) en vertrouwen op een enkel beeld. Dit kan de taalredenering verstoren, ruis introduceren en bias veroorzaken.

2. Methodologie: LaMI

De auteurs stellen LaMI (Late Multi-Image fusion) voor, een framework dat LLMs verrijkt met visuele signalen zonder de tekstuele redenering te schaden. De methode bestaat uit twee kerncomponenten:

A. Architectuur (Late Fusion)

In plaats van visuele tokens direct in de LLM-stack te injecteren, gebruikt LaMI een late fusion-architectuur:

• Componenten: Een bevroren pre-getrainde LLM, een bevroren visuele encoder (bijv. CLIP), een trainbare Visual Token Projector (VTP) en een trainbare Late Fusion Attention Layer (LFAL).
• Werking: Tijdens training wordt een afbeelding en bijbehorende tekst verwerkt. De visuele encoder haalt features op die via de VTP worden omgezet in "pseudo-tekst" embeddings.
• Fusie: De LFAL laat de tekst-tokens van de LLM eenmaal letten op de visuele tokens, direct voordat de voorspelling wordt gedaan. Hierdoor blijft de LLM gefocust op taal, maar kan het visuele informatie raadplegen wanneer dat nuttig is.

B. Inference: Multi-Image Genereatie

Omdat er tijdens inferentie geen gekoppelde afbeeldingen beschikbaar zijn, genereert LaMI meerdere afbeeldingen ($k$ afbeeldingen) vanuit de tekst-prompt met behulp van een gedistilleerde tekst-naar-beeld generator (SDXL-turbo).

• Parallelle Sampling: De afbeeldingen worden parallel gegenereerd om de overhead te minimaliseren.
• Aggregatie: Voor elke gegenereerde afbeelding wordt een waarschijnlijkheidsverdeling gegenereerd. Ook wordt een tekst-only verdeling berekend.
• Entropie-bewuste Weging: De uiteindelijke voorspelling is een gewogen som van deze verdelingen. De weging is gebaseerd op de CLIP-score (alignatie tussen tekst en gegenereerde afbeelding).
  • Als een afbeelding goed overeenkomt met de tekst, krijgt deze meer gewicht.
  • Als de afbeelding slecht is (lage alignatie), valt het systeem terug op de tekst-only voorspelling.

3. Belangrijkste Bijdragen

1. Late Fusion Architectuur: Een ontwerp dat visuele features integreert op het allerlaatste moment, wat de stabiliteit van de taalredenering behoudt.
2. Multi-Image Evidence: Het genereren van meerdere visuele hypotheses in plaats van vertrouwen op één afbeelding, wat robuustheid biedt tegen hallucinaties van de beeldgenerator.
3. Efficiëntie: De methode voegt slechts een bescheiden overhead toe tijdens de inferentie dankzij batch-gebaseerde generatie en vereist geen hertraining van de volledige LLM.
4. Verbetering van Sterke Modellen: LaMI verbetert niet alleen visuele taken, maar kan bij sterke LLMs (zoals LLaMA 3) zelfs de prestaties op puur tekstuele taken verbeteren.

4. Resultaten

De auteurs evalueren LaMI op diverse benchmarks, waaronder object common sense, visuele common sense (ImageNetVC), redenering (PIQA, ARC) en leesbegrip.

• Vergelijking met VaLMs: LaMI presteert aanzienlijk beter dan eerdere visueel verrijkte modellen (zoals VaLM, Z-LaVI, LIVE) op visuele common sense-taken. Bijvoorbeeld, op de "Memory Color" taak scoort LaMI 74.5% tegenover 54.0% voor de beste concurrent (VaLM).
• Vergelijking met VLMs: LaMI presteert vergelijkbaar met zware VLMs (zoals InstructBLIP, LLaVA-Next) op visuele taken, maar behoudt of verbetert tegelijkertijd de prestaties op tekst-taken. VLMs gaan vaak ten koste van tekstuele vaardigheden; LaMI doet dit niet.
• Ablatie-studies:
  • Late vs. Vroege Fusie: Late fusie presteert significant beter, vooral op vorm-gerelateerde taken.
  • Multi-Image vs. Single Image: Het gebruik van meerdere afbeeldingen ($k$) leidt tot consistente verbeteringen. De prestaties verzadigen rond $k \approx 6$.
  • Genereatie vs. Retrieval: Het genereren van afbeeldingen werkt beter dan het ophalen van bestaande afbeeldingen (retrieval), omdat generatie specifieker en diverser is voor de specifieke prompt.
• Compute Budget: Zelfs als men dezelfde rekentijd gebruikt voor "Best-of-N" tekstgeneratie (zonder visie), haalt LaMI de visuele common sense-taken niet in. Dit bewijst dat de verbetering komt door gegrounde visuele bewijslast en niet alleen door meer rekenkracht.

5. Betekenis en Conclusie

LaMI introduceert een nieuwe richting voor visueel redeneren in LLMs: test-time scaling via visuele augmentatie.

• Praktische Toepassing: Het biedt een efficiënte manier om bestaande, krachtige tekst-LLMs (zoals LLaMA 3) visuele vaardigheden te geven zonder dure multimodale training.
• Robuustheid: Door te vertrouwen op late fusie en meerdere gegenereerde hypotheses, vermijdt het model de valkuilen van vroege fusie en enkele afbeeldingen.
• Toekomstvisie: De auteurs zien dit als een principieel vorm van "test-time compute" die essentieel is voor agentische frameworks, waarbij het genereren van visuele context een natuurlijke stap is in het redeneerproces.

Kortom, LaMI lost het dilemma op tussen visuele competentie en tekstuele precisie door visuele informatie als een "laatste check" te gebruiken, gebaseerd op meerdere gegenereerde visuele scenario's.