Test-Time Computing for Referring Multimodal Large Language Models

Dit paper introduceert ControlMLLM++, een test-tijd aanpassingsframework dat leerbare visuele prompts injecteert in bevroren multimodale grote taalmodellen om fijnmazig regionaal visueel redeneren mogelijk te maken zonder hertraining, gebruikmakend van cross-modale aandachtkaarten en geavanceerde optimalisatiestrategieën voor verbeterde stabiliteit en generalisatie.

De kern

De Kern: Een "Telepathische" Knop voor AI

Stel je voor dat je een zeer slimme, maar soms wat ongeduldige kunstenaar hebt. Deze kunstenaar (de AI) kan prachtige verhalen vertellen over foto's die je hem laat zien. Maar als je zegt: "Vertel me eens iets over die rode hoed," kijkt hij vaak naar de hele foto en zegt: "De persoon draagt een hoed." Hij ziet de hoed wel, maar hij focust niet specifiek daarop.

Tot nu toe was de enige oplossing om deze kunstenaar maandenlang te laten oefenen met duizenden voorbeelden van "rode hoeden" en "blauwe auto's". Dat kost veel tijd, geld en energie.

ControlMLLM++ is de oplossing die de auteurs hebben bedacht. Het is alsof je die kunstenaar geen nieuwe training geeft, maar hem tijdens het werk een magische bril opzet. Met deze bril kan hij, op het moment zelf, precies weten waar je naar kijkt, zonder dat hij ooit eerder heeft geoefend.

Hoe werkt het? (De Magie van de "Onzichtbare Hand")

In plaats van de kunstenaar te herscholen, sturen we een onzichtbare hand (een "leerbaar latent variabele") die de aandacht van de AI manipuleert.

1. De Aandachtkaart: De AI kijkt naar een foto en heeft van nature een soort "aandachtkaart" in zijn hoofd. Hij weet welke woorden (zoals "hoed") corresponderen met welke delen van de foto.
2. De Sturing: De auteurs hebben ontdekt dat ze deze aandachtkaart kunnen "buigen". Ze voegen een klein, onzichtbaar signaal toe aan de foto-data. Dit signaal wordt geoptimaliseerd terwijl de AI de foto bekijkt.
3. Het Resultaat: Het is alsof je met een laserpointer op de foto wijst. De AI ziet plotseling: "Ah, de gebruiker kijkt naar die specifieke plek! Ik moet mijn verhaal daarover vertellen."

De Twee Superkrachten van ControlMLLM++

De eerste versie (ControlMLLM) was al goed, maar de nieuwe versie, ControlMLLM++, heeft twee extra superkrachten om het nog slimmer te maken:

1. De "Slimme Kompas" (Optim++)

Stel je voor dat je een schat zoekt in een groot bos. De oude methode was om elke boom in het hele bos te controleren. Dat duurt lang.
Optim++ is als een slim kompas dat je direct naar de juiste boom leidt. Het weet precies welke lagen in het brein van de AI belangrijk zijn en welke woorden de sleutelwoorden zijn. Hierdoor gaat het zoeken veel sneller en nauwkeuriger.

2. De "Taal-Filter" (PromptDebias)

Soms is de AI te veel gewend aan wat mensen zeggen in plaats van wat ze zien. Als je vraagt: "Wat is er raar aan deze kat?" en de AI denkt dat katten altijd in de lucht springen (omdat hij dat vaak heeft gelezen), dan kan hij een fout antwoord geven, zelfs als de kat gewoon op de grond zit.
PromptDebias is als een eerlijke rechter. Hij vergelijkt het antwoord met en zonder de visuele aanwijzing. Als de AI te veel naar zijn eigen "vermoedens" (taal) luistert en te weinig naar de foto, corrigeert hij zichzelf. Hij zegt: "Wacht, de tekst zegt 'raar', maar de foto toont een kat met een hoed. Dat is het rare ding, niet het springen."

Waarom is dit zo speciaal?

• Geen Training nodig: Je hoeft de AI niet opnieuw te leren. Het werkt direct op bestaande modellen.
• Elke Vorm is OK: Je kunt de AI wijzen met een kader (een vierkantje), een masker (een gekleurd vlak), een krabbel (een lijntje) of gewoon een punt. De AI begrijpt het allemaal.
• Werkt overal: Of je nu kijkt naar een foto van een kat, een tekst in een reclamebordje of een ingewikkelde scène, deze methode werkt zelfs op foto's die de AI nog nooit eerder heeft gezien (buiten de "trainingszone").

Een Dag in het Leven van de AI

• Zonder ControlMLLM++:
  • Jij: "Wat staat er op dat bordje?"
  • AI: "Ik zie een bordje. Het is waarschijnlijk een verkoop." (Te vaag, kijkt naar de hele foto).
• Met ControlMLLM++:
  • Jij: (Tekent een kring om het bordje) "Wat staat er op dit bordje?"
  • AI: "Op dit specifieke bordje staat '80% KORTING'. Ik zie de letters heel duidelijk omdat je erop wijst."

Conclusie

Dit onderzoek is als het geven van een telepathische aanwijzing aan een slimme AI. Het hoeft niet te leren; het moet alleen even "luisteren" naar waar jij precies naar kijkt. Hierdoor kunnen we AI veel preciezer en betrouwbaarder maken, zonder dat we enorme rekenkracht hoeven te investeren in het opnieuw trainen van de systemen. Het is een stap naar AI die echt begrijpt wat jij bedoelt, niet alleen wat je zegt.

Technische samenvatting

Titel: Test-Time Computing for Referring Multimodal Large Language Models

Auteurs: Mingrui Wu, Hao Chen, et al. (Xiamen University, Nankai University, Tsinghua University, Zhongguancun Academy)

---

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLMs) zoals LLaVA en GPT-4V hebben indrukwekkende prestaties geleverd in het begrijpen van afbeeldingen en het genereren van tekst. Echter, bestaande MLLMs vertonen twee belangrijke beperkingen:

1. Gebrek aan regionaal begrip: Ze vertrouwen voornamelijk op grove, beeldniveaus-correspondenties en missen het vermogen om specifiek te verwijzen naar kleine, gedefinieerde gebieden binnen een afbeelding (bijv. "de hoed die de persoon draagt" in plaats van "de persoon").
2. Hoge kosten voor aanpassing: Bestaande methoden om verwijzingscapaciteiten toe te voegen, vereisen doorgaans intensief trainen of fine-tunen op grote datasets met regio-tekstparen. Dit is computatief duur, beperkt de aanpasbaarheid aan nieuwe domeinen en maakt het moeilijk om bestaande, bevroren (frozen) modellen te gebruiken zonder ze opnieuw te trainen.

Er is dus behoefte aan een methode die bestaande MLLMs in staat stelt om fijnmazig regionaal redeneren uit te voeren op basis van visuele prompts (zoals kaders, maskers, krabbels of punten), zonder dat er extra training of fine-tuning nodig is.

2. Methodologie: ControlMLLM++

De auteurs stellen ControlMLLM++ voor, een raamwerk voor test-time computing (rekenen tijdens de inferentie). De kernidee is het injecteren van leerbare visuele prompts in de ingesloten visuele tokens van een bevroren MLLM om de aandacht (attention) van het model te sturen naar door de gebruiker gespecificeerde gebieden.

Kernprincipes:

• Cross-modale Attention: Het paper baseert zich op het inzicht dat de cross-attention-maps in MLLMs intrinsieke semantische relaties coderen tussen teksttokens en visuele regio's.
• Learnable Latent Variable: In plaats van de modelparameters te wijzigen, wordt tijdens de inferentie een leerbare latente variabele ($p_v$) geoptimaliseerd die aan de visuele token-embeddings wordt toegevoegd.
• Energiefunctie: De optimalisatie wordt geleid door een taakspecifieke energiefunctie die de relatie tussen de ingevoerde visuele prompt (bijv. een masker) en de gegenereerde attention-maps minimaliseert. Het doel is om de aandacht van het model te maximaliseren op de gewenste regio.

De twee fasen van de methode:

A. ControlMLLM (Basis):

• Optimalisatie: Een leerbare variabele $p_v$ wordt geoptimaliseerd via backpropagation tijdens de eerste stap van de inferentie (step 0).
• Energiefuncties:
  • Hard Mask: Voor kaders (boxes) en maskers, wordt een binaire masker gebruikt om de attention-waarden binnen de regio te maximaliseren.
  • Soft Mask: Voor krabbels (scribbles) en punten, wordt een Gaussische afstandstransformatie gebruikt om een zacht masker te creëren, waardoor de aandacht geleidelijk afneemt naarmate men verder van het punt verwijderd is.
• Strategie: Gebruik van vroege stop (Early Stopping) en Exponentiële Moving Average (EMA) om overfitting te voorkomen.

B. ControlMLLM++ (Geavanceerde Versie):
Om stabiliteit en prestaties te verbeteren, introduceert de auteurs twee verbeteringen:

1. Optim++ (Verbeterde Optimalisatie):
   • Selectieve Attention: In plaats van alle attention-maps te gebruiken, focust de methode zich op de attention tussen de answer-start token (het eerste woord van het antwoord) en de visuele tokens.
   • Lageselectie: Analyse toont aan dat de belangrijkste visueel-tekstuele relaties zich bevinden in de middelste lagen van de decoder (bijv. lagen 14-26 in LLaVA). De optimalisatie wordt beperkt tot deze lagen.
   • Optimizer: Vervanging van Gradient Descent/EMA door de Adam-optimizer voor snellere convergentie en minder gevoeligheid voor hyperparameters.
2. PromptDebias (Taalbias Mitigatie):
   • MLLMs hebben de neiging om te vertrouwen op taalkundige priors (hallucinatie) in plaats van visuele informatie.
   • De methode gebruikt een contrastieve decoding-strategie: de logit van de output met visuele prompt wordt gecombineerd met de logit van de output zonder visuele prompt.
   • Formule: $p(y) = \text{softmax}((1 + \gamma) \cdot \text{logit}_{\text{met prompt}} - \gamma \cdot \text{logit}_{\text{zonder prompt}})$. Dit dwingt het model om meer te vertrouwen op de visuele cues.

3. Belangrijkste Bijdragen

1. Eerste Test-Time Framework: Introductie van ControlMLLM++, een framework dat bestaande, bevroren MLLMs verwijzingscapaciteiten geeft zonder enige vorm van training of fine-tuning.
2. Robuuste Optimalisatiestrategie: Ontwikkeling van Optim++ en PromptDebias, die de stabiliteit van de test-time optimalisatie vergroten en taalgebonden hallucinaties verminderen.
3. Veelzijdigheid en Generalisatie: Ondersteuning van diverse visuele prompt-types (box, masker, krabbel, punt) en bewezen sterke out-of-domain generalisatie op verschillende benchmarks.

4. Resultaten

De methode is getest op meerdere MLLMs (LLaVA-1.5, LLaVA-HR, Qwen2.5-VL) en diverse taken:

• Referring Object Classification (ROC): ControlMLLM++ bereikt prestaties die vergelijkbaar zijn met of beter zijn dan gespecialiseerde, getrainde modellen zoals Ferret-7B en Shikra-7B, maar dan zonder training. Bijvoorbeeld, op de ROC-taak scoort LLaVA-1.5 + ControlMLLM++ 71.19% (box) versus 54.72% voor de baseline.
• Out-of-Domain Generalisatie (RTC): Op de Referring Text Classification-taak (OCR), waar getrainde modellen vaak falen bij domeinverschuivingen, presteert ControlMLLM++ uitstekend (74.66%), terwijl getrainde modellen zoals Ferret slechts 58.28% halen.
• Referring Description: Op de RefCOCOg en Screenshot datasets verbetert de methode de taalgeneratiemetrics (CIDEr, BLEU) aanzienlijk, zelfs voor modellen die al native verwijzingscapaciteiten hebben (zoals Qwen2.5-VL).
• Hallucinatiemitigatie: Visuele voorbeelden tonen aan dat de methode het model helpt om te focussen op het juiste gebied, waardoor onjuiste beschrijvingen (hallucinaties) worden verminderd.
• Efficiëntie: Hoewel er een lichte toename is in inferentielatentie en geheugengebruik door de test-time optimalisatie, is dit een acceptabele trade-off voor de aanzienlijke winst in controleerbaarheid en nauwkeurigheid.

5. Betekenis en Impact

Dit werk is significant omdat het de afhankelijkheid van kostbare training voor visuele grounding doorbreekt.

• Plug-and-Play: Het biedt een universele oplossing die op elk bestaand open-source MLLM kan worden toegepast om regionaal redeneren mogelijk te maken.
• Interpreteerbaarheid: Door het sturen van de attention-maps, wordt het modelgedrag transparanter en controleerbaar.
• Toekomstgericht: Het opent nieuwe wegen voor dynamische, aanpasbare visuele AI-systemen die snel kunnen reageren op nieuwe taken of domeinen zonder dat de onderliggende basismodellen opnieuw getraind hoeven te worden.

Samenvattend introduceert ControlMLLM++ een krachtige, training-vrije benadering om multimodale modellen "slimmer" te maken voor specifieke visuele taken door slim gebruik te maken van de interne attention-mechanismen tijdens de inferentie.