AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs

Het paper introduceert AutoV, een lichtgewicht framework dat automatisch de meest geschikte visuele prompt uit een kandidatenpool selecteert voor Large Vision-Language Models door gebruik te maken van verliesgeoriënteerde rangschikking als supervisie, waardoor de prestaties op diverse visuele taken aanzienlijk worden verbeterd zonder handmatige annotatie.

De kern

AutoV: De Slimme "Visuele Highlighter" voor AI

Stel je voor dat je een zeer intelligente, maar soms wat verwarde robot hebt die foto's kan bekijken en vragen daarover kan beantwoorden. Dit is een LVLM (Large Vision-Language Model). Deze robots zijn slim, maar ze hebben soms moeite om precies te zien waar je naar vraagt.

Stel je voor dat je de robot vraagt: "Wat staat er op het bordje in de hoek?" De robot kijkt misschien naar de hele foto, ziet een boom, een auto en een hond, en raakt in de war. Hij weet niet precies waar hij moet kijken.

Hier komt AutoV in het spel.

Het Probleem: De "Eén Maat Past Alles" Fout

Vroeger probeerden mensen dit op te lossen door de robot een vaste "hint" te geven. Bijvoorbeeld: "Kijk altijd naar de rode cirkel!" of "Kijk altijd naar de onscherpe plekken!"

• Het probleem: Soms helpt een rode cirkel wel, maar soms is het bordje juist in de hoek waar de cirkel niet zit. Of soms is het bordje heel klein en moet je juist de hele foto scherp zien.
• De huidige robots zijn vast komen te zitten in een "muur". Het toevoegen van steeds nieuwe, handgemaakte hints (zoals een blauwe lijn of een groen vlak) werkt niet meer goed voor elke situatie.

De Oplossing: AutoV (De Slimme Gids)

De auteurs van dit paper hebben bedacht: "Waarom zoeken we niet de beste hint voor elke specifieke vraag?"

In plaats van één vaste hint te gebruiken, heeft AutoV een magische doos met hints (een verzameling van verschillende visuele prompts: rode cirkels, onscherpe maskers, aandachtspunten, etc.).

Wanneer je een vraag stelt aan de robot, doet AutoV het volgende:

1. Kijken: Hij kijkt naar de foto en de vraag.
2. Kiezen: Hij pakt uit zijn magische doos de perfecte hint voor die specifieke situatie.
   • Vraag: "Wat staat er op het bordje?" -> AutoV kiest een hint die de tekst inzoomt.
   • Vraag: "Wat is de achtergrond?" -> AutoV kiest een hint die de rest van de foto verduistert zodat de achtergrond opvalt.
3. Geven: Hij geeft deze hint aan de robot, die nu veel beter het antwoord kan vinden.

Hoe leert AutoV dit zonder menselijke hulp? (De "Pijn-Meter")

Het lastige deel is: hoe weet je welke hint de beste is? Mensen vinden het moeilijk om te zeggen "Hint A is 8/10 en Hint B is 9/10". Dat is te vaag.

AutoV gebruikt een slimme truc: De "Pijn-Meter" (Verlies/Fouten).

• Stel, de robot probeert het antwoord te geven met Hint A. Hij maakt een fout en raakt in de war. Dat is "pijn" (een hoge fout-score).
• Vervolgens probeert hij het met Hint B. Hij geeft het juiste antwoord en is blij. Dat is "weinig pijn" (een lage fout-score).
• AutoV leert door te kijken: "Ah, als ik Hint B gebruik, doet de robot het rustig en maakt hij minder fouten. Dan is Hint B de winnaar!"

AutoV leert dus niet door mensen te vragen wat goed is, maar door te kijken welke hint de robot het minst "pijn" (fouten) bezorgt.

Waarom is dit zo cool?

1. Het werkt voor iedereen: Of je nu een dure, super-slimme robot hebt of een goedkopere, AutoV maakt ze allemaal slimmer. Het is alsof je een bril opzet die perfect past bij wat je probeert te lezen.
2. Het is snel: AutoV hoeft de robot niet opnieuw te leren (hij hoeft niet te studeren). Hij werkt als een slimme schakelaar die je voor het antwoord geeft.
3. Resultaten: In tests bleek dat AutoV de robot tot wel 10% slimmer maakte op bepaalde taken. Dat is als een student die van een 6 naar een 7,5 springt door de juiste studietip te krijgen.

Samenvattend in één zin:

AutoV is een slimme gids die voor elke vraag de perfecte "visuele zoektoets" kiest, zodat de AI-robot precies weet waar hij moet kijken, zonder dat iemand hem dat handmatig hoeft uit te leggen.

Technische samenvatting

Probleemstelling

Grote Vision-Language Modellen (LVLMs) hebben visuele prompts (zoals focuscirkels, verduisterde maskers of warmtekaarten) nodig om hun waarnemingsvermogen te verbeteren en zich te richten op relevante delen van een afbeelding. Echter, de huidige aanpak van prompt engineering (het handmatig ontwerpen van vaste prompts) stuit op een prestatiedak:

1. Prestatieplateau: Handgemaakte, heuristische prompts bereiken snel de grenzen van hun effectiviteit op benchmarks.
2. Gebrek aan generalisatie: De optimale visuele prompt is afhankelijk van de specifieke taak en het voorbeeld (instance-dependent). Een prompt die goed werkt voor OCR (tekstherkenning) werkt niet noodzakelijk goed voor objectdetectie of redenering.
3. Moeilijke supervisie: Het kwalitatief beoordelen van de "beste" prompt voor een specifiek vraag-afbeeldingspaar is voor mensen vaak vaag en subjectief, wat het trainen van een selectiemodel met menselijke annotaties zeer moeilijk maakt.

Methodologie: AutoV

De auteurs stellen AutoV voor, een lichtgewicht framework dat verschuift van prompt engineering naar prompt retrieval. In plaats van één universele prompt te zoeken, selecteert AutoV dynamisch de meest geschikte visuele prompt uit een pool van kandidaten voor elk specifiek vraag-afbeeldingspaar.

Het framework bestaat uit vier kerncomponenten:

1. Feature Extractie van Kandidaten:

   • Een reeks visuele prompts (bijv. uit verschillende lagen van een CLIP-model, rode cirkels, blur-maskers) wordt gegenereerd.
   • Een visuele encoder (geërfd van een bestaande LVLM) converteert deze prompts naar visuele tokens die worden uitgelijnd met de taalembeddings.

2. Ranking Network (Selectie):

   • Een lichtgewicht netwerk integreert de visuele tokens van de kandidaten met de tekstuele query.
   • Het gebruikt de eerste laag van de LLM-decoder voor modale interactie (omdat cross-modale interactie daar optimaal plaatsvindt).
   • Het netwerk voert een cross-attention operatie uit om een "reward score" te voorspellen voor elke kandidaat-prompt op basis van de context van de query.

3. Loss-Oriented Supervisie (Automatische Labeling):

   • Dit is de meest innovatieve stap. Omdat menselijke labels onbetrouwbaar zijn, gebruiken de auteurs de voorspellingsverlies (loss) van een vooraf getrainde LVLM als supervisiessignaal.
   • Principe: Een betere visuele prompt leidt tot een lager conditioneel taalmodelverlies (d.w.z. het model kan de vraag beter beantwoorden).
   • Data Generatie: Voor elk paar (afbeelding, vraag) worden alle kandidaat-prompts getest. De prompts worden gesorteerd op basis van hun verlies.
   • Filtering: Paren met zeer weinig variatie in verlies (waar het antwoord puur uit taalkennis komt) of extreem hoog verlies worden verwijderd.
   • Training: Het ranking-netwerk wordt getraind met een pairwise ranking loss. Voor elk paar van prompts wordt de prompt met het laagste verlies beloond en de prompt met het hoogste verlies bestraft. Dit elimineert de noodzaak voor menselijke annotatie.

4. Robuuste Inferentie:

   • Tijdens inferentie worden meerdere kandidaten ingevoerd, gescoord door het ranking-netwerk, en de best scorende prompt wordt geselecteerd.
   • Een pre-filtering stap verwijdert prompts die visueel te sterk afwijken van de rest (op basis van cosine-afstand) om de robuustheid te vergroten.

Belangrijkste Bijdragen

1. AutoV Framework: Een nieuw systeem dat adaptief de optimale visuele prompt ophaalt uit een diverse pool, specifiek afgestemd op de tekstuele query en de inputafbeelding.
2. Volledig Geautomatiseerde Supervisie: Een schaalbaar datapipeline die gebruikmaakt van verlies-gebaseerde beloningen om een ranking-netwerk te trainen zonder menselijke annotatie, waardoor het probleem van subjectieve promptkwaliteit wordt opgelost.
3. Generalisatie en Efficiëntie: Het bewijst dat deze aanpak werkt over verschillende LVLM-architecturen heen zonder dat de achterliggende LVLM opnieuw moet worden gefinetuned.

Resultaten

AutoV werd getest op veertien benchmarks (waaronder MMMU, VizWiz, MMVet, RefCOCO+) en diverse modellen (LLaVA-1.5, LLaVA-OneVision, Qwen2.5-VL, InternVL2).

• Prestatieverbetering: AutoV levert consistente en significante verbeteringen op.
  • LLaVA-OneVision: +10,2% verbetering op VizWiz.
  • Qwen2.5-VL: +3,8% verbetering op MMMU.
  • InternVL2: +6,2% op VizWiz.
• Vergelijking met SOTA: AutoV presteert aanzienlijk beter dan bestaande methoden zoals FGVP, RedCircle en API (Attention Prompting). Terwijl API gemiddeld +1,1% gaf op MMMU, gaf AutoV +3,2%.
• Transferability: De strategie getraind op LLaVA-OneVision werkt direct en effectief op gesloten modellen zoals Gemini-1.5-Pro (+9,6% op VizWiz) en GPT-4o (+9,0% op VizWiz), zonder extra training.
• Efficiëntie: De extra rekentijd is minimaal (ongeveer 6,9 ms extra latency) omdat het ranking-netwerk zeer lichtgewicht is en de decodering van de LLM de dominante kosten blijft.

Significantie

Dit paper markeert een paradigmaverschuiving in het veld van visuele prompting voor LVLMs:

• Van handmatig ontwerpen (engineering) naar intelligente selectie (retrieval).
• Het lost het probleem van het ontbreken van betrouwbare supervisie op door de interne verliesfunctie van het model zelf als "leraar" te gebruiken.
• Het biedt een praktische, plug-and-play oplossing die de prestaties van bestaande modellen direct verbetert zonder de kostbare training van de grote modellen zelf te hoeven herhalen. Dit maakt het een krachtige tool voor het maximaliseren van het potentieel van huidige en toekomstige multimodale systemen.