Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

Deze paper introduceert het RETINA-benchmark en het MIMIR-model om de afhankelijkheid van bestaande multimodale VQA-systemen van visuele shortcuts te doorbreken door relaties tussen secundaire entiteiten te benutten in plaats van alleen de primaire onderwerpen.

De kern

Het Probleem: De "Visuele Snelweg"

Stel je voor dat je een quiz doet over dieren. De vraag is: "Waar leeft dit dier?" en er staat een foto van een beest bij. In de oude quizzen (de bestaande benchmarks) was het antwoord altijd te vinden in het artikel over dat specifieke beest.

Het probleem is dat computers (AI-modellen) hier een "snelweg" voor hebben gevonden. In plaats van echt na te denken en te lezen, kijken ze alleen naar de foto. Ze zeggen: "Oh, ik zie een beest op de foto, dus ik klik op het artikel over dat beest." Ze hoeven de tekst niet eens te lezen. Dit noemen de auteurs een "visuele shortcut" (een visuele afkorting).

Het is alsof je een puzzel oplost door alleen naar de randen van de puzzelstukjes te kijken, in plaats van het plaatje op de doos te bestuderen. De AI wordt hierdoor slim in de quiz, maar dom in de echte wereld.

De Oplossing 1: De Nieuwe Quiz (RETINA)

Om te zien of de AI echt slim is, hebben de onderzoekers een nieuwe, eerlijke quiz bedacht genaamd RETINA.

• Hoe werkt het? Stel, de vraag is: "Welke kever eet dit specifieke plantje?" en je krijgt een foto van een aardappel.
• De valstrik: In de oude quiz zou het antwoord in het artikel over de aardappel staan. Maar in de echte wereld staat het antwoord (de naam van de kever) vaak in het artikel over de kever zelf, niet in het artikel over de aardappel.
• Het resultaat: De AI kan nu niet meer alleen naar de foto van de aardappel kijken en het antwoord raden. Hij moet echt lezen en begrijpen dat de aardappel een hint is, maar het antwoord in een ander artikel staat.

De onderzoekers hebben 120.000 van deze nieuwe, moeilijke vragen gegenereerd met hulp van een slimme taalcomputer (LLM) om te testen of modellen echt kunnen redeneren.

De Oplossing 2: De Slimme Zoekmachine (MIMIR)

De oude AI-modellen faalden op deze nieuwe quiz. Ze waren verslaafd aan de visuele snelweg. Daarom hebben de onderzoekers een nieuwe zoekmachine bedacht: MIMIR.

Stel je voor dat je een boek in een bibliotheek zoekt.

• De oude manier: Je krijgt een boekje met één foto op de kaft (bijvoorbeeld een aardappel). Als je zoekt op een foto van een aardappel, vind je dat boekje. Maar als je zoekt op een foto van een kever die op de aardappel leeft, vind je het boekje niet, omdat de kaft er anders uitziet.
• De nieuwe manier (MIMIR): De onderzoekers plakken veel meer foto's op de kaft van het boekje. Naast de aardappel plakken ze ook foto's van de kever, de plant, en de omgeving.

Nu, als je zoekt op een foto van een kever, herkent de zoekmachine: "Ah, dit boekje heeft ook een foto van een kever op de kaft!" en vindt het juiste antwoord.

Wat hebben ze ontdekt?

1. Oude modellen zijn valselijk: Ze presteren goed op de oude quizzen, maar zakken door de vloer op de nieuwe RETINA-quiz. Ze vertrouwen te veel op wat ze zien, in plaats van wat ze lezen.
2. MIMIR werkt: Door meerdere foto's aan de documenten te koppelen, kan de nieuwe zoekmachine de "visuele snelweg" doorbreken. Hij vindt het juiste antwoord, zelfs als de foto op de vraag niet direct overeenkomt met de hoofdfoto van het artikel.
3. De toekomst: In de echte wereld is informatie verspreid over veel verschillende bronnen. Om echt slim te zijn, moet een AI kunnen verbinden tussen verschillende plaatjes en teksten, net als een mens dat doet.

Kortom: De onderzoekers hebben een nieuwe, eerlijke test gemaakt om te zien of AI echt begrijpt wat hij ziet, en ze hebben een nieuwe manier bedacht om computers te leren om niet alleen naar de kaft van een boek te kijken, maar naar de hele inhoud.

Technische samenvatting

Titel: Het doorbreken van visuele shortcuts in Multimodaal Kennisgebaseerd Visueel Vragenbeantwoorden (MKB-VQA)

Auteurs: Dosung Lee et al. (Korea University, KAIST, Amazon)

---

1. Het Probleem: Visuele Shortcuts in Bestaande Benchmarks

Bestaande benchmarks voor Multimodaal Kennisgebaseerd Visueel Vragenbeantwoorden (MKB-VQA), zoals InfoSeek en EVQA, lijden onder een fundamenteel gebrek: visuele shortcuts.

• Definitie: In deze benchmarks komt het beeld in de vraag (query image) bijna altijd overeen met het hoofdonderwerp (primary subject) van het doeldocument (target document).
• Gevolg: Modellen kunnen de juiste antwoorden vinden door uitsluitend visuele cues te gebruiken, zonder daadwerkelijke kennisredenering of tekstuele integratie. Een experiment toonde aan dat modellen die alleen de afbeelding van de vraag gebruikten (zonder tekst), vergelijkbare prestaties behaalden als modellen die zowel tekst als afbeelding gebruikten.
• Realiteit: In de echte wereld is informatie over een vraag vaak te vinden in gerelateerde documenten, niet noodzakelijk in het document dat direct over het beeld in de vraag gaat. Bijvoorbeeld: een vraag over een kever die op een aardappelplant leeft, vereist kennis uit het document over de kever, niet alleen het document over de aardappel. Bestaande benchmarks testen deze complexiteit niet.

2. Methodologie

De auteurs introduceren twee hoofdcomponenten om dit probleem aan te pakken: een nieuwe benchmark en een nieuw retriever-model.

A. De RETINA Benchmark

RETINA (Relational Entity Text-Image kNowledge Augmented) is een nieuw benchmark-dataset dat specifiek is ontworpen om visuele shortcuts te elimineren en realistischere scenario's te simuleren.

• Constructie: De dataset is automatisch gegenereerd met behulp van een LLM-gestuurde pipeline (Large Language Model):
  1. Kennisgrafiek: Uit Wikipedia-documenten worden named entities en hun relaties geëxtraheerd om een one-hop kennisgrafiek te bouwen.
  2. Subgraaf-selectie: Er wordt een doel-subgraaf geselecteerd bestaande uit:
     • Een antwoord-entiteit (het hoofdonderwerp van het document).
     • Een vraag-entiteit (een gerelateerde entiteit, niet het hoofdonderwerp).
     • Een kwalificerende entiteit (om meerduidigheid te voorkomen en de context te verfijnen).
  3. Vraaggeneratie: De LLM genereert een tekstuele vraag gebaseerd op deze subgraaf. Cruciaal is dat de vraag verwijst naar de gerelateerde entiteit (bijv. "deze plant") zonder deze bij naam te noemen.
  4. Beeldkoppeling: De vraag wordt gekoppeld aan een afbeelding van de gerelateerde entiteit, terwijl het doeldocument gaat over de antwoord-entiteit. Hierdoor is er geen directe visuele match tussen vraag en document.
• Statistieken: 120.000 trainingsvoorbeelden en een menselijk gecurateerde testset van 2.000 voorbeelden (verdeeld in "seen" en "unseen" subsets).

B. De MIMIR Retriever

Om de uitdagingen van RETINA aan te pakken, stellen de auteurs MIMIR (Multi-Image MultImodal Retriever) voor. Bestaande retrievers (zoals MuKA) verrijken documenten slechts met één afbeelding (het hoofdonderwerp). MIMIR breidt dit uit.

• Multi-Image Augmentatie: MIMIR identificeert alle gerelateerde entiteiten in een document en koppel daar afbeeldingen aan. Een document wordt dus vertegenwoordigd door de tekst én meerdere afbeeldingen (het hoofdonderwerp + gerelateerde entiteiten).
• Architectuur:
  • Late Interaction Scoring: Gebaseerd op ColBERT, waarbij token-level vectoriële interacties worden gebruikt.
  • Multimodale Feature Extractie: Het model gebruikt cross-attention om patch-level visuele features van alle afbeeldingen te koppelen aan de tekstuele features.
  • Entity Token Embedding (ETE): Een unieke innovatie waarbij een leerbaar vector (ETE) wordt toegevoegd aan de tekst-tokens die corresponderen met een specifieke entiteit. Dit helpt het model om tijdens de cross-attention expliciet te focussen op de tekstuele context die relevant is voor een specifieke afbeelding, wat de semantische uitlijning verbetert.

3. Belangrijkste Bijdragen

1. Identificatie van een Bias: Het paper demonstreert dat bestaande MKB-VQA-benchmarks grotendeels opgelost kunnen worden door visuele shortcuts, wat de bruikbaarheid voor echte kennisredenering in twijfel trekt.
2. RETINA Benchmark: Een schaalbaar, automatisch gegenereerd benchmark dat realistische scenario's test waarbij de vraag-afbeelding en het doeldocument geen directe visuele overlap hebben.
3. MIMIR Model: Een nieuwe retriever-architectuur die documentrepresentaties verrijkt met meerdere afbeeldingen van gerelateerde entiteiten en gebruikmaakt van Entity Token Embeddings voor betere multimodale uitlijning.
4. Validatie: Experimenten tonen aan dat bestaande modellen falen op RETINA, terwijl MIMIR aanzienlijke verbeteringen laat zien.

4. Resultaten

De experimenten werden uitgevoerd op InfoSeek, EVQA en de nieuwe RETINA dataset.

• Prestaties op Bestaande Benchmarks: Op InfoSeek en EVQA (waar shortcuts bestaan) presteren multimodale modellen met één afbeelding goed, maar MIMIR presteert consistent beter of gelijkwaardig.
• Prestaties op RETINA:
  • Bestaande modellen (zoals MuKA, UniIR) vertonen een drastische daling in prestaties op RETINA (bijv. Recall@5 daalt van ~20% naar <10% voor sommige modellen). Dit bevestigt hun afhankelijkheid van visuele shortcuts.
  • MIMIR bereikt bijna het dubbele van de Recall@5 van de beste bestaande baselines op RETINA (bijv. 43,2% vs 20,8% voor MuKA op de "Seen" subset).
  • MIMIR presteert ook sterk op de "Unseen" subset, wat aantoont dat het model generaliseert en niet alleen de dataset leert.
• Ablatie-studies: De studie toont aan dat elke component van MIMIR bijdraagt:
  • Het toevoegen van meerdere afbeeldingen (Multi-Image) verbetert de prestaties aanzienlijk.
  • Multimodale features (cross-attention) verbeteren dit nog verder.
  • Entity Token Embeddings (ETE) leveren de grootste winst op door de uitlijning tussen specifieke afbeeldingen en hun tekstuele context te verbeteren.
• Kwalitatieve Analyse: In voorbeelden waarbij MuKA faalt door te focussen op visueel vergelijkbare (maar verkeerde) documenten, slaagt MIMIR erin het juiste document te vinden door gebruik te maken van de afbeeldingen van gerelateerde entiteiten die in de vraag worden getoond.

5. Betekenis en Conclusie

Dit paper is significant omdat het een kritieke zwakte in de huidige evaluatie van multimodale AI blootlegt: de neiging van modellen om te "cheaten" via visuele correlaties in plaats van echt te redeneren.

• Voor de Gemeenschap: RETINA biedt een striktere, realistischere testomgeving die nodig is om modellen te ontwikkelen die daadwerkelijk multimodale kennis kunnen integreren.
• Technologische Vooruitgang: MIMIR demonstreert dat het verrijken van documenten met contextuele afbeeldingen van gerelateerde entiteiten een effectieve strategie is om deze complexiteit te overwinnen.
• Toekomstperspectief: De auteurs wijzen erop dat real-world scenario's nog complexer zijn en mogelijk andere modaliteiten dan alleen afbeeldingen vereisen, wat een richting is voor toekomstig onderzoek.

Kortom, het paper beweert dat we moeten stoppen met het trainen en evalueren van modellen op "gemakkelijke" benchmarks en moeten overstappen naar systemen die kunnen omgaan met de complexiteit van gerelateerde kennis in multimodale contexten.