Multimodal Integration of Human-Like Attention in Visual Question Answering

Het paper introduceert MULAN, een nieuwe methode die menselijke aandacht voor zowel afbeeldingen als tekst integreert in een transformer-model voor visuele vraagbeantwoording, waardoor een nieuwe state-of-the-art prestatie wordt bereikt op de VQAv2-dataset met ongeveer 80% minder trainbare parameters dan eerdere werken.

De kern

Samenvatting: Hoe een computer beter leert kijken én lezen

Stel je voor dat je een robot wilt bouwen die een foto kan bekijken en een vraag daarover kan beantwoorden. Bijvoorbeeld: "Wat eet de hond?" of "Wat staat er op het bord?". Dit heet Visuele Vraag-Antwoord (VQA).

Het probleem is dat deze robots vaak "slordig" zijn. Ze kijken niet echt naar de foto, maar raden het antwoord op basis van statistieken. Als ze vaak "hond" zien met het woord "eten", denken ze dat het antwoord altijd "eten" is, zelfs als de hond slaapt. Ze missen de context.

In dit paper presenteren de onderzoekers MULAN, een slimme nieuwe manier om deze robot te trainen. Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Het probleem: De robot heeft geen "menselijke blik"

Normaal gesproken leert een robot alleen door miljoenen voorbeelden te zien. Hij probeert zelf te ontdekken waar hij moet kijken. Soms kijkt hij naar de verkeerde plek, net als iemand die naar een schilderij kijkt en alleen naar de randen staart in plaats van het hoofdpersonage.

Vroeger probeerden onderzoekers de robot te helpen door hem te laten kijken naar waar mensen kijken op foto's. Maar ze vergeten dan de tekst! Ze lieten de robot wel kijken naar de foto, maar niet naar welke woorden in de vraag belangrijk zijn.

2. De oplossing: MULAN (De dubbele bril)

De onderzoekers hebben MULAN bedacht. Dit is de eerste methode die de robot helpt om tegelijkertijd te kijken naar de foto én naar de tekst, precies zoals een mens dat doet.

Stel je voor dat de robot twee brillen opzet:

• Bril 1 (Voor de foto): Deze bril laat zien waar mensen normaal kijken op een foto. Als er een vraag is over een auto, wijst deze bril naar de auto en niet naar de lucht.
• Bril 2 (Voor de tekst): Deze bril laat zien welke woorden in een zin belangrijk zijn. Als de vraag is "Wat is de kleur van de auto?", dan wijst deze bril naar het woord "kleur" en negeert hij de rest.

MULAN combineert deze twee brillen. De robot leert niet alleen wat er in de foto staat, maar ook waar hij moet kijken en welke woorden hij moet lezen om het juiste antwoord te vinden.

3. Hoe werkt het in de praktijk?

De onderzoekers hebben dit getest met een heel moeilijke dataset (VQAv2), die vol staat met vragen die voor een computer lastig zijn.

• De prestatie: MULAN scoort beter dan alle andere robots op dit moment (ongeveer 74% correct).
• De efficiëntie: Wat nog indrukwekkender is: deze robot is veel "slanker". Hij heeft 80% minder hersencellen (rekenkracht) nodig dan de vorige recordhouders. Het is alsof je een Ferrari bouwt die net zo snel is als een Formule 1-auto, maar met de helft van de brandstof.

4. Waarom is dit zo cool? (De "Jump to Conclusions" test)

Mensen en robots hebben een slechte gewoonte: als ze een lange zin lezen, stoppen ze vaak al na de eerste paar woorden met denken en geven ze een antwoord.

• Voorbeeld: Als de vraag is "Wat is de kleur van de auto die de man in de rode jas naast de grote boom aan de overkant van de straat aan het wassen is?", dan kijkt een oude robot misschien alleen naar "man" en "auto" en raadt hij "rood".

MULAN, dankzij zijn "menselijke bril", leert om de hele zin te lezen. De onderzoekers zagen dat MULAN veel beter scoort op lange, ingewikkelde vragen. Hij leest echt mee, in plaats van te gissen.

Conclusie

Kortom: MULAN is een slimme robot die leert kijken en lezen zoals een mens. Door te laten zien waar mensen normaal kijken (zowel op foto's als in teksten), wordt de robot slimmer, sneller en betrouwbaarder. Het bewijst dat als we computers laten leren van onze eigen aandacht, ze veel beter worden in het begrijpen van onze wereld.

Technische samenvatting

Probleemstelling

Visual Question Answering (VQA) is een complexe taak die de integratie vereist van computer vision en natuurlijke taalverwerking (NLP). Bestaande state-of-the-art methoden maken gebruik van neurale attentiemechanismen (vaak gebaseerd op Transformers) om relaties tussen een afbeelding en een vraag te modelleren. Een groeiend aantal studies heeft aangetoond dat het integreren van menselijke aandacht (human-like attention) als supervisiessignaal de prestaties van neurale netwerken kan verbeteren.

Echter, tot nu toe was deze integratie beperkt tot unimodale toepassingen:

1. Menselijke aandacht werd alleen gebruikt voor afbeeldingen, niet voor tekst.
2. Er bestond geen methode die menselijke aandacht voor zowel tekst als afbeeldingen gelijktijdig integreerde, ondanks dat VQA een inherent multimodaal probleem is.
3. Bestaande methoden die menselijke aandacht gebruiken, zijn vaak zeer parameterzwaar.

De auteurs stellen dat het ontbreken van een multimodale integratie van menselijke aandacht (zowel voor de vraag als het beeld) een beperking vormt voor het volledig benutten van de potentie van VQA-modellen.

Methodologie: MULAN

De auteurs introduceren MULAN (Multimodal Human-like Attention Network), de eerste methode die menselijke aandacht voor zowel tekst als afbeeldingen integreert tijdens het trainen van VQA-modellen.

Kernarchitectuur:

• Basis: Het model bouwt voort op de MCAN (Modular Co-Attention Network) architectie, een Transformer-gebaseerd model dat zelf-attentie (SA) en geleide attentie (GA) modules combineert.
• Feature Representatie:
  • Afbeeldingen: Ruimtelijke grid-features (geëxtraheerd via Faster R-CNN met ResNet-50 backbone), zonder object-proposals.
  • Tekst: Woord-embeddings (GloVe) verwerkt door een LSTM.

Integratie van Menselijke Aandacht:
MULAN integreert twee state-of-the-art modellen voor menselijke aandacht in de self-attention lagen van MCAN:

1. Tekst (TSM): Het Text Saliency Model (Sood et al., 2020b) voorspelt aandachtsgewichten voor elk token in de vraag. Dit model is vooraf getraind op synthetische data (cognitieve leesmodellen) en echte oogvolgingsdata.
2. Afbeelding (MDS): Het Multi-Duration Saliency model (Fosco et al., 2020) voorspelt menselijke aandacht voor verschillende kijkduren. Voor de integratie wordt de output voor een kijkduur van 3 seconden gebruikt.

Technische Implementatie:

• De menselijke aandachtsgewichten ($\alpha$) worden vermenigvuldigd met de attentiescores in de self-attention functie. De formule wordt aangepast van $softmax(qK^T/\sqrt{d})V$ naar $softmax(q_i K^T \cdot \alpha_i / \sqrt{d})V$.
• Timing van Integratie:
  • Tekst: Geïntegreerd in de eerste SA-laag van de encoder. De auteurs motiveren dit met het feit dat token-mixing in latere lagen de oorspronkelijke input onherkenbaar maakt, waardoor re-weighting minder effectief is.
  • Afbeelding: Geïntegreerd in de SA-module na de eerste GA-module (die tekst en beeld combineert). Dit zorgt ervoor dat tekst-afhankelijke features kunnen interageren voordat de menselijke beeld-aandacht wordt toegepast.
• Training: Het TSM-model wordt gezamenlijk (jointly) getraind met het MCAN-framework en fijntunend (fine-tuned) tijdens het VQA-trainingproces.

Belangrijkste Bijdragen

1. Eerste Multimodale Integratie: MULAN is de eerste methode die menselijke aandacht gelijktijdig integreert voor zowel tekst als afbeeldingen in een VQA-context.
2. Efficiëntie: Ondanks de toevoeging van extra modellen, vereist MULAN aanzienlijk minder trainbare parameters dan bestaande state-of-the-art modellen (ongeveer 80% minder dan de grote variant van MCAN).
3. Inzicht in Complexiteit: Door middel van analyse van succes- en faalgevallen wordt inzicht gegeven in hoe menselijke aandacht helpt bij het beantwoorden van moeilijke, langere vragen.

Resultaten

Het model is geëvalueerd op het uitdagende VQAv2-dataset.

• Prestaties:
  • Test-std: 73,98% nauwkeurigheid (nieuw state-of-the-art).
  • Test-dev: 73,72% nauwkeurigheid.
  • Dit is een verbetering ten opzichte van de vorige state-of-the-art (Li et al., 2020: 73,82% op test-std).
• Ablatie Studies:
  • Integratie van alleen tekst-aandacht of alleen beeld-aandacht leverde een verbetering op ten opzichte van de basis (geen integratie), maar de multimodale integratie (MULAN) presteerde het beste.
  • Integratie in de eerste lagen van de encoder en decoder bleek optimaal; integratie in diepere lagen leidde tot prestatieverlies.
• Analyse per Vraagtype:
  • MULAN presteerde consistent beter dan baselines in 10 van de 12 vraagcategorieën (zoals activiteitsherkenning en sentimentanalyse).
  • Er was een significante verbetering voor langere vragen (7 tokens of meer), wat suggereert dat menselijke aandacht helpt om het "jumping to conclusions"-gedrag (waarbij modellen te snel een antwoord kiezen op basis van de eerste woorden) te verminderen.
• Parameter Efficiency: MULAN (58M parameters) is aanzienlijk lichter dan MCAN Large (203M parameters) en presteert beter.

Betekenis en Conclusie

Dit werk onderstreept het potentieel van het combineren van menselijke en neurale aandacht voor multimodale taken. De resultaten tonen aan dat:

1. Menselijke aandacht als supervisiessignaal effectief is om neurale netwerken te leiden naar relevante beeld- en tekstgebieden.
2. Een multimodale aanpak (zowel tekst als beeld) essentieel is voor VQA, omdat de interactie tussen de modaliteiten cruciaal is voor het begrijpen van de vraag.
3. Het mogelijk is om state-of-the-art prestaties te behalen met een efficiënter model (minder parameters), wat de schaalbaarheid en toepasbaarheid van dergelijke modellen verbetert.

De auteurs concluderen dat MULAN een belangrijke stap is in het overbruggen van de kloof tussen cognitieve modellen van menselijke waarneming en diep leeren voor multimodale AI.