Attention Mechanism based Cognition-level Scene Understanding

Probleemstelling

Visueel begrip (visual understanding) is een lang bestaand onderzoeksgebied, maar bestaande systemen zijn vaak beperkt tot herkenningsniveau (objectdetectie, classificatie) en missen het vermogen tot cognitief niveau inferentie. De Visual Commonsense Reasoning (VCR) taak stelt een grote uitdaging aan AI-systemen: het vereist niet alleen het beantwoorden van vragen over een afbeelding, maar ook het leveren van een onderbouwing (rationale) die gebaseerd is op wereldkennis en gezond verstand.

Bestaande oplossingen voor VCR kampen met twee hoofdproblemen:

1. Afhankelijkheid van pre-training: Veel modellen (zoals ERNIE-ViL en UNITER) vereisen enorme pre-training datasets, wat hun generalisatievermogen op andere taken beperkt.
2. Verlies van informatie in lange sequenties: Methoden die gebruikmaken van sequentiële encoding (zoals BiLSTM of lange-afhankelijkheidsmodellen) verliezen vaak waardevolle gemeenschappelijke kennis (commonsense) en hebben moeite met het modelleren van lange-afstandsafhankelijkheden tussen zinnen, wat leidt tot inefficiëntie en inferentiefouten.

Methodologie: Het PAVCR-model

De auteurs stellen PAVCR (Parallel Attention-Based Visual Commonsense Reasoning) voor, een netwerk dat visuele en tekstuele informatie efficiënt fuseert en semantische informatie parallel encodeert om cognitieve inferentie mogelijk te maken. Het model bestaat uit vier lagen:

1. Feature Representation Layer:

   • Beeld: Objecten worden geëxtraheerd uit de afbeelding (met bounding boxes) via een ResNet50-backbone met RoiAlign.
   • Taal: Vragen en antwoorden worden omgezet in embeddings. Speciale tags (bijv. [0,1]) verwijzen naar objecten in de afbeelding om de link tussen taal en visie te versterken.

2. Multimodale Feature Fusion Layer:

   • Deze laag gebruikt een parallelle structuur om visuele en tekstuele informatie te combineren zonder de locatie-informatie te verliezen.
   • Teksttak: Gebruikt multi-head attention om semantische informatie uit woorden te halen.
   • Visuele tak: Voegt positie-encoding toe aan objectfeatures en fuseert deze met de tekstuele informatie.
   • Fusie-eenheid: Een tekst-object fusie-eenheid leert contextuele semantiek door beide modaliteiten te combineren.

3. Commonsense Encoder Layer:

   • Dit is het kernonderdeel voor cognitieve inferentie. Het bevat $N$ blokken met co-attention (kruis-attention tussen zinnen) en self-attention.
   • Parallelle structuur: In tegenstelling tot sequentiële modellen (zoals RNN/LSTM), verwerkt deze laag informatie parallel, wat het verlies van informatie bij lange zinnen minimaliseert.
   • Geheugencel (Memory Cell): Een lees-/schrijfbare externe geheugencel slaat de afgeleide commonsense kennis op. Dit stelt het model in staat om eerdere kennis te gebruiken voor consistente inferentie, vergelijkbaar met hoe mensen redeneren.

4. Prediction Layer:

   • Een attentiereductie-eenheid selecteert de meest significante informatie uit de encoder.
   • Een Multi-Layer Perceptron (MLP) voert de uiteindelijke classificatie uit voor het antwoord en de onderbouwing (rationale).

Belangrijkste Bijdragen

1. Theoretische Analyse en Nieuwe Architectuur: De auteurs analyseren de tekortkomingen van eerdere werken (zoals DMVCR) die afhankelijk zijn van sequentiële berekeningen. Ze introduceren een parallelle attentiestructuur die de operationele complexiteit verlaagt en lange-afstandsafhankelijkheden beter aanpakt.
2. Innovatieve Multimodale Fusie: Een nieuwe fusilaag die visuele en tekstuele informatie combineert, wat leidt tot aanzienlijke prestatieverbeteringen.
3. Parallelle Commonsense Encoder: Een encoder met een parallelle co-attention-mechanisme en een geheugencel die informatieverlies voorkomt en kennis opslaat tussen vragen en antwoorden.
4. Uitgebreide Validatie: Het artikel bevat grondige vergelijkingen met state-of-the-art methoden, ablatiestudies en kwalitatieve analyses (case studies) op real-world data.

Resultaten

De prestaties van PAVCR zijn getest op het standaard VCR-dataset (290k voorbeelden) en vergeleken met bestaande modellen zoals R2C, DMVCR, CAN, MUTAN en MLB.

• Prestaties (mAP): PAVCR behaalde de hoogste scores op alle drie de subtaken:
  • Q → A (Vraag naar Antwoord): 73.1% (2.8% verbetering ten opzichte van de beste baseline, CAN).
  • QA → R (Vraag+Antwoord naar Rationale): 74.2%.
  • Q → AR (Vraag naar Antwoord + Rationale): 49.2% (3.1% verbetering).
• Efficiëntie: In vergelijking met het BiLSTM-gebaseerde DMVCR-model:
  • Inferentie tijd: Verminderd met 2.8% (van 1.60s naar 1.20s).
  • Geheugengebruik: Verminderd met 3.1% (van 4.7 GB naar 3.3 GB).
• Ablatiestudies: Het verwijderen van de multimodale fusilaag of het vervangen van de commonsense encoder door een woordenboek-gebaseerde encoder leidde tot significante prestatiedalingen, wat de effectiviteit van de voorgestelde architectuur bevestigt.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een oplossing biedt voor het "cognitieve gat" in visuele AI zonder zware pre-training te vereisen. Door gebruik te maken van parallelle attention-mechanismen en een geheugencel, kan het model complexe redeneringen uitvoeren die nodig zijn voor toepassingen zoals:

• Geautomatiseerde voertuigsystemen.
• Klinische besluitvorming (zoals geanalyseerd in de kwalitatieve voorbeelden over medische situaties).
• Visuele vraag-antwoordsystemen (VQA) met menselijke interpretatie.

De auteurs concluderen dat PAVCR niet alleen de prestaties verbetert, maar ook een intuïtieve interpretatie biedt van visuele commonsense redenering. Toekomstig werk richt zich op het onderzoeken van bias in visuele redenering en het uitbreiden van het kader naar dynamische contexten (bijv. video's).