Technische Samenvatting: Voorbij het Letterlijke: Decompositie van Pragmatische Intentie in Multimodale Meme-begrip

1. Probleemdefinitie

Large Vision Language Models (LVLMs) hebben momenteel moeite met het interpreteren van multimodale memes en sarcastische berichten wanneer de communicatieve intentie van de auteur afwijkt van de letterlijke inhoud. Wanneer ze worden geconfronteerd met een meme (bijv. een vrolijke hond met het bijschrift "nog een geweldige maandag"), neigen LVLMs naar het genereren van letterlijke beschrijvingen van de visuele en tekstuele elementen, in plaats van de onderliggende pragmatische betekenis (bijv. klagen over werk) af te leiden.

Bestaande benaderingen behandelen intentie vaak als een end-to-end classificatie- of generatietarget dat getraind wordt op de volledige gefuseerde beeld-tekstrepresentatie. Dit verstrengelt het letterlijke signaal (wat wordt afgebeeld/gezegd) met het pragmatische signaal (waarom het is gezegd). Gevolgelijkertijd, wanneer letterlijke kenmerken (bijv. een glimlachend gezicht of positieve woorden) de representatie domineren, vervalt de decoder in "letterlijke collaps", waarbij de oppervlaktekenmerken worden herhaald ongeacht het supervisielabel. Dit falen is het meest acuut in scenario's met een hoge divergentie, waar de beoogde betekenis scherp contrasteert met de oppervlakkige vorm.

2. Methodologie: Intent Projection

De auteurs stellen Intent Projection voor, een framework dat is ontworpen om letterlijke en pragmatische signalen structureel te scheiden binnen een enkel LVLM-backbone over drie niveaus: representatie, output en objectief.

A. Representatieniveau: Pragmatic Projection

De kerninnovatie is een orthogonale projectiemodule die de pragmatische residu isoleert van de gefuseerde representatie.

• Mechanisme: Het model berekent een gefuseerde vector $c$ uit de beeld- en tekstsamenvattingen. Vervolgens identificeert het de "letterlijke subspace" gespannen door de unimodale samenvattingen van de afbeelding ($u_v$) en de tekst ($u_t$).
• Projectie: De pragmatische vector $\hat{h}_{prag}$ wordt berekend door $c$ orthogonaal te projecteren op de subspace die orthogonaal staat op de letterlijke richtingen:
  $$\hat{h}_{prag} = (I - P_L)c$$
  waarbij $P_L$ de projectiematrix is op de letterlijke subspace. Dit verwijdert de dominante unimodale richtingen, waardoor alleen de cross-modale interactie overblijft die de intentie stuurt.
• Conditionering: $\hat{h}_{prag}$ wordt als een soft token aan de decoder gevoed. Daarnaast voorspelt een Surface-Real Affect Classifier een discrete tag uit een vierwegse cartesiaanse product van oppervlaktesentiment (pos/neg) en werkelijk sentiment (pos/neg). Deze tag (bijv. [affect: surface-pos, real-neg] voor sarcasme) dient als een persistent symbolisch anker dat de continue pragmatische vector aanvult.

B. Outputniveau: Gestructureerde Redeneerketen

Het model wordt getraind om de decompositie te externaliseren als een expliciete driedelige keten:

1. Letterlijke Observatie ($y_{lit}$): Beschrijft wat er getoond en gezegd wordt.
2. Intentie Inferentie ($y_{int}$): Lost op waarom deze twee gekoppeld zijn.
3. Definitieve Intentie ($y^*$): Verbaliseert de communicatieve intentie van de auteur.

C. Objectiefniveau: Contrastieve Reinforcement Learning

De training vindt plaats in twee stadia:

1. Fase 1 (SFT): Supervised Fine-Tuning leert de ketenformat en affect-classificatie. Targets worden verkregen via zelf-distillatie, waarbij het backbone-model de keten genereert met behulp van community-comments als hulpcontext (die niet zichtbaar zijn tijdens de inferentie).
2. Fase 2 (GRPO): Group Relative Policy Optimization wordt toegepast met een contrastieve, letterlijk-bewuste beloning. De beloningsfunctie $R(y)$ bevat:
   • Een term die de definitieve intentie $y^*$ naar de referentie-intentie trekt.
   • Een contrastieve straf ($-\lambda_1 \text{sim}(y^*, y_{lit})$) die de definitieve antwoorden expliciet wegduwt van de eigen letterlijke beschrijving van het model.
   • Beloningen voor affect-consistentie en ketenformattering.
   • Gradient Masking: Updates worden alleen toegepast op $y_{int}$ en $y^*$; $y_{lit}$ wordt vastgehouden om als stabiel referentiepunt voor het contrast te dienen.

3. Belangrijkste Bijdragen

• Herformulering van het Probleem: De auteurs identificeren "letterlijke collaps" als de primaire faalmodus in meme-begrip en herformuleren de taak als een letterlijk-pragmatische decompositieprobleem.
• Architecturale Scheiding: Ze introduceren een methode om expliciet de unimodale letterlijke richtingen uit de gefuseerde representatie te projecteren, waardoor de decoder directe toegang krijgt tot een pragmatische residu.
• Contrastieve Optimalisatie: Ze stellen een beloningsmechanisme voor dat de gelijkenis tussen de gegenereerde intentie en de letterlijke beschrijving bestraft, wat direct mikt op de scheiding van signalen in plaats van alleen op taaknauwkeurigheid.
• Zelf-distillatie: Het framework maakt gebruik van zelf-distillatie om intentie-targets uit het backbone-model zelf te extraheren, waardoor de noodzaak voor grootschalige menselijke annotatie van intentie wordt vermeden.

4. Experimentele Resultaten

De methode werd geëvalueerd over zes benchmarks (MemeReaCon, MemeCap, MET-Meme, MMSD2.0, MuSE, GOAT-Bench) met drie open-source backbones (LLaVA-OneVision-7B, Qwen3-VL-8B, InternVL3.5-8B).

• Prestatiewinst: Intent Projection presteert consistent beter dan sterke open-source baselines en verkleint de kloof met geavanceerde propriëtaire modellen (bijv. Gemini-3-Flash, GPT-5.4-mini).
  • Op de PI-G (Post Intent Generation) taak bereikte de 8B-schaal Qwen3-VL met Intent Projection 32,8% ROUGE-L, waarmee de kloof met het propriëtaire Gemini-3-Flash met ongeveer 60% werd verkleind.
• Hoge Divergentie Regime: De meest significante verbeteringen werden waargenomen op posts met een hoge letterlijke-intentie divergentie ($\Delta(x)$). Terwijl baseline-modellen sterk degradeerden op posts met een hoge divergentie, behield Intent Projection zijn prestaties en verkleinde het het prestatiekloof tussen lage en hoge divergentie tot minder dan 5%.
• Ablatie-studies:
  • Het verwijderen van de contrastieve beloning ($\lambda_1$) veroorzaakte de grootste daling in prestaties, met name op posts met een hoge divergentie, wat bevestigt dat deze essentieel is om letterlijke collaps te voorkomen.
  • Het verwijderen van de affect-head verslechterde de prestaties aanzienlijk, wat het nut van de discrete symbolische tag valideert.
  • De GRPO-fase bleek onmisbaar; SFT alleen leerde de format, maar slaagde er niet in om letterlijke collaps te voorkomen.

5. Betekenis en Claims

Het artikel claimt dat Intent Projection succesvol de "letterlijke collaps" fenomenologie in LVLMs mitigeert door een structurele scheiding van signalen af te dwingen. De auteurs stellen dat:

• Expliciete ontwarring van letterlijke en pragmatische signalen op het representatieniveau effectiever is dan simpelweg de modelparameters te schalen.
• Het framework het principe van letterlijke-pragmatische scheiding generaliseert, wat wijst op toepasbaarheid bij andere taken waarbij de spreker-betekenis afwijkt van de oppervlakkige vorm (bijv. ironie in dialoog, geïmpliceerde houding in koppen).
• De aanpak de kloof tussen open-source en propriëtaire modellen overbrugt, specifiek in scenario's die diep pragmatisch begrip vereisen in plaats van alleen oppervlakkige comprehendie.

Erkende Beperkingen: De auteurs merken op dat hun data vertekend is richting de Engelstalige westerse internetcultuur, het framework een marginale inferentie-latentie introduceert door structurele wijzigingen, en de zelf-distillatie targets afhankelijk zijn van de latente capaciteiten van het backbone-model.