Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

Technische Samenvatting: Visuele Woordzinontwarring met CLIP door Dual-Channel Tekstprompting en Beeldaugmentaties

Probleemstelling
Lexicale ambiguïteit blijft een hardnekkige uitdaging voor Large Language Models (LLM's), met name wanneer contextuele aanwijzingen onvoldoende zijn om polyseme (gerelateerde betekenissen) of homonieme (ongerelateerde betekenissen) woorden te onderscheiden. Terwijl traditionele Word Sense Disambiguation (WSD) vertrouwt op de omliggende tekst, schiet het vaak tekort in scenario's met een lage context. Visual Word Sense Disambiguation (VWSD) pakt dit aan door visuele inputs te benutten om ambiguïteit op te lossen, met als doel te identificeren welke afbeelding uit een kandidaatenselectie de beoogde betekenis van een doelwoord binnen een specifieke context het beste weergeeft. Bestaande state-of-the-art benaderingen vertrouwen vaak op complexe multimodale fusie of grote externe generatoren, wat het moeilijk maakt om de specifieke bijdragen van promptingstrategieën te isoleren van verbeteringen in visuele verwerking.

Methodologie
De auteurs stellen een interpreteerbaar VWSD-framework voor dat gebouwd is op de CLIP (Contrastive Language-Image Pre-training) architectuur. Het kerndoel is om ambigue tekst en kandidaatafbeeldingen te projecteren in een gedeelde multimodale ruimte om uitlijning te bepalen via cosinusgelijkenis. De voorgestelde architectuur verbetert de standaard "vanilla" CLIP-aanpak via drie primaire mechanismen:

1. Dual-Channel Tekstprompting: In plaats van ruwe contextzinnen, verrijkt het model tekstuele embeddings met een ensemble van twee typen prompts:

   • Semantische Prompts: Nauw gedefinieerde zinnen die het doelwoord beschrijven vanuit specifieke semantische hoeken (bijv. "bank gerelateerd aan erosie").
   • Foto Prompts: Zinnen die de tekst expliciet koppelen aan visuele beschrijvingen (bijv. "een foto van bankerosie").
     Deze prompts worden gegenereerd, ge-embedded, gemiddeld binnen hun respectievelijke kanalen en gefuseerd via een gewogen som ($\beta_p$ en $\beta_s$) om een robuuste tekstuele representatie te creëren.

2. WordNet Integratie: Om de input verder te diversifiëren, incorporeert het systeem WordNet-synoniemen voor zowel het doelwoord als het contextwoord. Deze synoniemen worden gebruikt om aanvullende foto prompts te genereren, die in de gemiddelde foto embedding worden geïnfuseerd om de uiteindelijke tekstuele vector te verfijnen.

3. Beeldaugmentatie Pipeline: Om de robuustheid van visuele embeddings te verbeteren, vervangt het model single-view encoding door een uitgebreide test-time augmentatie strategie. Dit omvat:

   • Geometrische Transformaties: Horizontale spiegeling, center cropping, zoomen en willekeurige rotaties.
   • Fotometrische Transformaties: Aanpassingen in helderheid, contrast en verzadiging, samen met lichte vervaging (blur).
   • Multi-Crop Strategieën: Deterministische crops (grid patches, mid-quadrant crops) om objecten buiten het centrum te vangen.
     Elke kandidaatafbeelding wordt getransformeerd naar meerdere weergaven (bijv. 28 weergaven), onafhankelijk gecodeerd en gemiddeld om een stabiele, view-averaged image embedding te produceren.

De uiteindelijke voorspelling wordt gemaakt door de cosinusgelijkenis te berekenen tussen de verrijkte tekstuele embedding en de verrijkte beeld-embeddings, waarbij de afbeelding met de hoogste score wordt geselecteerd.

Belangrijkste Bijdragen en Experimentele Bevindingen
Het artikel evalueert de aanpak op de SemEval-2023 VWSD dataset, waarbij de voorgestelde methode wordt vergeleken met een vanilla CLIP baseline en diverse ablatie-configuraties.

• Prestatiewinst: Het verrijken van embeddings met dual-channel prompting en beeldaugmentaties verbeterde de Mean Reciprocal Rank (MRR) van 0.7227 naar 0.7590 en de Hit Rate van 0.5810 naar 0.6220 op de testset.
• Ablatie-inzichten:
  • Prompting vs. Augmentatie: De ablatie-studies laten zien dat dual-channel prompting sterke, low-latency prestaties levert (MRR 0.75, Hit@1 ~0.625) met een end-to-end latentie van ~63ms. In contrast hiermee leverde agressieve beeldaugmentatie alleen marginale winst op (MRR ~0.72) terwijl het een aanzienlijke computationele kost met zich meebracht (710ms latentie).
  • Verminderde Meeropbrengst: Het combineren van zowel prompting als augmentatie leverde geen additieve voordelen op; de gecombineerde aanpak presteerde slechter dan prompting alleen in termen van efficiëntie en bood beperkte prestatiewinst, wat suggereert dat er sprake is van verminderde meeropbrengst van visuele diversiteit wanneer semantische sturing al aanwezig is.
• Beperkingen van Externe Kennis:
  • WordNet Definities: Het integreren van WordNet-definities toonde aan dat hoewel een gewogen gemiddelde (15% definitie, 85% context) lichte verbeteringen bood, het volledig vervangen van de context door definities de prestaties verslechterde.
  • Meertalige Vertaling: Experimenten met het vertalen van prompts naar Spaans, Frans en Duits vertoonden consistent een verslechtering van de prestaties. De auteurs wijten dit aan vertaalfouten en de "verwatering" van de semantische specificiteit bij het middelen van embeddings over verschillende talen.
  • Baseline Vergelijking: Een baseline die BERT voor tekst en BLIP voor beeldbeschrijving gebruikte, faalde (0% hit rate), wat de noodzaak onderstreept van een verenigde embedding space zoals geboden door CLIP voor betekenisvolle cross-modale vergelijking.

Significantie en Claims
Het artikel positioneert de significantie niet in het behalen van de absoluut hoogste nauwkeurigheid vergeleken met de top SemEval-2023 systemen (die ~84-85% Hit@1 bereikten met grotere, complexere modellen), maar in het bieden van een interpreteerbaar framework dat de bijdragen van specifieke ontwerpkeuzes isoleert.

De auteurs beweren dat:

1. Precisie boven Ruis: Voor CLIP-gebaseerde VWSD zijn precieze, eenzijdige, met CLIP gealigneerde prompts effectiever dan ruisige externe signalen zoals meertalige vertalingen of excessieve WordNet-definities.
2. Efficiëntie vs. Complexiteit: Semantische prompting is een computationeel efficiënte strategie die significante disambiguatiekracht biedt, terwijl agressieve beeldaugmentatie substantiële overhead introduceert met beperkte resultaten.
3. Modulariteit: De studie toont aan dat een modulaire aanpak, die complexe fusiemechanismen (zoals GNN's of vision-LLM stacks) vermijdt, effectief kan evalueren hoe low-cost ontwerpkeuzes de validatiemetrieken beïnvloeden onder strikte latentiebudgetten.

De auteurs concluderen dat hoewel er een gat blijft tussen hun resultaten en state-of-the-art systemen, hun werk een fundament legt voor het begrijpen van component-niveau bijdragen aan disambiguatie, waarbij de nadruk ligt op interpreteerbaarheid en duurzame inferentiekosten.