Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

Sintesi Tecnica: Disambiguazione del Senso delle Parole Visive tramite CLIP attraverso il Dual-Channel Text Prompting e l'Augmentation delle Immagini

Problematica
L'ambiguità lessicale rimane una sfida persistente per i Large Language Models (LLM), in particolare quando gli indizi contestuali sono insufficienti per distinguere tra parole polisemiche (significati correlati) o omonime (significati non correlati). Mentre la tradizionale Disambiguazione del Senso delle Parole (WSD) si basa sul contesto testuale circostante, essa spesso fallisce in scenari a basso contesto. La Disambiguazione del Senso delle Parole Visive (VWSD) affronta questo problema sfruttando input visivi per risolvere l'ambiguità, con l'obiettivo di identificare quale immagine da un set di candidati rappresenti meglio il senso inteso di una parola target all'interno di un contesto specifico. Gli attuali approcci allo stato dell'arte spesso si affidano a fusioni multimodali complesse o a grandi generatori esterni, rendendo difficile isolare i contributi specifici delle strategie di prompting rispetto ai miglioramenti del processing visivo.

Metodologia
Gli autori propongono un framework VWSD interpretabile basato sull'architettura CLIP (Contrastive Language-Image Pre-training). L'obiettivo principale è proiettare il testo ambiguo e le immagini candidate in uno spazio multimodale condiviso per determinare l'allineamento tramite la similarità del coseno. L'architettura proposta potenzia l'approccio "vanilla" di CLIP attraverso tre meccanismi primari:

1. Dual-Channel Text Prompting: Invece di utilizzare frasi di contesto grezze, il modello arricchisce gli embedding testuali utilizzando un ensemble di due tipi di prompt:

   • Semantic Prompts: Frasi strettamente definite che descrivono la parola target da angoli semantici specifici (ad es., "bank related to erosion").
   • Photo Prompts: Frasi che collegano esplicitamente il testo a descrizioni visive (ad es., "a photo of bank erosion").
     Questi prompt vengono generati, incorporati (embedded), mediati all'interno dei rispettivi canali e fusi tramite una somma pesata ($\beta_p$ e $\beta_s$) per creare una rappresentazione testuale robusta.

2. Integrazione con WordNet: Per diversificare ulteriormente l'input, il sistema incorpora sinonimi di WordNet sia per la parola target che per la parola di contesto. Questi sinonimi vengono utilizzati per generare ulteriori photo prompt, che vengono infusi nel mean photo embedding per raffinare il vettore testuale finale.

3. Pipeline di Image Augmentation: Per migliorare la robustezza degli embedding visivi, il modello sostituisce l'encoding a singola vista con una strategia completa di test-time augmentation. Questa include:

   • Trasformazioni Geometriche: Mirroring orizzontale, center cropping, zoom e rotazioni casuali.
   • Trasformazioni Fotometriche: Jitter di luminosità, contrasto e saturazione, insieme a un leggero blur.
   • Strategie Multi-Crop: Crop deterministici (grid patches, mid-quadrant crops) per catturare oggetti fuori centro.
     Ogni immagine candidata viene trasformata in molteplici viste (ad es., 28 viste), codificata indipendentemente e mediata per produrre un embedding d'immagine stabile e mediato per vista.

La previsione finale viene effettuata calcolando la similarità del coseno tra l'embedding testuale arricchito e gli embedding delle immagini arricchiti, selezionando l'immagine con il punteggio più alto.

Contributi Chiave e Risultati Sperimentali
Il paper valuta il proprio approccio sul dataset SemEval-2023 VWSD, confrontando il metodo proposto con un baseline CLIP vanilla e varie configurazioni di ablazione.

• Guadagni di Performance: L'arricchimento degli embedding con il dual-channel prompting e l'augmentation delle immagini ha migliorato il Mean Reciprocal Rank (MRR) da 0.7227 a 0.7590 e l'Hit Rate da 0.5810 a 0.6220 sul set di test.
• Insight dall'Ablazione:
  • Prompting vs. Augmentation: Gli studi di ablazione rivelano che il dual-channel prompting fornisce prestazioni robuste e a bassa latenza (MRR 0.75, Hit@1 ~0.625) con una latenza end-to-end di ~63ms. Al contrario, l'uso aggressivo della sola augmentation delle immagini ha prodotto solo guadagni marginali (MRR ~0.72) comportando un costo computazionale significativo (710ms di latenza).
  • Rendimento Decrescente: Combinare sia il prompting che l'augmentation non ha prodotto benefici additivi; l'approccio combinato ha performato peggio del solo prompting in termini di efficienza e ha offerto guadagni di performance limitati, suggerendo rendimenti decrescenti dalla diversità visiva quando la guida semantica è già presente.
• Limitazioni della Conoscenza Esterna:
  • Definizioni WordNet: L'integrazione delle definizioni di WordNet ha mostrato che, sebbene una media pesata (15% definizione, 85% contesto) offrisse lievi miglioramenti, sostituire interamente il contesto con le definizioni degradava le prestazioni.
  • Traduzione Multilingue: Esperimenti traducendo i prompt in spagnolo, francese e tedesco hanno costantemente degradato le prestazioni. Gli autori attribuiscono ciò agli errori di traduzione e alla "diluizione" della specificità semantica quando si mediano gli embedding attraverso diverse lingue.
• Confronto con il Baseline: Un baseline che utilizza BERT per il testo e BLIP per la captioning delle immagini è fallito (0% hit rate), sottolineando la necessità di uno spazio di embedding unificato fornito da CLIP per un confronto cross-modale significativo.

Significatività e Rivendicazioni
Il paper posiziona la propria significatività non nell'aver raggiunto l'accuratezza assoluta più elevata rispetto ai top sistemi SemEval-2023 (che hanno raggiunto ~84-85% di Hit@1 usando modelli più grandi e complessi), ma nel fornire un framework interpretabile che isola i contributi di specifiche scelte di design.

Gli autori affermano che:

1. Precisione sopra il Rumore: Per il VWSD basato su CLIP, i prompt precisi, monolingue e allineati a CLIP sono più efficaci di segnali esterni rumorosi come le traduzioni multilingue o l'eccessiva quantità di definizioni di WordNet.
2. Efficienza vs. Complessità: Il prompting semantico è una strategia computazionalmente efficiente che offre un significativo potere di disambiguazione, mentre l'aggressive image augmentation introduce un overhead sostanziale con ritorni limitati.
3. Modularità: Lo studio dimostra che un approccio modulare, evitando meccanismi di fusione complessi (come GNN o stack di vision-LLM), può valutare efficacemente come le scelte di design a basso costo impattino le metriche di validazione sotto rigidi budget di latenza.

Gli autori concludono che, sebbene rimanga un divario tra i loro risultati e i sistemi allo stato dell'arte, il loro lavoro stabilisce una base per comprendere i contributi a livello di componente alla disambiguazione, privilegiando l'interpretabzza e i costi di inferenza sostenibili.