ViCLIP-OT: The First Foundation Vision-Language Model for Vietnamese Image-Text Retrieval with Optimal Transport

Dit paper introduceert ViCLIP-OT, het eerste fundamentele vision-language model voor Vietnamese beeld-tekstretrieval, dat door middel van een door Optimal Transport geregulariseerde verliesfunctie de bestaande prestaties aanzienlijk verbetert in zowel in-domein als zero-shot scenario's.

De kern

ViCLIP-OT: De slimme tolk voor Vietnamese foto's en teksten

Stel je voor dat je een enorme bibliotheek hebt, maar de boeken zijn geschreven in een taal die de meeste computers niet begrijpen: het Vietnamees. Als je een computer vraagt om een foto van een "drakenfestival" te vinden, kan de computer vaak niet helpen, omdat de meeste slimme AI-modellen (zoals CLIP) zijn getraind op Engelse data. Ze zien de foto, maar begrijpen de Vietnamese beschrijving er niet bij.

De auteurs van dit papier hebben een oplossing bedacht: ViCLIP-OT. Dit is een nieuw, slim computermodel dat specifiek is getraind om Vietnamese foto's en teksten aan elkaar te koppelen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Twee Werelden die niet praten

Normaal gesproken leert een computermodel door foto's en teksten te vergelijken. Het probeert te leren dat een foto van een hond en het woord "hond" bij elkaar horen. Maar bij Vietnamese data is er een probleem: er zijn niet genoeg voorbeelden, en de manier waarop computers "denken" over beelden en woorden is vaak anders. Het is alsof je probeert twee mensen aan een tafel te zetten die verschillende dialecten spreken; ze kunnen wel luisteren, maar ze snappen niet precies wat de ander bedoelt.

2. De Oplossing: ViCLIP-OT (De Slimme Matchmaker)

ViCLIP-OT is als een supergetrainde matchmaker die twee dingen doet:

• De Basis (CLIP): Het gebruikt een bestaande, sterke techniek (CLIP) die leert: "Deze foto en deze zin lijken op elkaar." Dit is als het leren van basiswoorden.
• De Innovatie (SIGROT): Hier komt het magische deel. Het model gebruikt een techniek genaamd "Optimal Transport" (Optimaal Transport).

De Analogie van de Verhuizing:
Stel je voor dat je een verhuizing doet. Je hebt een kamer vol met dozen (foto's) en een kamer vol met labels (teksten).

• Een gewoon model kijkt naar elke doos en probeert één label te plakken. Soms plakt het het verkeerde label op een doos, of het negeert dat er een verband is tussen twee andere dozen.
• ViCLIP-OT kijkt naar de hele kamer. Het gebruikt een "gelijkheidskaart" (een Similarity Graph). Het ziet: "Oh, deze drie dozen hebben allemaal een rode auto erop, en die drie labels gaan over auto's."
• Het model berekent dan de beste manier om alle dozen naar de juiste labels te verplaatsen, zodat de hele groep perfect matcht, zonder dat er chaos ontstaat. Het zorgt ervoor dat niet alleen één foto bij één tekst past, maar dat de gehele verzameling logisch en consistent is.

3. Waarom werkt dit zo goed?

Het papier laat zien dat ViCLIP-OT veel beter presteert dan de oude modellen, zelfs als het model nog nooit die specifieke foto's heeft gezien (dit noemen ze "zero-shot").

• Beter in het dagelijks leven: Op Vietnamese datasets (zoals foto's van drukke straten of lokale festivals) scoort het model veel hoger. Het kan bijvoorbeeld een foto van een meisje in een traditionele Ao dai (jurk) veel beter koppelen aan de juiste Vietnamese tekst dan de concurrenten.
• Minder verwarring: De onderzoekers keken ook in de "hersenen" van het model. Ze zagen dat bij oude modellen de foto's en de woorden in verschillende hoeken van het geheugen zaten (een "modality gap"). Bij ViCLIP-OT zitten ze dicht bij elkaar, alsof ze in dezelfde kamer zitten en elkaar kunnen horen.

4. Wat betekent dit voor de toekomst?

Dit is het eerste grote model dat specifiek is gemaakt voor het Vietnamese taalgebied op deze schaal.

• Voor de gebruiker: Je kunt straks makkelijker zoeken op Vietnamese websites of apps. "Zoek foto's van regenbomen in Hanoi" werkt dan veel beter.
• Voor de wereld: Het bewijst dat je niet alleen Engels hoeft te gebruiken om slimme AI te bouwen. Met de juiste techniek (zoals die "verhuis"-methode) kunnen ook talen die minder vaak voorkomen, net zo goed worden bediend door slimme computers.

Kortom: ViCLIP-OT is als een tolk die niet alleen woorden vertaalt, maar ook de sfeer en de context begrijpt, zodat foto's en teksten in het Vietnamees eindelijk perfect met elkaar kunnen dansen.

Technische samenvatting

Probleemstelling

Bestaande vision-language modellen (zoals CLIP en SigLIP) zijn grotendeels geoptimaliseerd voor talen met veel beschikbare data, zoals het Engels. Voor talen met minder data, zoals het Vietnamees, vormen de beperkte beschikbaarheid van grote beeld-tekst datasets en de afwezigheid van gespecialiseerde voorgeprogrammeerde modellen een grote uitdaging.

• Vertaalprobleem: Een veelgebruikte oplossing is het vertalen van Vietnamees naar Engels en het gebruik van Engelstalige modellen. Dit introduceert echter vertaalfouten (ruis) en gaat vaak ten koste van de specifieke nuances en betekenissen van de taal.
• Modality Gap: Bestaande contrastieve leermodellen zorgen vaak voor een "modality gap", waarbij beeld- en tekstembeddings in verschillende gebieden van de latente ruimte blijven hangen, wat de kruismodaliteitsretrieval belemmert.

Methodologie: ViCLIP-OT

Het paper introduceert ViCLIP-OT, een fundamenteel vision-language model specifiek ontworpen voor het Vietnamees. De architectuur combineert een CLIP-achtige dual-encoder met een nieuw verliesmechanisme gebaseerd op Optimal Transport (OT).

1. Architectuur:

• Dual-Encoder: Het model gebruikt twee towers die beelden en teksten projecteren naar een gedeelde embeddingsruimte.
  • Beeldencoder: Gebaseerd op DINOv3 (een Vision Transformer), voor het extraheren van visuele kenmerken.
  • Tekstencoder: Een voorgetraind Vietnamese Sentence-BERT (SBERT) model, getraind op grote Vietnamese corpora.
• Hybride Trainingsdoel: Het model wordt getraind met een combinatie van een contrastief verlies en een OT-gebaseerde regularisatie.

2. De SIGROT Loss (Similarity-Graph Regularized Optimal Transport):
Dit is de kerninnovatie van het paper. Waar standaard CLIP alleen op "instance-level" (paarsgewijs) werkt, introduceert SIGROT een "distribution-level" perspectief.

• Similarity Graph: Voor elke trainingsbatch wordt een graaf geconstrueerd die de relaties tussen alle samples binnen de batch encodeert (zowel binnen dezelfde modality als tussen modaliteiten).
• Optimal Transport (OT): Een OT-oplosser wordt gebruikt om een transportplan te vinden dat beelden en teksten op een manier matcht die de globale structurele samenhang van de batch respecteert.
• Unbalanced OT: Het model maakt gebruik van Unbalanced Optimal Transport (UOT) om om te gaan met ruis (bijv. achtergrondclutter in beelden of niet-visuele woorden in teksten) door de randvoorwaarden te versoepelen.
• Doel: Dit mechanisme zorgt voor een betere globale uitlijning en vermindert de modality gap door niet alleen individuele paren te matchen, maar ook de verdelingsrelaties binnen de batch te optimaliseren.

Belangrijkste Bijdragen

1. Eerste Foundation Model voor Vietnamees: ViCLIP-OT is het eerste foundation vision-language model op deze schaal dat specifiek is ontwikkeld voor het Vietnamees, zonder afhankelijkheid van vertalingen.
2. SIGROT Loss: De introductie van een Similarity-Graph Regularized Optimal Transport loss die de globale structurele consistentie tussen modaliteiten verbetert en de modality gap verkleint.
3. State-of-the-Art Prestaties: Het model presteert superieur in zowel in-domain als zero-shot scenario's op drie verschillende Vietnamese benchmarks.
4. Open Source: De voorgeprogrammeerde modellen en de code zijn publiek beschikbaar gesteld om reproduceerbaarheid en toekomstig onderzoek te stimuleren.

Experimentele Resultaten

Het model is getest op drie datasets: UIT-OpenViIC (groot, open domein), KTVIC (dagelijks leven in Vietnam) en Crossmodal-3600 (multilinguaal, geografisch divers).

• In-Domain (UIT-OpenViIC):

  • ViCLIP-OT behaalde een gemiddelde Recall@K van 67,34%.
  • Dit is een verbetering van 5,75 procentpunten ten opzichte van de standaard CLIP-baseline.
  • De variant met SigLIP (ViSigLIP-OT) deed het zelfs nog beter met 68,96%.
  • Het presteerde aanzienlijk beter dan grote multilinguale modellen (zoals Jina CLIP v2 en Qwen3-VL) in zero-shot settings.

• Zero-Shot Evaluatie:

  • Op Crossmodal-3600 (Vietnamese captions) overtrof ViCLIP-OT CLIP met 11,72 procentpunten (56,85% vs 45,13% gemiddelde Recall).
  • Op KTVIC (na verwijdering van near-duplicates) toonde het model sterke generalisatievermogen.

• Kwaliteit van de Embedding Ruimte:

  • Modality Gap: De analyse toont aan dat SIGROT de afstand tussen de centroids van beeld- en tekstembeddings aanzienlijk verkleint (bijv. van 0,5843 bij SigLIP naar 0,3177 bij ViSigLIP-OT).
  • Visualisatie (UMAP): Visualisaties tonen dat ViCLIP-OT een dichter geklonterde ruimte creëert waar beelden en teksten beter geïntegreerd zijn vergeleken met baselines.
  • GradCAM: Visualisaties van de aandacht van het model tonen aan dat ViCLIP-OT scherper focust op semantisch relevante objecten in de afbeelding (bijv. een meisje in een Ao Dai) in plaats van op achtergrondruis.

Betekenis en Conclusie

ViCLIP-OT bewijst dat het integreren van Optimal Transport met contrastief leren een effectieve en schaalbare strategie is voor kruismodaliteitsretrieval in talen met beperkte data.

• Technische Impact: Het paper lost het probleem op van de "modality gap" door gebruik te maken van structurele regularisatie, wat leidt tot een coherenter gedeelde latente ruimte.
• Praktische Toepassing: Het biedt een robuuste basis voor intelligente multimediaretrievalsystemen in het Vietnamees en andere ondervertegenwoordigde taalkontexten.
• Toekomst: De resultaten suggereren dat OT-gebaseerde methoden een veelbelovende richting zijn voor de volgende generatie multimodale systemen, met potentie voor uitbreiding naar vraag-antwoordsystemen en multimodale redenering.