Unified Vision-Language Modeling via Concept Space Alignment

Dit artikel introduceert V-SONAR, een unificatie van visie en taal in het SONAR-conceptruimte die via een post-hoc uitlijningspipeline state-of-the-art prestaties bereikt op taken zoals video-captioning en vraagbeantwoord, en dit uitbreidt tot V-LCM voor superioriteit in meer dan 60 talen.

De kern

Stel je voor dat je een enorme bibliotheek hebt, maar deze is verdeeld in twee volledig gescheiden gebouwen. In het ene gebouw staan boeken (tekst) in 1500 verschillende talen. In het andere gebouw hangen films en foto's (beeld en video). Tot nu toe konden de bibliothecarissen (de kunstmatige intelligenties) niet goed met elkaar praten. Als je een film liet zien, wisten ze niet hoe ze die in woorden moesten beschrijven, en als je een tekst gaf, konden ze die niet omzetten in een beeld.

Deze paper introduceert een revolutionaire nieuwe manier om die twee gebouwen te verbinden. Hier is het verhaal, vertaald in simpele taal:

1. De Nieuwe "Taal van de Geest": v-Sonar

De auteurs hebben een nieuw systeem gebouwd dat ze v-Sonar noemen.

• Het oude systeem (Sonar): Stel je Sonar voor als een superkrachtige vertaler die al 1500 talen van tekst en spraak perfect begrijpt. Het zet alles om in een soort "geheime code" (een wiskundig punt in de ruimte) die de betekenis van de zin vastlegt, ongeacht welke taal het is.
• Het probleem: Deze code werkte alleen voor woorden. Beelden en video's waren er niet bij.
• De oplossing (v-Sonar): Ze hebben een nieuwe brug gebouwd. Ze hebben een slimme "kijker" (een AI die goed is in het zien van video's) gekoppeld aan de Sonar-code.
  • De analogie: Stel je voor dat je een film kijkt. In plaats van dat de computer zegt "dit is een hond", zet hij de film om in dezelfde "geheime code" die hij ook gebruikt voor het woord "hond" in het Nederlands, het Japans of het Swahili.
  • Het resultaat: Nu zitten tekst, spraak, foto's en video's allemaal in één en dezelfde ruimte. Ze spreken dezelfde taal, zelfs als ze er totaal anders uitzien.

2. De Bouwmethodes: Een Trappenwerk van Leren

Hoe hebben ze deze brug gebouwd? Ze hebben niet alles in één keer geprobeerd. Ze hebben een slimme, stap-voor-stap methode gebruikt (een "curriculum"):

1. Stap 1: De ruwe schets (Beeld): Ze begonnen met 12 miljoen foto's en beschrijvingen. Dit was als het schetsen van de contouren van een tekening. De computer leerde: "Dit plaatje heeft iets te maken met dit woord."
2. Stap 2: De beweging (Video): Vervolgens gaven ze ze 2 miljoen video's. Hier leerde de computer dat beweging belangrijk is. Een hond die rent, is anders dan een hond die slaapt, ook al zijn het dezelfde woorden.
3. Stap 3: De verfijning (Menselijke kwaliteit): Tot slot gebruikten ze 200.000 video's met zeer nauwkeurige, door mensen geschreven beschrijvingen. Dit was als het polijsten van de diamant. Hierdoor werd de verbinding tussen beeld en betekenis perfect.

3. De Superheld: v-LCM

Nu ze deze brug hadden, wilden ze een "superheld" bouwen die eroverheen kan lopen. Ze namen een bestaande AI genaamd LCM (Large Concept Model).

• Het origineel: De LCM was een genie in het begrijpen van woorden. Hij kon heel goed redeneren en verhalen schrijven, maar hij was blind voor beelden.
• De transformatie (v-LCM): Omdat ze nu beelden in dezelfde "geheime code" (v-Sonar) konden zetten als woorden, hoefden ze de LCM niet opnieuw te leren kijken. Ze gaven hem gewoon de "geheime code" van de video in plaats van de video zelf.
• Het wonder: De LCM kon plotseling video's begrijpen! Hij kon een video zien en direct een verhaal schrijven of een vraag beantwoorden, zonder ooit een enkele video te hebben "gezien" tijdens zijn training. Hij deed dit puur op basis van de betekenis.

4. Waarom is dit zo speciaal? (De Wereldwijde Impact)

Dit is misschien wel het belangrijkste deel. De meeste slimme AI's zijn getraind op Engels en een paar andere grote talen. Als je ze iets vraagt in een zeldzame taal (zoals Javanese of Tadzjieks), falen ze vaak.

• De kracht van v-LCM: Omdat de basis (Sonar) al 1500 talen kent, kan deze nieuwe AI in bijna elke taal ter wereld praten en denken.
• Het resultaat: In tests bleek dat v-LCM beter presteerde dan alle andere top-AI's in 61 van de 62 geteste talen. Of het nu gaat om het beschrijven van een video in het Frans, het beantwoorden van vragen in het Hindi, of het begrijpen van een grap in het Japans: deze AI is een echte wereldburger.

Samenvatting in één zin

De auteurs hebben een brug gebouwd tussen de wereld van beelden en de wereld van woorden, waardoor een slimme computer nu niet alleen kan "zien", maar ook in honderden talen kan "praten" over wat hij ziet, zonder dat hij voor elke taal apart hoeft te worden getraind.

Het is alsof ze een universele vertaler hebben gevonden die niet alleen woorden vertaalt, maar ook dromen, films en herinneringen direct van het ene hoofd naar het andere kan sturen, ongeacht welke taal de spreker spreekt.

Technische samenvatting

Titel: Unified Vision–Language Modeling via Concept Space Alignment

Auteurs: Yifu Qiu, Paul-Ambroise Duquenne, Holger Schwenk (University of Edinburgh & FAIR at Meta)
Datum: 3 maart 2026

---

1. Het Probleem

Bestaande embedding-ruimten voor multimodale learning zijn vaak beperkt tot tekst en spraak, of vereisen zware, gespecialiseerde training voor visuele taken. Hoewel modellen zoals CLIP en SigLIP succesvol zijn in het aligneren van visie en taal, missen ze vaak de capaciteit om direct in een taal-agnostische, continue latent ruimte te genereren. Daarnaast zijn bestaande vision-language modellen (VLMs) vaak beperkt in hun multilinguale capaciteiten, vooral voor taakgebieden met weinig bronnen (low-resource languages). Er is een behoefte aan een unificatie van visie, video, spraak en tekst in één enkele, taal-agnostische embedding-ruimte die zowel generatieve als begrijpende taken ondersteunt zonder dat er per taal specifieke data nodig is.

2. Methodologie

De auteurs introduceren v-Sonar, een uitbreiding van het bestaande Sonar-embedding space (dat 1500 talen en 177 spraaktalen ondersteunt) naar beeld- en video-modi. De aanpak bestaat uit drie hoofdblokken:

A. v-Sonar: Post-hoc Alignering

In plaats van een nieuw model te trainen van scratch, aligneren de auteurs een bestaande state-of-the-art visuele encoder (Perception Encoder) met de Sonar-ruimte via een "teacher-student" training.

• Architectuur: De Perception Encoder encodeert frames, waarna een lichtgewicht projector (met positiële embedding, tijdsattentie en aggregatie) de visuele representaties afstemt op de Sonar-ruimte.
• Training Curriculium (Coarse-to-Fine): De alignering verloopt in drie fasen om de visuele encoder geleidelijk aan te passen aan complexere semantiek:
  1. Fase 1 (Coarse): 12 miljoen beeld-caption paren voor basisgrounding.
  2. Fase 2 (Temporal): 2 miljoen synthetische video-caption paren voor tijdsdynamiek.
  3. Fase 3 (Fine): 200.000 hoogwaardige, menselijk geannoteerde video-captions voor fijne semantische alignering.
• Verliesfunctie: Het doel is het minimaliseren van de Mean Squared Error (MSE) tussen de visuele embedding en de tekstuele embedding (gegenereerd door de bevroren Sonar-encoder) van dezelfde caption.

B. v-LCM: Vision-Language Large Concept Model

De auteurs bouwen voort op het Large Concept Model (LCM), een diffusie-model dat werkt in de Sonar-ruimte (in plaats van discrete tokens).

• Concept: v-LCM encodeert zowel visuele input (via v-Sonar) als tekstuele instructies (via Sonar) in één sequentie van latent embeddings.
• Training: Het model wordt getraind met een latent diffusion objective voor het voorspellen van de volgende embedding in de sequentie. Dit gebeurt via instructie-finetuning op het M3IT-dataset (multimodaal en multilinguaal).
• Unificatie: Het model voert generatie uit in de continue latent ruimte, wat zorgt voor een naadloze integratie van visie en taal zonder de beperkingen van token-gebaseerde decoders.

3. Belangrijkste Bijdragen

1. v-Sonar: De eerste uitbreiding van een taal- en modality-agnostische embedding-ruimte (Sonar) naar beeld en video, wat Sonar het meest universele embedding-ruimte maakt (4 modi, tot 1500 talen).
2. Zero-shot Vermogen: Demonstratie dat een LCM, getraind op alleen Engelse tekst, zero-shot visuele concepten kan begrijpen en verwerken via v-Sonar, zonder visuele training.
3. v-LCM: Een nieuw paradigma voor vision-language modeling dat visie en taal unificeert in een gedeelde latent ruimte. Het model presteert op niveau met SOTA VLMs in Engelstalige taken, maar overtreft deze aanzienlijk in multilinguale settings.
4. Multilinguale Superioriteit: v-LCM presteert beter dan concurrenten in 61 van de 62 geteste talen, inclusief veel low-resource talen waar andere modellen falen.

4. Resultaten

De resultaten tonen aan dat de methode zowel in zero-shot als in gefinetuned settings state-of-the-art prestaties levert:

• Retrieval (Zero-shot): v-Sonar behaalt een Recall@1 van 73,03 op de PE-Video dataset, wat significant hoger is dan SigLIP2-g-opt (63,91) en de originele Perception Encoder.
• Video Captioning:
  • Op PE-Video verbetert v-Sonar de BLEU-score met +9,0 punten ten opzichte van de beste concurrent (Qwen2.5-VL-3B-Instruct: 30,0 vs. 39,0).
  • Op Dream-1k wordt een BLEU-score van 23,9 bereikt (vs. 19,6 voor de concurrent).
• v-LCM Prestaties:
  • Single & Multi-concept: v-LCM presteert sterk in video samenvattingen en captioning, zelfs zonder visuele training in de basis LCM.
  • Multilinguaal: Op de M3IT-benchmark (80 talen) overtreft v-LCM modellen zoals Qwen2.5-VL-7B en PLM-8B in 61 van de 62 talen. Het is het enige model dat succesvol output genereert in talen zoals Urdu, Modern Arabisch en Tamil, waar PLM-8B volledig faalt.
  • Redenering: v-LCM toont vermogen in visueel gezond verstand redeneren (VCR) en ruimtelijke relaties, ondanks training op semantische captions.

5. Betekenis en Impact

Dit werk markeert een paradigmaverschuiving in vision-language modeling:

• Efficiëntie: Door post-hoc alignering te gebruiken, vermijden de auteurs de kosten van het trainen van enorme multimodale modellen van scratch.
• Unificatie: Het bewijst dat visie en taal effectief kunnen worden gemodelleerd in dezelfde continue latent ruimte als tekst, wat leidt tot een meer robuust en generaliseerbaar model.
• Inclusiviteit: De grootste impact ligt in de multilinguale capaciteit. Waar traditionele VLMs vaak beperkt zijn tot high-resource talen, biedt v-LCM een oplossing voor wereldwijde toepasbaarheid, inclusief talen met weinig digitale data. Dit opent de deur voor gelijkwaardige AI-toepassingen in honderden talen en modi.

Samenvattend introduceert dit paper een schaalbaar en efficiënt kader voor universele multimodale AI, waarbij visie, video en tekst worden verenigd in één semantisch conceptueel ruimte, wat leidt tot superieure prestaties in zowel kwaliteit als taaldiversiteit.