💻 computer science

TRANSPORTER: Transferring Visual Semantics from VLM Manifolds

Dit paper introduceert TRANSPORTER, een modelonafhankelijke methode die logit-scores van Vision Language Models omzet in video's om zo de interne redeneerprocessen en visuele semantiek van deze modellen interpreteerbaar te maken.

Oorspronkelijke auteurs: Alexandros Stergiou

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alexandros Stergiou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die naar video's kijkt en er prachtige verhalen over vertelt. Deze robot is een VLM (Vision Language Model). Hij kan zien wat er gebeurt, wie er in beeld is en wat ze doen. Maar hier is het probleem: we weten niet hoe hij tot die conclusies komt. Het is een "zwarte doos". We zien het antwoord, maar niet het denkproces erachter.

Deze paper introduceert een nieuwe methode genaamd TRANSPORTER. Het doel is om die zwarte doos open te maken, niet door te praten, maar door te filmen.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Geheime Code" van de Robot

Wanneer de robot een video bekijkt, maakt hij een soort "stemmen" of "logits". Dit zijn getallen die aangeven hoe waarschijnlijk het is dat een bepaald woord (bijvoorbeeld "jong", "snel" of "rood") in de beschrijving van de video voorkomt.

Huidige methode: Als we vragen "waarom denk je dat hij jong is?", geeft de robot vaak een vaag tekstje of een heatmap (een gekleurd plaatje) terug. Dat is saai en vaak niet duidelijk.
Het idee: Wat als we die getallen (de "stemmen") kunnen omzetten in een nieuwe video? Dan kunnen we zien wat er gebeurt als de robot denkt dat iets "oud" is in plaats van "jong".

2. De Oplossing: TRANSPORTER als een "Tijdmachine"

TRANSPORTER is als een magische vertaler die twee werelden met elkaar verbindt:

De denkwereld van de robot: Waar alle abstracte getallen en betekenissen leven.
De visuele wereld: Waar echte video's bestaan.

Stel je voor dat de denkwereld van de robot een enorme bibliotheek is met duizenden boeken (betekenis) en de visuele wereld een filmstudio is. TRANSPORTER is de regisseur die zegt: "Oké, in het boek staat dat we 'snel' moeten doen. Laten we de filmstudio zo aansturen dat de acteurs plotseling rennen in plaats van lopen."

3. Hoe werkt het? (De Analogie van de "Stuurknuppel")

De techniek gebruikt iets dat Optimal Transport (Optimale Transport) heet. Dat klinkt ingewikkeld, maar het is eigenlijk als het verplaatsen van zandkorrels.

De Zandkorrels: De robot heeft een hoopje zand (data) dat vertegenwoordigt wat hij denkt over een video.
De Verandering: Als we willen zien wat er gebeurt als we "jong" veranderen naar "oud", duwen we een beetje zand van de "jong"-berg naar de "oud"-berg.
De Vertaling: TRANSPORTER pakt die verplaatsing van zandkorrels en vertaalt die direct naar een video.
- Als de robot meer "oud" denkt, ziet de gegenereerde video iemand die langzaam en gebogen loopt.
- Als de robot meer "snel" denkt, ziet de video iemand die sprint.

Het mooie is: TRANSPORTER doet dit zonder de robot te moeten herschrijven. Het leert gewoon hoe je die "geheime getallen" omzet in bewegende beelden.

4. Wat levert het op? (Het "Wat als?"-experiment)

Met TRANSPORTER kun je nu spelen met de "knoppen" van de robot.

Voorbeeld: Je geeft de robot een video van een man die een bal gooit.
De truc: Je zegt: "Verander de 'snelheid'-knop van de robot."
Het resultaat: De computer genereert een nieuwe video van dezelfde man, maar nu gooit hij de bal veel trager of juist razendsnel.

Dit helpt ons te begrijpen wat de robot precies ziet. Als de robot denkt dat een actie "snel" is, en wij zien in de gegenereerde video dat de beweging inderdaad snel is, dan weten we: "Ah, de robot kijkt echt naar de snelheid van de beweging!"

5. Waarom is dit cool?

Tot nu toe moesten we raden wat een AI dacht. Nu kunnen we het zien.

Het is alsof je een film kunt maken van wat er in het hoofd van de computer gebeurt.
Het helpt ontwikkelaars om fouten te vinden (bijvoorbeeld: denkt de robot dat een hond een kat is? Dan zien we in de gegenereerde video een hond die kat-achtig gedrag vertoont).
Het maakt complexe AI-modellen begrijpelijker voor gewone mensen, niet alleen voor wiskundigen.

Kortom:
TRANSPORTER is een tool die de "geheime gedachten" van een videobewerkende AI omzet in echte, kijkbare video's. Het is als een vertaalapparaat dat zegt: "Als de AI dit denkt, ziet de wereld er zo uit." Hierdoor kunnen we eindelijk zien hoe die slimme machines de wereld om ons heen interpreteren.

1. Het Probleem

Hoewel Vision-Language Models (VLMs) complex kunnen redeneren over video's met diverse objecten, acties en dynamiek, blijft het begrijpen en controleren van hun interne besluitvormingsprocessen een uitdaging. Bestaande methoden voor modelinterpretatie (zoals prompten, lineaire probing of het decoderen van embeddings) leveren vaak tekstuele beschrijvingen op die:

Korte lengte hebben.
Gevoelig zijn voor veranderingen in de prompt.
De interne processen van het model verkeerd kunnen weergeven.
Geen directe visuele causaliteit bieden tussen de logit-distributies (de voorspellingen) van het VLM en de daadwerkelijke visuele inhoud.

Er is een behoefte aan een methode die de "logits" (de waarschijnlijkheidsverdelingen over tokens) van een VLM direct kan vertalen naar visuele video's, zodat men kan zien wat het model "ziet" wanneer het een bepaalde voorspelling doet.

2. Methodologie: TRANSPORTER

Het paper introduceert TRANSPORTER, een modelonafhankelijke aanpak voor een nieuwe taak genaamd Logits-to-Video (L2V). Het doel is om video's te genereren die de onderliggende regels van VLM-voorspellingen visueel weergeven.

De methode bestaat uit drie kerncomponenten:

A. Koppeling van Embedding Manifolds (Coupling Network $\Phi$ )

VLMs werken in een hoog-semantische embedding-ruimte ( $\mathbb{R}^\Omega$ ), terwijl video-generatieve modellen (zoals Text-to-Video, T2V) werken in een andere latent-ruimte ( $\mathbb{R}^\Xi$ ).

Doel: Een optimale transportkoppeling leren tussen deze twee ruimtes.
Implementatie: Een netwerk $\Phi$ projecteert video-embeddings ( $z_\Xi$ ) naar de VLM-ruimte ( $\tilde{z}_\Omega$ ).
Verliesfuncties:
1. MSE Loss: Minimaliseert de afstand tussen de geprojecteerde embeddings en de doel-embeddings van het VLM.
2. Gram-matrix Loss: Behoudt de lokale geometrische relaties tussen tokens (structuur) tijdens de projectie.
3. Learnable Optimal Transport ( $\rho$ -OT): Een module die gebruikmaakt van leerbare projectievectoren om een transportplan te vinden dat de verdeling van tokens in de ene ruimte optimaliseert naar de andere, met entropische regulering voor stabiliteit.

B. Leerbaar Conceptbank (Learnable Concept Bank $Q$ )

Om video's te moduleren op basis van logit-veranderingen, leert het model specifieke richtingen in de latent-ruimte.

Concepten: Voor paren van semantisch contrastende tokens (bijv. "rood" vs. "blauw" of "lopen" vs. "rennen") wordt een leerbaar vector $q_o$ geleerd.
Training: Het model gebruikt de divergentie in logit-scores ( $\Delta\omega$ ) van het VLM tussen twee condities ( $\pi^-$ en $\pi^+$ ) als supervisie. De vector $q_o$ wordt getraind zodat het toevoegen ervan aan de input-conditie van de video-generator leidt tot een video die de logit-verschillen van het VLM weerspiegelt.
Sturing: De grootte van de moduleringsvector wordt bepaald door de Hellinger-afstand tussen de logit-distributies van het VLM.

C. Inference (Logits-to-Video)

Tijdens inferentie kan de gebruiker een specifieke logit-divergentie ( $\Delta\omega$ ) definiëren.

De generator start met ruis ( $\epsilon$ ).
De conditie wordt aangepast met de leerbare conceptvector: $\pi^- + \delta q_o$ .
De generator produceert een video die visueel overeenkomt met de gewenste verandering in de VLM-voorspelling (bijv. het object veranderen van "jong" naar "oud" of "snel" naar "traag").

3. Belangrijkste Bijdragen

L2V Taak: Een nieuwe, gecontroleerde generatietask voor visuele verklaringen van VLMs, waarbij logit-distributies direct worden vertaald naar video.
TRANSPORTER Model: Een architectuur die optimale transportpaden leert tussen lokale geometrische relaties en globale representaties in verschillende embedding-ruimtes.
Leerbare Latents: Een mechanisme om video's te moduleren op basis van de doel-logit-divergentie, waardoor fijnmazige controle over objectattributen, actie-adverbieën en scènecontext mogelijk is.
Empirische Evaluatie: Uitgebreide kwantitatieve en kwalitatieve testen over meerdere VLMs (VideoLLaMA 3, Gemma 3, Phi 4 MM) die aantonen dat de gegenereerde video's hoge visuele kwaliteit hebben en sterk semantisch gealigneerd zijn met de doelmodulaties.

4. Resultaten

De evaluaties tonen aan dat TRANSPORTER aanzienlijk beter presteert dan bestaande methoden (zoals Activation Maximization of bestaande feature-visualisatietechnieken):

Visuele Kwaliteit: De gegenereerde video's hebben een veel lagere Fréchet Video Distance (FVD) en LPIPS-score ten opzichte van echte video's vergeleken met baselines. Bijvoorbeeld, voor Gemma 3 daalde de FVD met ongeveer 2.31e3.
Semantische Alignering: De CLIPv-score (een maat voor tekst-video-overeenkomst) verbeterde tot twee keer zo hoog (bijv. van 16.74 naar 35.44 voor VideoLLaMA 3).
Kwalitatieve Resultaten: De gegenereerde video's tonen niet alleen abstracte vormen, maar volledige scènes met behoud van dynamiek (camera-bewegingen, objectinteracties) terwijl specifieke attributen (zoals kleur, materiaal of actie-tempo) consistent veranderen.
Robuustheid: De methode werkt over verschillende VLM-architecturen en kan complexe veranderingen visualiseren, zoals het onderscheid tussen "voorhand" en "achterhand" in gymnastiek of het aantal objecten in een scène.

5. Betekenis en Impact

Dit werk biedt een nieuwe richting voor modelinterpretability die verder gaat dan tekstuele uitleg of salientie-kaarten.

Causaliteit: Het biedt een causaal verband tussen de interne statistieken van een model (logits) en visuele output.
Debugging: Onderzoekers kunnen nu visueel inspecteren of een VLM correct leert over specifieke concepten (bijv. "telt het model wel het juiste aantal bloemen?" of "begrijpt het het verschil tussen 'onder een stoel' en 'op een stoel'?").
Toekomstvisie: Het legt de basis voor het visualiseren van de redeneerprocessen van multimodale modellen en kan leiden tot betere tools voor het detecteren van hallucinaties of bias in VLMs.

Kortom, TRANSPORTER transformeert de abstracte wiskundige voorspellingen van een VLM naar concrete, visueel waarneembare video's, waardoor het "black box"-karakter van deze modellen voor visuele taken transparanter wordt.