💻 computer science

TRANSPORTER: Transferring Visual Semantics from VLM Manifolds

Die Arbeit stellt TRANSPORTER vor, eine modellunabhängige Methode, die mittels optimaler Transportkopplung die Logits von Vision-Language-Modellen in hochauflösende Videos umwandelt, um deren interne Entscheidungsprozesse und semantische Regeln durch generierte visuelle Darstellungen zu interpretieren.

Ursprüngliche Autoren: Alexandros Stergiou

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexandros Stergiou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen, aber etwas verschlossenen Freund: einen KI-Modell, das Videos schaut und dazu Kommentare schreibt (z. B. „Ein Mann wirft einen Discus"). Dieser Freund kann die Welt super beschreiben, aber wenn du ihn fragst: „Warum hast du das so gesagt? Was genau hast du gesehen, das dich zu dieser Antwort gebracht hat?", zuckt er nur mit den Schultern. Er denkt in unsichtbaren Zahlen und Mustern, die wir nicht sehen können.

Das ist das Problem, das die Forscher mit ihrer neuen Methode namens TRANSPORTER lösen wollen.

Hier ist die Erklärung in einfachen Worten, mit ein paar lustigen Vergleichen:

1. Das Problem: Der unsichtbare Gedankengang

Normalerweise versuchen Forscher, die Gedanken dieser KI zu verstehen, indem sie nach „Hotspots" im Bild suchen (wie ein Wärmebild, das zeigt, wo die KI hingeschaut hat) oder indem sie den KI-Code in einfache Sätze übersetzen. Das ist aber oft wie der Versuch, einen Film zu verstehen, indem man nur die Buchstaben auf dem Drehbuch liest – man verpasst die Action, die Emotionen und die Details.

2. Die Lösung: TRANSPORTER (Der „Gedanken-Übersetzer")

Stell dir TRANSPORTER wie einen magischen Übersetzer vor, der nicht von einer Sprache in eine andere übersetzt, sondern von Zahlen in Bilder.

Die KI denkt in „Logits": Wenn die KI überlegt, ob ein Discuswerfer „jung" oder „alt" ist, berechnet sie Wahrscheinlichkeiten (Zahlen). Diese Zahlen nennt man „Logits".
TRANSPORTER macht daraus Videos: Die neue Methode nimmt diese unsichtbaren Zahlen und sagt: „Okay, wenn die Zahl für 'alt' höher ist, lass uns ein Video generieren, das wirklich alt aussieht. Wenn die Zahl für 'schnell' steigt, lass uns das Video schneller werden."

Es ist, als würdest du einen Regler an einem Radio haben. Wenn du den Regler für „Bass" drehst, wird der Bass lauter. TRANSPORTER hat Regler für Bedeutung. Wenn du den Regler für „jung" drehst, verwandelt sich das generierte Video von einem alten Mann in einen jungen.

3. Wie funktioniert das? (Die Brücken-Bau-Metapher)

Um das zu machen, müssen zwei sehr unterschiedliche Welten verbunden werden:

Die Welt der KI: Sehr abstrakt, mathematisch, voller Zahlen.
Die Welt der Videogeneratoren: Sehr visuell, voller Farben und Bewegung.

Stell dir vor, die KI-Welt ist eine Insel aus Wolken (unsichtbare Gedanken) und die Videowelt ist eine Insel aus Stein (sichtbare Bilder). TRANSPORTER baut eine Brücke zwischen diesen Inseln.

Der Bauplan (Optimal Transport): Die Forscher nutzen eine mathematische Methode namens „Optimaler Transport". Stell dir vor, du musst Sand von einem Haufen (die KI-Zahlen) auf einen anderen Haufen (das Video) verteilen. Du willst den Weg so kurz und effizient wie möglich halten, damit nichts verloren geht. TRANSPORTER lernt diesen perfekten Weg, um sicherzustellen, dass die Bedeutung der KI-Zahlen exakt in die Bewegung des Videos übersetzt wird.

4. Was kann man damit machen? (Das „Was-wäre-wenn"-Spielzeug)

Mit TRANSPORTER können wir jetzt ein cooles Spiel spielen: Wir können die Gedanken der KI live manipulieren.

Beispiel 1: Die KI sagt: „Ein Mann läuft."
- Wir sagen TRANSPORTER: „Ändere die Zahl für 'schnell'."
- Ergebnis: Das Video zeigt plötzlich einen Mann, der rennt, nicht mehr nur läuft.
Beispiel 2: Die KI sieht ein rotes Auto.
- Wir sagen: „Ändere die Farbe auf Blau."
- Ergebnis: Das Video zeigt ein blaues Auto, aber alles andere (die Straße, die Bewegung) bleibt gleich.

Das ist wie ein Drehbuch-Editor für die Gedanken der KI. Wir können sehen, was passiert, wenn die KI ihre Meinung ändert.

5. Warum ist das wichtig?

Bisher waren wir wie Zuschauer, die nur das fertige Video sehen, ohne zu wissen, wie der Regisseur (die KI) entschieden hat, welche Kameraeinstellung zu wählen.

Mit TRANSPORTER bekommen wir einen Einblick in die Werkstatt. Wir können sehen:

Versteht die KI wirklich den Unterschied zwischen „laufen" und „rennen"?
Verwechselt sie vielleicht „jung" mit „klein"?
Wie reagiert sie auf Details wie „ein rotes Auto" vs. „ein rotes Fahrrad"?

Zusammenfassung

TRANSPORTER ist wie ein Magier, der die unsichtbaren Gedanken einer KI in sichtbare, bewegte Videos verwandelt. Es erlaubt uns, die „Gedankenknöpfe" der KI zu drücken und zu sehen, wie sich das Bild in Echtzeit verändert. So können wir endlich verstehen, warum die KI das tut, was sie tut, und nicht nur was sie tut.

Es ist ein großer Schritt, um diese komplexen KI-Modelle nicht mehr als schwarze Kisten zu sehen, sondern als Werkzeuge, deren inneren Mechanismus wir wirklich verstehen und kontrollieren können.

1. Problemstellung

Vision-Language Models (VLMs) haben in den letzten Jahren enorme Fortschritte bei der Analyse komplexer Videoszenen gemacht, einschließlich der Erkennung von Objekten, Aktionen und dynamischen Szenenverläufen. Dennoch bleibt die Interpretierbarkeit dieser Modelle eine große Herausforderung.

Aktuelle Grenzen: Bestehende Methoden zur Erklärung von Modellentscheidungen (z. B. Prompting, lineare Probing oder das Decodieren versteckter Embeddings) liefern oft nur textbasierte Beschreibungen. Diese sind häufig anfällig für Änderungen, auf eine begrenzte Länge beschränkt oder repräsentieren die internen Prozesse des Modells nicht kausal oder visuell treffend.
Die Lücke: Es fehlt eine Methode, die die internen Vorhersagen (Logits) eines VLMs direkt in visuell hochwertige Videos übersetzt, um zu zeigen, was das Modell unter bestimmten semantischen Konzepten versteht. Bisherige Ansätze zur Generierung von Eingaben (Activation Maximization) funktionieren bei Videos oft schlecht und erzeugen unscharfe oder abstrakte Artefakte.

2. Methodik: TRANSPORTER

Das Paper stellt TRANSPORTER vor, ein modellunabhängiges Framework für die Aufgabe Logits-to-Video (L2V). Das Ziel ist es, Videos zu generieren, die spezifische Änderungen in den Logit-Verteilungen eines VLMs widerspiegeln (z. B. den Übergang von „jung" zu „alt" oder „schnell" zu „langsam").

Die Architektur besteht aus drei Hauptkomponenten:

A. Kopplung von Semantik und visueller Treue (Coupling Network $\Phi$ )

Da die Embedding-Räume des Generators (T2V-Modell) und des VLMs unterschiedlich strukturiert sind, muss eine Brücke geschlagen werden.

Projektion: Ein Netzwerk $\Phi$ projiziert die latenten Vektoren des Video-Generators ( $z_\Xi$ ) in den Embedding-Raum des VLMs ( $\tilde{z}_\Omega$ ).
Strukturerhaltung: Um nicht nur globale Semantik, sondern auch die lokale geometrische Struktur der Token-Beziehungen zu erhalten, wird ein Gram-Matrix-Loss verwendet. Dies stellt sicher, dass die Beziehungen zwischen den Tokens im generierten Video denen im VLM-Embedding entsprechen.
Lernbarer Optimal Transport ( $\rho$ -OT): Um die Diskrepanz zwischen den globalen Projektionen und den lokalen Strukturen zu minimieren, wird ein neuer, lernbarer entropischer Optimal-Transport-Modul eingeführt. Dieser berechnet Transportpläne zwischen den Embeddings unter Verwendung lernbarer Projektionsvektoren, um eine optimale Abbildung zu finden.

B. Konzept-Bank (Concept Bank $Q$ )

Um gezielte Modulationen vorzunehmen, lernt das System eine Bank von Konzeptvektoren.

Training: Für semantisch kontrastierende Token-Paare (z. B. „Baseball hit" vs. „Baseball miss") wird ein Vektor $q_o$ gelernt.
Steuerung: Dieser Vektor kodiert die latente Richtung der Änderung. Während des Trainings wird die Divergenz der Logits ( $\Delta\omega$ ) zwischen zwei Bedingungen (z. B. $L_1$ und $L_2$ ) berechnet (mittels Hellinger-Distanz). Diese Divergenz dient als Steuerparameter ( $\delta$ ), um den Vektor $q_o$ so zu trainieren, dass er die gewünschte Logit-Änderung im Generator hervorruft.

C. Inferenz (L2V)

Während der Inferenz kann ein Benutzer einen Ziel-Logit-Unterschied definieren.

Ein Rausch-Embedding wird mit dem gelernten Konzeptvektor $q_o$ (skaliert mit $\delta$ ) modifiziert.
Der Generator erzeugt ein Video, das diese Modulation visuell darstellt.
Das System kann zudem die generierten Videos zurück in den VLM-Raum transportieren, um zu überprüfen, ob die generierten Logits tatsächlich der Zielvorhersage entsprechen.

3. Wichtige Beiträge

L2V (Logits-to-Video): Einführung einer neuen Aufgabe zur kontrollierten Generierung von Videos basierend auf Logit-Verteilungen von VLMs, um visuelle Erklärungen zu ermöglichen.
TRANSPORTER-Modell: Ein Framework, das optimale Transportpfade zwischen lokalen geometrischen Beziehungen und globalen Repräsentationen in verschiedenen Embedding-Räumen lernt.
Lernbare Latente: Die Entwicklung einer Konzept-Bank, die es erlaubt, Videos durch gezielte Logit-Divergenzen zu modulieren.
Empirische Evaluierung: Umfassende quantitative und qualitative Analysen über verschiedene VLMs hinweg (VideoLLaMA 3, Gemma 3, Phi 4 MM).

4. Ergebnisse

Die Evaluierung zeigt, dass TRANSPORTER bestehenden Methoden überlegen ist:

Visuelle Qualität: Gemessen an Metriken wie FVD (Fréchet Video Distance) und LPIPSv (Learned Perceptual Image Patch Similarity) generiert TRANSPORTER deutlich realistischere und detailreichere Videos als Baselines (z. B. Activation Maximization oder Gradient-basierte Methoden). Die FVD-Werte liegen um Größenordnungen näher an echten Videos (z. B. Reduktion von ~2000 auf ~100 bei Gemma 3).
Semantische Ausrichtung: Die generierten Videos stimmen stark mit den Ziel-Logits überein. Metriken wie CLIPv-Score (Text-Video-Alignment) und ästhetische Scores zeigen signifikante Verbesserungen (z. B. Verdopplung des CLIPv-Scores bei VideoLLaMA 3 im Vergleich zu AM-Optimierungen).
Kontrollierte Modulation: Das System kann feine Änderungen visualisieren, wie z. B. die Anzahl von Objekten (ein vs. zwei), Aktionen (Laufen vs. Rennen) oder Szenenattribute (Innen- vs. Außenbereich), ohne die Dynamik der Szene zu zerstören.
Ablationsstudien: Die Studie bestätigt, dass die Kombination aus Kopplungsnetzwerk ( $\Phi$ ) und Optimal Transport ( $\rho$ -OT) entscheidend ist. Ein reines „Decode-and-Re-Encode" führt zu schlechteren Ergebnissen, da die stochastische Variation des VAE-Decoders die deterministischen Logit-Änderungen verwischt.

5. Bedeutung und Fazit

TRANSPORTER stellt einen Paradigmenwechsel in der Interpretierbarkeit von Video-VLMs dar. Anstatt nur zu erklären, was ein Modell sieht (durch Text oder Heatmaps), zeigt es, wie das Modell semantische Konzepte visuell konstruiert.

Neue Richtung für Interpretierbarkeit: Es bietet einen kausalen Weg, um zu verstehen, wie VLMs Token-Vorhersagen mit visuellen Merkmalen verknüpfen.
Robustheit: Die Methode ist modellunabhängig und funktioniert über verschiedene Architekturen hinweg, was ihre Allgemeingültigkeit unterstreicht.
Zukunftspotenzial: Die Arbeit legt den Grundstein für zukünftige Forschung zur Visualisierung von Modellentscheidungen, zur Fehleranalyse (z. B. warum ein Modell „links" statt „rechts" sieht) und zur gezielten Steuerung von Generativmodellen basierend auf semantischen Abweichungen.

Zusammenfassend demonstriert TRANSPORTER, dass die Übersetzung von Logit-Änderungen in hochqualitative Videos ein leistungsfähiges Werkzeug ist, um die „Black Box" von Vision-Language-Modellen zu öffnen und deren reasoning-Prozesse visuell greifbar zu machen.