💻 computer science

TRANSPORTER: Transferring Visual Semantics from VLM Manifolds

Ce papier présente TRANSPORTER, une méthode indépendante du modèle qui transfère les sémantiques visuelles des grands modèles vision-langage vers la génération vidéo via un transport optimal, permettant ainsi d'interpréter les prédictions de ces modèles en générant des vidéos fidèles à leurs logiques internes.

Auteurs originaux : Alexandros Stergiou

Publié 2026-04-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alexandros Stergiou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un super-cerveau artificiel (un modèle de langage et de vision, ou VLM) capable de regarder des vidéos et de vous raconter ce qui s'y passe avec une précision incroyable. Il peut dire : « Un homme court vite », « Un ballon rouge frappe une cible », ou « La scène se déroule sous la pluie ».

Mais il y a un problème : ce cerveau est une boîte noire. Vous voyez ce qu'il dit, mais vous ne savez pas comment il a pris cette décision. Est-ce qu'il a vraiment vu la vitesse ? Est-ce qu'il a bien compris la couleur ? Ou est-ce qu'il devine juste ?

C'est là que le projet TRANSPORTER entre en jeu. Voici une explication simple de ce que fait cette recherche, avec quelques images pour mieux comprendre.

1. Le Problème : Lire dans les pensées d'une machine

Normalement, pour comprendre ce que pense une IA, on lui pose des questions ou on regarde des graphiques compliqués. C'est comme essayer de comprendre le fonctionnement d'un moteur en regardant juste la voiture rouler. On voit le résultat, mais pas le mécanisme.

Les chercheurs ont eu une idée géniale : Et si on pouvait transformer les "pensées" de l'IA en vidéo ?

2. La Solution : TRANSPORTER, le traducteur de rêves

Imaginez que l'IA a une liste de scores (qu'on appelle des "logits") qui disent à quel point elle est sûre d'elle sur certains mots.

Si elle pense à "rapide", son score pour ce mot est très haut.
Si elle pense à "lent", son score pour "rapide" chute.

TRANSPORTER agit comme un magicien de la traduction. Il prend ces scores abstraits (les pensées de l'IA) et les "transporte" vers un monde visuel pour créer une vidéo.

L'analogie du "Moteur à vapeur" : Imaginez que les scores de l'IA sont de la vapeur sous pression. TRANSPORTER est la machine qui transforme cette vapeur en mouvement d'un piston. Plus la vapeur est forte (le score est haut), plus le piston bouge vite (la vidéo montre une action rapide).

3. Comment ça marche ? (Le voyage entre deux mondes)

Le système utilise une technique mathématique appelée "Transport Optimal". C'est un peu comme si vous aviez deux cartes au sol :

La carte des Mots : Où l'IA stocke ses idées (ex: "rouge", "vite").
La carte des Images : Où une autre IA (un générateur de vidéo) stocke ses images.

Le but est de créer un tunnel direct entre ces deux cartes.

Si vous dites à l'IA : « Montre-moi ce que tu penses quand tu vois quelque chose de rouge », TRANSPORTER va chercher l'idée "rouge" dans la tête de l'IA.
Ensuite, il utilise ce "tunnel" pour dire au générateur de vidéo : « Hé, génère une vidéo où tout est rouge, mais garde le reste de la scène identique ! »

4. Ce qu'on découvre (La magie de l'expérience)

Grâce à TRANSPORTER, les chercheurs peuvent voir des choses fascinantes :

La précision des détails : Ils ont demandé à l'IA de montrer la différence entre "couper deux poivrons" et "couper un seul poivron". La vidéo générée montre exactement cela. L'IA a bien compris le nombre !
Les subtilités : Ils ont demandé de passer de "rapide" à "lent". La vidéo change de vitesse de manière fluide, prouvant que l'IA ne se contente pas de coller une étiquette, mais qu'elle a vraiment intégré le concept de vitesse.
Les erreurs : Parfois, si on demande à l'IA de montrer un homme qui crie à une femme, mais qu'on inverse les rôles dans la demande, la vidéo générée peut montrer quelque chose de bizarre. Cela révèle que l'IA a parfois du mal avec la grammaire ou la logique spatiale.

5. Pourquoi c'est important ?

Avant, pour savoir si une IA était "intelligente", on la testait avec des questions. Avec TRANSPORTER, on peut voir son intelligence.

C'est comme passer d'un examen oral (où l'IA peut mentir ou deviner) à une vidéo de surveillance qui montre exactement ce qu'elle voit et comprend.
Cela aide les développeurs à corriger les erreurs de l'IA. Si la vidéo générée est bizarre, on sait que l'IA a un problème de compréhension sur ce point précis.

En résumé

TRANSPORTER est un outil qui permet de rendre visible l'invisible. Il prend les calculs mathématiques d'une IA qui regarde des vidéos et les transforme en nouvelles vidéos qui montrent exactement ce que l'IA a compris (ou mal compris). C'est comme donner des yeux à l'IA pour qu'elle nous montre son propre monde intérieur.

1. Problématique et Contexte

Les modèles Vision-Language (VLM) actuels sont capables de raisonner sur des scènes vidéo complexes, intégrant des objets, des actions et des dynamiques de scène. Cependant, comprendre et contrôler leurs processus internes reste un défi majeur. Les méthodes d'interprétation existantes (comme le prompting, les sondages linéaires ou le décodage d'embeddings) produisent souvent des explications textuelles limitées, sensibles aux variations, ou qui ne reflètent pas fidèlement les processus internes du modèle.

L'article identifie un manque crucial : il n'existe pas de méthode pour visualiser directement les prédictions des VLM sous forme de vidéo. Les VLM produisent des réponses sous forme de distributions de probabilités (logits) sur un dictionnaire de tokens. Le défi est de transformer ces variations de logits (par exemple, le passage d'un token "jeune" à "vieux") en vidéos réalistes qui illustrent concrètement ce que le modèle "voit" ou "comprend".

2. Méthodologie : TRANSPORTER

L'article propose une nouvelle tâche générative appelée Logits-to-Video (L2V) et un modèle nommé TRANSPORTER pour y répondre. L'approche est indépendante du modèle VLM cible et repose sur trois piliers techniques :

A. Couplage des Variétés (Embedding Manifold Coupling)

Le cœur de la méthode réside dans le couplage entre l'espace latent du générateur vidéo (T2V) et l'espace d'embedding sémantique du VLM.

Le problème : Déchiffrer un embedding vidéo via un VAE et le réencoder dans l'espace du VLM introduit du bruit stochastique et altère la dynamique des tokens.
La solution : Un réseau de couplage $\Phi$ est entraîné pour projeter les embeddings du générateur ( $z_\Xi$ $z_{Ξ}$ ) directement vers l'espace du VLM ( $\tilde{z}_\Omega$ $\tilde{z}_{Ω}$ ) sans passer par la décodage/ré-encodage.
- $\Phi_{\Omega1}$ : Minimise l'erreur quadratique (MSE) entre la projection et l'encodage cible.
- $\Phi_{\Omega2}$ : Utilise une perte de matrice de Gram pour préserver la structure relationnelle locale entre les tokens (géométrie locale).

B. Transport Optimal Apprenable ( $\rho$ -OT)

Pour combiner les projections globales et les structures locales, le modèle utilise un module de Transport Optimal Entropique Apprenable ( $\rho$ -OT).

Au lieu de calculer un plan de transport coûteux sur des espaces de grande dimension, le modèle apprend des vecteurs de projection ( $p_{\Omega1}, p_{\Omega2}$ ) qui projettent les tokens sur des scalaires.
Un plan de transport $\tilde{T}$ est calculé pour minimiser le coût de transport entre ces projections, régularisé par l'entropie. Cela permet de distiller les embeddings en une représentation $\tilde{z}_\Omega$ qui respecte à la fois la sémantique globale et la structure fine des tokens.

C. Banque de Concepts Apprenable (Learnable Concept Bank)

Pour générer des vidéos contrôlées par les changements de logits, le modèle apprend une banque de concepts $Q = \{q_o\}$ .

Principe : Pour une paire de tokens sémantiquement opposés (ex: "happy" vs "sad"), le modèle calcule la divergence des logits ( $\Delta\omega$ ) dans l'espace du VLM.
Entraînement : Une direction latente $q_o$ est apprise dans l'espace du générateur vidéo. Cette direction est optimisée pour que, lorsqu'elle est ajoutée à la condition de génération, elle produise une divergence de trajectoire dans le générateur ( $\Delta v$ ) qui correspond à la divergence de logits du VLM ( $\Delta\omega$ ).
Inférence : L'utilisateur peut manipuler la vidéo en ajoutant $\delta \cdot q_o$ à la condition de bruit, forçant le générateur à produire une vidéo dont les caractéristiques visuelles correspondent à la modification souhaitée des logits du VLM.

3. Contributions Clés

Tâche L2V (Logits-to-Video) : Introduction d'une nouvelle tâche générative pour l'explicabilité des modèles vidéo, permettant de synthétiser des vidéos directement à partir des distributions de probabilités des tokens.
Modèle TRANSPORTER : Une architecture qui apprend des chemins de transport optimal entre les espaces d'embeddings sémantiques (VLM) et visuels (Générateur), permettant un contrôle fin et causal.
Banque de Concepts Latents : Un mécanisme pour apprendre des vecteurs de direction qui modulent les vidéos en fonction de la divergence spécifique des logits cibles.
Évaluations Empiriques : Des benchmarks quantitatifs et qualitatifs démontrant la supériorité de l'approche par rapport aux méthodes d'activation maximisation (AM) existantes.

4. Résultats et Évaluations

Les expériences ont été menées sur plusieurs VLMs (VideoLLaMA 3, Gemma 3, Phi 4 MM) et comparées à des méthodes de visualisation de caractéristiques (baselines).

Qualité Visuelle et Alignement Sémantique :
- TRANSPORTER obtient des scores FVD (Fréchet Video Distance) et LPIPSv nettement inférieurs (meilleurs) que les baselines, indiquant une qualité vidéo supérieure et plus proche de la réalité.
- Les scores d'alignement texte-vidéo (CLIPv score) sont améliorés de manière significative (par exemple, +35.44 contre 16.74 pour VideoLLaMA 3), prouvant que la vidéo générée correspond fidèlement à la sémantique du token cible.
Interprétabilité :
- Contrairement aux méthodes baselines qui produisent souvent des formes abstraites ou floues, TRANSPORTER génère des scènes complètes et dynamiques.
- Le modèle réussit à visualiser des modulations subtiles : changement d'attributs d'objets (couleur, matériau), d'adverbes d'action (vitesse, style), et de contexte de scène (lieu, météo).
- Il permet d'explorer des divergences intermédiaires de logits, révélant comment le modèle gère les transitions (ex: de "marcher" à "courir").
Robustesse : Les ablations montrent que le couplage via $\Phi$ et le transport optimal sont essentiels ; les approches par simple ré-encodage ou par heuristiques (sGW) dégradent fortement la qualité.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'interprétabilité des modèles multimodaux :

Au-delà du texte : Il démontre que les explications des VLM ne doivent pas être limitées à des descriptions textuelles, mais peuvent être rendues visibles et dynamiques.
Contrôle Causal : Il établit un lien causal direct entre les scores de logits internes d'un modèle et des attributs visuels spécifiques dans une vidéo générée.
Nouveau Paradigme : TRANSPORTER offre un outil interactif pour les chercheurs et les développeurs afin de "voir" ce que le modèle apprend, de détecter des biais (ex: difficultés avec les prépositions ou le dénombrement) et de valider la cohérence des représentations internes.

En résumé, TRANSPORTER transforme les abstractions mathématiques des prédictions des VLM en vidéos concrètes, ouvrant une nouvelle voie pour comprendre, déboguer et contrôler le raisonnement des modèles d'intelligence artificielle dans le domaine vidéo.