🤖 AI

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

Le papier présente AdaptToken, un cadre d'inférence sans entraînement qui utilise l'incertitude du modèle et l'entropie pour sélectionner dynamiquement les tokens pertinents et arrêter le traitement prématurément, améliorant ainsi la compréhension des vidéos longues par les modèles multimodaux tout en réduisant les coûts de calcul.

Auteurs originaux : Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

Publié 2026-03-31

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre un film de 4 heures en regardant seulement 10 secondes de chaque scène. C'est ce que les intelligences artificielles (les "MLLM") doivent faire aujourd'hui pour analyser de longues vidéos. Le problème ? Elles ont une mémoire très limitée et ne peuvent pas tout regarder en même temps. Si elles essaient, elles s'essoufflent (trop de données) ou elles oublient l'essentiel.

Voici comment AdaptToken résout ce problème, expliqué simplement :

1. Le Problème : Le "Brouhaha" de la Vidéo

Imaginez que vous devez résumer un documentaire de 2 heures. Si vous demandez à un robot de lire toutes les images, il va se noyer dans les détails inutiles (comme un arbre qui bouge au loin) et oublier le moment crucial où le héros trouve le trésor.
Les méthodes actuelles essaient de choisir les "bonnes" images, mais elles le font souvent de manière aveugle, comme si elles prenaient des photos au hasard dans un album, sans savoir si elles sont importantes pour la question posée.

2. La Solution : AdaptToken (Le Chef de Cuisine Intuitif)

AdaptToken est comme un chef de cuisine très expérimenté qui prépare un grand banquet (la vidéo) pour un client (la question). Au lieu de servir tous les ingrédients, il utilise deux astuces magiques :

A. L'Intuition de la Confiance (L'Entropie)

C'est le cœur du système. Imaginez que le chef goûte un petit bout de chaque plat (chaque groupe de scènes de la vidéo) et se demande : "Est-ce que j'ai assez d'indices pour répondre à la question du client ?"

Si le chef est confiant (il a vu le trésor, il sait la réponse), il dit : "Super, j'ai assez d'informations, je peux arrêter de goûter les autres plats !". C'est ce qu'on appelle l'arrêt précoce.
Si le chef est incertain (il ne voit que des paysages flous), il dit : "Attends, je dois regarder plus loin."

En langage technique, cette "confiance" est mesurée par l'entropie (une mesure de l'incertitude). Plus le robot est sûr de sa réponse, moins il a besoin de regarder la suite.

B. La Répartition Intelligente (Le Budget de Tokens)

Une fois que le chef sait quelles parties de la vidéo sont importantes, il ne les traite pas toutes de la même façon.

Il alloue plus de ressources (plus de détails) aux scènes où il a trouvé des indices cruciaux.
Il alloue moins de ressources aux scènes ennuyeuses ou répétitives.

C'est comme si vous lisiez un livre : vous lisez les chapitres d'action très lentement et avec attention, mais vous survolez les descriptions de paysages inutiles. AdaptToken fait pareil avec les "mots" (tokens) de l'image.

3. Le Résultat : Plus Vite et Plus Précis

Grâce à cette méthode, AdaptToken obtient deux résultats incroyables :

Il ne perd rien d'important : Il trouve le trésor même dans un film de 4 heures (jusqu'à 10 000 images !).
Il va deux fois plus vite : Parce qu'il arrête de regarder la vidéo dès qu'il a la réponse, il économise énormément de temps et d'énergie.

En Résumé

AdaptToken, c'est comme donner à un robot une boussole de l'attention. Au lieu de regarder toute la forêt arbre par arbre, il sait exactement où chercher, il s'arrête dès qu'il trouve ce qu'il cherche, et il ignore le reste. C'est une méthode qui ne nécessite pas d'apprentissage supplémentaire (elle fonctionne avec n'importe quel modèle existant) et qui rend les IA beaucoup plus efficaces pour comprendre nos longs films et vidéos.

1. Problématique

La compréhension de vidéos longues par les Modèles de Langage Multimodaux (MLLM) se heurte à deux obstacles majeurs :

Coûts mémoire et limites de contexte : Traiter des vidéos de plusieurs heures génère un nombre massif de tokens visuels, dépassant rapidement la fenêtre de contexte des modèles et saturant la mémoire GPU.
Inefficacité des méthodes existantes : Les approches actuelles sélectionnent des images (frames) ou des tokens basés sur des clips courts. Elles souffrent de deux défauts :
1. Elles manquent de mécanisme pour évaluer la pertinence globale entre des clips distants (manque de cohérence temporelle globale).
2. Elles traitent systématiquement toutes les images échantillonnées, même lorsque le modèle a déjà suffisamment d'informations pour répondre, entraînant un gaspillage de calcul.

2. Méthodologie : AdaptToken

AdaptToken est un cadre sans entraînement (training-free) qui utilise l'incertitude du modèle (entropie de réponse) comme signal de contrôle global pour sélectionner les tokens les plus pertinents. Le processus se déroule en quatre étapes principales :

A. Découpage et Évaluation de la Pertinence des Groupes (Group Relevance)

La vidéo est divisée en groupes de frames.
Au lieu de traiter la vidéo en une seule fois, le modèle analyse chaque groupe séquentiellement.
Signal d'entropie : Pour chaque groupe, le modèle génère une réponse partielle. L'entropie de cette réponse est calculée. Une entropie faible indique une forte certitude (le modèle a trouvé des indices pertinents), tandis qu'une entropie élevée indique une incertitude.
Cette certitude sert de métrique quantitative pour évaluer la pertinence d'un groupe de frames par rapport au prompt textuel.

B. Sélection Globale de Tokens Guidée par l'Entropie

Allocation de budget : Un budget total de tokens ( $B$ ) est défini pour la vidéo entière. Ce budget est réparti entre les groupes de frames en fonction de leur score de certitude (entropie). Les groupes plus pertinents (faible entropie) reçoivent un budget de tokens plus important.
Sélection intra-groupe : À l'intérieur de chaque groupe, l'importance des tokens visuels est évaluée via l'attention croisée (cross-modal attention) entre les tokens visuels et le prompt textuel, extraite d'une couche tardive du MLLM.
Cela permet une sélection fine-granulaire qui respecte la cohérence globale de la vidéo.

C. Suppression Globale de Tokens (Location-aware Global Token Removal)

Pour éviter la redondance (ex: deux groupes consécutifs contenant la même action), une étape de suppression est appliquée.
Elle calcule la similarité cosinus entre les caractéristiques des tokens sélectionnés et leur distance temporelle.
Les tokens redondants sont éliminés itérativement pour maximiser la diversité et la couverture temporelle des tokens restants.

D. Arrêt Anticipé (AdaptToken-Lite)

Une variante du système, AdaptToken-Lite, exploite le signal d'entropie pour l'arrêt anticipé.
Si le modèle atteint un niveau de certitude suffisant (par exemple, trois groupes consécutifs avec une entropie inférieure à un seuil $C^*$ ) en parcourant la vidéo par échantillonnage (stratégie "maximum margin"), le traitement des groupes restants est stoppé.
Cela réduit considérablement le temps d'inférence sans sacrifier la précision.

3. Contributions Clés

Cadre sans entraînement : AdaptToken fonctionne sur n'importe quel MLLM existant sans nécessiter de fine-tuning.
Signal de contrôle global : Utilisation innovante de l'entropie de réponse pour allouer dynamiquement le budget de tokens à travers toute la vidéo, résolvant le problème de la comparaison de pertinence entre des clips distants.
Arrêt anticipé efficace : Capacité à détecter quand l'information est suffisante pour répondre, réduisant le temps de calcul de moitié.
Scalabilité : La méthode permet de traiter des vidéos extrêmement longues (jusqu'à 10 000 images) tout en améliorant les performances, là où les méthodes précédentes échouent ou ne rapportent que des résultats de type "Needle-in-a-Haystack".

4. Résultats Expérimentaux

Les évaluations ont été menées sur quatre benchmarks longs (VideoMME, MLVU, LongVideoBench, LVBench) avec plusieurs architectures de modèles (de 7B à 72B paramètres, incluant Qwen2.5-VL, InternVL2.5, Qwen3-VL).

Amélioration de la précision : AdaptToken améliore systématiquement les performances par rapport aux modèles de base et aux méthodes de sélection d'images/tokens actuelles.
- Exemple : Sur Qwen2.5-VL 7B, gain moyen de +6,7 points par rapport à la ligne de base.
- Sur LVBench (vidéos très longues), les gains sont particulièrement marqués, démontrant la robustesse sur des entrées ultra-longues.
Efficacité (AdaptToken-Lite) : La version avec arrêt anticipé réduit le temps d'inférence d'environ 50 % tout en maintenant une précision comparable (voire supérieure sur certains benchmarks comme MLVU).
Généralisation : La méthode fonctionne bien sur des modèles de différentes tailles (7B à 72B) et architectures, y compris ceux déjà entraînés pour de longs contextes (Qwen3-VL).
Comparaison avec le Voting : Contrairement aux méthodes d'agrégation par vote (majorité, Borda) qui combinent des réponses partielles, AdaptToken utilise la certitude pour sélectionner les entrées (tokens), ce qui s'avère nettement plus efficace.

5. Signification et Impact

AdaptToken représente une avancée significative pour la compréhension de vidéos longues par l'IA. En transformant l'incertitude du modèle en un signal de contrôle d'entrée, il permet de :

Dépasser les limites de contexte en sélectionnant intelligemment l'information la plus dense.
Réduire drastiquement les coûts de calcul grâce à l'arrêt anticipé, rendant l'analyse de vidéos de plusieurs heures économiquement et techniquement viable.
Fournir une solution universelle qui s'adapte aux modèles existants sans réentraînement, facilitant son adoption dans des applications réelles comme les assistants IA incarnés ou les agents web multimodaux.

En résumé, AdaptToken passe d'une sélection statique ou locale de tokens à une sélection dynamique, globale et adaptative, optimisant le compromis entre précision, diversité temporelle et efficacité computationnelle.