💬 NLP

ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

ReGATE est un cadre enseignant-élève qui accélère l'entraînement des grands modèles de langage multimodaux en élaguant de manière adaptative les tokens redondants à l'aide de pertes de guidage et d'estimations de difficulté, permettant ainsi une convergence plus rapide et des performances supérieures tout en réduisant considérablement la consommation totale de tokens.

Auteurs originaux : Chaoyu Li, Yogesh Kulkarni, Pooyan Fazli

Publié 2026-04-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chaoyu Li, Yogesh Kulkarni, Pooyan Fazli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot très intelligent comment comprendre des vidéos. Actuellement, la méthode standard consiste à forcer le robot à lire chaque mot individuel d'un script, même les plus ennuyeux comme « le », « est » ou « et », pendant qu'il regarde un film. C'est incroyablement lent, coûteux et gaspille beaucoup d'énergie car le robot effectue un travail inutile.

L'article présente une nouvelle méthode appelée REGATE (Reference-Guided Adaptive Token Elision). Imaginez REGATE comme un coach d'étude ultra-efficace qui aide le robot à apprendre plus vite en lui indiquant exactement quels mots cibler et lesquels ignorer.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Lire Tout le Script

Dans l'ancienne méthode (Entraînement Standard), le robot traite chaque « token » (un fragment de texte) dans une description vidéo.

L'Analogie : Imaginez que vous essayez d'apprendre une nouvelle langue en lisant un livre où chaque mot est surligné en néon vif. Vous passez des heures à fixer des mots courants comme « le » et « un », qui ne vous apprennent pas grand-chose sur l'histoire. Vous vous fatiguez et vous apprenez lentement.

2. La Solution : Le « Professeur » et l'« Élève »

REGATE utilise une équipe de deux personnes :

L'Élève : C'est le modèle robotique principal que nous essayons d'entraîner. Il regarde à la fois la vidéo et le texte.
Le Professeur : C'est une version « figée » (inchangée) du robot qui ne voit que le texte. Il ne peut pas voir la vidéo.

Comment ils travaillent ensemble :
Le Professeur examine une phrase et demande : « Puis-je deviner ce que signifie ce mot simplement en lisant le texte, sans voir la vidéo ? »

Si le mot est « le » ou « est », le Professeur dit : « Facile ! Je connais ça. »
Si le mot est « rouge », « tournant » ou « mélangeant », le Professeur dit : « Wow, je ne peux pas deviner ça sans voir l'image ! Ce mot a besoin de la vidéo. »

3. Le « Score de Difficulté »

REGATE combine la supposition du Professeur avec l'historique de l'Élève.

L'Analogie : Imaginez que l'Élève passe un test d'entraînement. REGATE tient un registre des questions que l'Élève continue de rater.
Si le Professeur dit : « Vous avez besoin de la vidéo pour ce mot », ET que l'Élève a eu du mal avec des mots similaires auparavant, REGATE marque ce mot comme « Haute Priorité ».
Si le Professeur dit : « Je connais ce mot », et que l'Élève l'a déjà maîtrisé, REGATE le marque comme « Ignorer ».

4. Le Résultat : Le « Saut Intelligent »

Pendant l'entraînement, REGATE crée un masque. Il dit au robot : « Lisez ces mots importants, mais ignorez les ennuyeux. »

L'Analogie : Au lieu de lire tout le livre page par page, le robot ne lit maintenant que les phrases surlignées qui font réellement avancer l'histoire. Il ignore les mots de remplissage.
Le Bénéfice : Le robot effectue 40 % de travail en moins (traite moins de tokens) mais apprend aussi bien, voire mieux, car il ne gaspille pas d'énergie sur des choses qu'il connaît déjà.

Ce que l'Article Affirme (Les Résultats)

Les auteurs ont testé cela sur trois types différents de robots d'apprentissage vidéo :

VideoChat2
VideoLLaMA2
InternVL3.5

Ils ont constaté que :

Vitesse : Les robots ont atteint leurs performances maximales deux fois plus vite que d'habitude.
Efficacité : Ils n'ont utilisé que 38 % des tokens (mots/fragments) par rapport à la méthode standard.
Précision : Dans de nombreux cas, les robots entraînés avec REGATE sont devenus plus intelligents que ceux entraînés de l'ancienne manière, en particulier sur des questions vidéo complexes.
Aucun Coût Supplémentaire : Cette méthode ne nécessite pas de construire un nouveau robot ni d'ajouter des pièces supplémentaires ; elle change simplement la façon dont le robot lit pendant l'entraînement.

Résumé

REGATE agit comme un filtre intelligent pour l'entraînement de l'IA. Au lieu de faire lire à l'IA chaque mot d'un script, elle utilise un expert « texte uniquement » pour identifier quels mots ont réellement besoin du contexte vidéo pour être compris. En sautant les mots faciles et redondants, l'IA apprend plus vite, consomme moins d'électricité et finit souvent plus intelligente que si elle avait tout lu.

1. Énoncé du problème

Les modèles de langage multimodaux de grande taille (MLLM) font face à des goulots d'étranglement computationnels significatifs lors de l'entraînement, principalement dus à la complexité quadratique du mécanisme d'auto-attention par rapport à la longueur de la séquence d'entrée. Ce problème est exacerbé dans les tâches vidéo, où les images sont tokenisées en séquences extrêmement longues.

Limites des méthodes existantes : Les stratégies actuelles d'efficacité (élagage de tokens, fusion, compression) ciblent largement l'inférence en utilisant des tokens statiques ou pré-notés. Elles échouent à s'adapter dynamiquement durant la phase d'entraînement.
Inefficacité de l'entraînement : Dans l'entraînement standard, le modèle traite chaque token à chaque passage avant et arrière, indépendamment du fait que le token soit redondant ou facilement prévisible à partir du texte seul. Cela gaspille d'importantes ressources de calcul et limite la capacité de mise à l'échelle vers des contextes plus longs et des ensembles de données plus vastes.
Le fossé : Il manque de méthodes principielles et adaptatives pour estimer l'importance des tokens durant l'entraînement, capables de saisir les dépendances inter-modales sans recourir à des heuristiques (comme l'abandon aléatoire) ou introduire des changements architecturaux.

2. Méthodologie : REGATE

Les auteurs proposent REGATE (Reference-Guided Adaptive Token Elision), un cadre conçu pour accélérer l'entraînement des MLLM en sélectionnant dynamiquement les tokens informatifs tout en sautant les redondants.

Architecture de base : Cadre Enseignant-Élève

Modèle Élève : Le MLLM en cours d'entraînement (par exemple, VideoChat2, VideoLLaMA2, InternVL3.5).
Modèle Enseignant : Une version figée et uniquement textuelle de l'épine dorsale LLM de l'élève. Elle est créée en supprimant l'encodeur visuel et le projecteur du modèle élève.
Mécanisme : L'enseignant agit comme un expert de référence pour estimer dans quelle mesure un token spécifique dépend du contexte visuel.

Mécanisme de notation des tokens

REGATE calcule un score de difficulté unifié ( $d_{b,i}$ ) pour chaque token basé sur deux signaux complémentaires :

Perte de référence ( $\ell^{ref}_{b,i}$ ) : Le modèle enseignant tente de prédire le token en utilisant uniquement le contexte textuel (les tokens visuels étant remplacés par des espaces réservés).
- Perte faible : Le token est prévisible à partir du texte seul (redondant).
- Perte élevée : Le token nécessite un ancrage visuel (critique).
Difficulté historique de l'élève ( $m_{s,i}$ ) : Une moyenne mobile exponentielle (EMA) de la perte d'entropie croisée de l'élève pour cette position de token au fil du temps. Cela suit les tokens que l'élève a du mal à apprendre de manière constante.

Le score combiné est formulé comme suit :
$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$
Où $\lambda$ équilibre le signal de référence statique et le signal d'apprentissage dynamique de l'élève.

Contrôle dynamique des tokens et parcimonie

Génération de masque : Pour chaque lot, un masque binaire est généré en sélectionnant les $k$ tokens ayant les scores de difficulté combinés les plus élevés.
Préservation des tokens visuels : Les tokens visuels spéciaux (par exemple, <image>, <video>) sont toujours conservés pour préserver la structure multimodale, indépendamment de leur score de difficulté.
Calendrier à double cycle : Pour assurer la stabilité, REGATE emploie un calendrier déterministe :
- Phase de réchauffement : Tous les tokens sont traités durant les $F$ premiers pas de chaque cycle.
- Phase parcimonieuse : Seule une proportion fixe ( $p_{sparse}$ ) de tokens est traitée pour les pas restants.
Implémentation du décodeur parcimonieux : Le décodeur transformeur est modifié pour effectuer les opérations d'auto-attention et de réseau de neurones à propagation avant (FFN) uniquement sur les tokens actifs (conservés). Les tokens inactifs contournent le calcul mais maintiennent les connexions résiduelles pour préserver la continuité du flux de gradient. Cela est implémenté efficacement à l'aide de masques Flash Attention.

3. Contributions clés

Élagage adaptatif de l'entraînement : Introduction de la première méthode d'élagage de tokens adaptative spécifiquement pour l'entraînement des MLLM qui identifie dynamiquement les tokens visuellement essentiels sans ajouter de paramètres entraînables.
Indépendant du modèle et sans architecture : REGATE s'intègre de manière transparente dans les MLLM existants (y compris ceux utilisant LoRA ou le fine-tuning complet) sans modifier l'architecture du modèle ni exiger de composants apprenants supplémentaires.
Guidage par double signal : Un mécanisme de notation novateur combinant une perte de référence inter-modale statique (provenant d'un enseignant uniquement textuel) avec l'historique d'apprentissage dynamique de l'élève, isolant efficacement les tokens qui sont à la fois visuellement critiques et difficiles à apprendre.

4. Résultats expérimentaux

Les auteurs ont évalué REGATE sur trois MLLM représentatifs : VideoChat2 (Mistral-7B), VideoLLaMA2 (Qwen2-7B) et InternVL3.5 (Qwen3-14B) à travers 5 benchmarks d'images et 8 benchmarks vidéo.

Gains d'efficacité

Réduction des tokens : REGATE atteint une précision maximale en utilisant seulement 38 % des tokens en moyenne par rapport à l'entraînement standard.
Vitesse d'entraînement : Il atteint la précision maximale de la ligne de base 2 fois plus vite sur le benchmark MVBench.
Économies de ressources :
- VideoLLaMA2 : Réduction du temps d'entraînement de 129,6 à 64,0 heures GPU (avec un élagage agressif) tout en maintenant la précision.
- InternVL3.5 : Réduction de l'utilisation des tokens de 41,4 % et du temps d'entraînement d'environ 40 % tout en surpassant la précision de la ligne de base.
- Mémoire : Réduction de l'utilisation moyenne de mémoire par GPU de 7 à 8 Go (environ 10–11 %) sur tous les modèles.

Précision des performances

Surpasser les lignes de base : Avec un entraînement prolongé, les modèles REGATE surpassent constamment les lignes de base standard sur plusieurs benchmarks.
- Exemple : VideoLLaMA2-REGATE a amélioré la précision de ScienceQA de 19,1 % et MME de 33,1 points tout en utilisant 41 % de tokens en moins.
- Exemple : InternVL3.5-REGATE a atteint une précision plus élevée sur les benchmarks Video-MME et MLVU avec significativement moins de tokens.
Généralisation : La méthode s'est avérée efficace sur différentes épine dorsales (Mistral, Qwen) et stratégies d'entraînement (Fine-tuning complet, LoRA).

5. Importance et conclusion

REGATE adresse un goulot d'étranglement critique dans la mise à l'échelle des MLLM : le coût computationnel de l'entraînement sur de longues séquences multimodales.

Changement de paradigme : Il déplace l'efficacité des tokens d'une préoccupation liée uniquement à l'inférence vers une optimisation au moment de l'entraînement, prouvant que les modèles peuvent apprendre mieux (précision plus élevée) et plus vite en concentrant le calcul sur les points de données les plus informatifs.
Praticité : En ne nécessitant aucun changement architectural ni paramètres entraînables supplémentaires, REGATE offre une solution plug-and-play pour les chercheurs et les praticiens souhaitant entraîner des modèles plus grands sur du matériel limité.
Travaux futurs : Les auteurs suggèrent que les directions futures incluent la planification de la parcimonie adaptative basée sur la complexité de la tâche et l'exploration de modèles enseignants plus puissants pour des tâches de raisonnement plus complexes.

En résumé, REGATE démontre que moins c'est plus dans l'entraînement des MLLM : en sautant intelligemment les tokens redondants, les modèles convergent plus vite, consomment moins de mémoire et finissent par atteindre une compréhension multimodale supérieure.