💻 computer science

HEED: Density-Weighted Residual Alignment for Hybrid Vision-Language Model Distillation

L'article présente HEED, une méthode de distillation sans entraînement qui utilise un alignement résiduel pondéré par la densité pour privilégier les patches d'images à forte information, résolvant ainsi la baisse significative de performance observée dans les tâches d'OCR et de traitement de documents lors de la distillation de grands modèles vision-langage vers des architectures hybrides efficaces, tout en atteignant une précision équivalente à celle du modèle enseignant avec des gains substantiels en mémoire et en débit.

Auteurs originaux : Yihao Liang, Niraj K. Jha

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yihao Liang, Niraj K. Jha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : L'étudiant « rapide mais oublieux »

Imaginez que vous avez un professeur brillant mais lent (le Modèle Enseignant) capable de lire un document complexe, d'examiner un reçu et de résoudre un problème de mathématiques, le tout en même temps. Il est incroyablement précis, mais il lui faut beaucoup de temps pour réfléchir.

Vous souhaitez engager un assistant plus rapide et moins cher (le Modèle Étudiant) pour accomplir la même tâche. Pour rendre cet assistant rapide, vous remplacez la majeure partie de son « cerveau pensant » (qui utilise habituellement une méthode lente et prudente appelée Attention) par une méthode linéaire ultra-rapide appelée Mamba. C'est comme remplacer un détective détaillé, procédant étape par étape, par un lecteur rapide.

Le problème :
Lorsque vous entraînez cet assistant rapide à imiter le professeur, quelque chose d'étrange se produit. L'assistant devient très bon pour les choses « globales ». Si vous lui montrez une photo d'un reçu, il peut vous dire : « C'est un reçu d'un magasin d'alimentation ». Il peut raisonner sur la scène.

Cependant, il échoue lamentablement sur les détails minuscules. Si vous lui demandez de lire les chiffres spécifiques de ce reçu (comme le prix total ou la date), il se trompe souvent. Il peut voir le reçu mais mal lire les chiffres.

Le papier appelle cela un « effondrement de la perception fine ». L'étudiant comprend la scène mais perd le texte.

Le diagnostic : Pourquoi l'étudiant oublie-t-il les détails ?

Les chercheurs ont enquêté sur les raisons de ce phénomène. Ils ont examiné les « ondes cérébrales » (flux résiduels) de l'étudiant alors qu'il tentait de copier le professeur.

Ils ont découvert que le cerveau de l'étudiant s'éloigne de celui du professeur spécifiquement dans les zones qui sont visuellement chargées et uniques.

Zones lisses : Un ciel bleu, un mur blanc vide ou une table lisse. Ces zones ressemblent à leurs voisines. L'étudiant les gère bien.
Zones à haute densité : Les caractères de texte, les bords des objets, les lignes de graphiques ou les petits logos. Ces zones ressemblent très peu à leurs voisines.

L'analogie :
Imaginez une salle de classe où le professeur explique une carte.

Le professeur consacre du temps à l'océan (lisse, bleu, ennuyeux). L'étudiant le copie parfaitement.
Le professeur consacre un temps supplémentaire aux noms de villes et aux panneaux de rue (denses, uniques, importants).
L'erreur : La méthode d'entraînement actuelle traite l'océan et les noms de villes exactement de la même manière. Elle accorde à l'étudiant la même quantité de « temps d'entraînement » pour l'eau bleue que pour les minuscules panneaux de rue difficiles à lire.
Le résultat : L'étudiant s'ennuie avec l'eau (qui est facile) et ne s'entraîne pas assez sur les panneaux de rue. Lorsque le test arrive, il sait qu'il s'agit d'un océan, mais il ne peut pas lire les noms des rues.

La solution : HEED (Haute Efficacité par Densité)

Les chercheurs ont créé une nouvelle méthode d'entraînement appelée HEED.

Au lieu de traiter chaque partie de l'image de manière égale, HEED agit comme un projecteur intelligent. Il détermine automatiquement quelles parties de l'image sont « denses » (pleines de détails uniques comme du texte ou des bords) et lesquelles sont « lisses » (comme un mur vide).

Comment cela fonctionne :

Numérisation : Avant le début de l'entraînement, le système numérise l'image en utilisant un « œil » figé (un Vision Transformer) pour identifier les patches uniques.
Pondération : Il crée une « carte de densité ».
- Les patches lisses (ciel, murs) reçoivent un poids faible. L'étudiant n'a pas besoin de s'entraîner aussi intensément sur ceux-ci.
- Les patches denses (texte, bords) reçoivent un poids élevé. Le système dit à l'étudiant : « Fais attention ici ! C'est là que tu fais habituellement des erreurs. »
Entraînement : Pendant le processus d'entraînement, le système force l'étudiant à aligner ses « ondes cérébrales » beaucoup plus étroitement avec celles du professeur, spécifiquement sur ces zones à haute densité et riches en texte.

L'analogie :
Pensez à HEED comme à un tuteur qui réalise : « Tu es excellent pour décrire le fond, mais tu continues de te tromper sur les chiffres. » Ainsi, le tuteur arrête de te faire dessiner le ciel et te fait plutôt pratiquer la lecture des chiffres encore et encore jusqu'à ce que tu les aies justes.

Les résultats : Rapide, peu coûteux et précis

Le papier a testé cette méthode en transformant un modèle puissant (Qwen3-VL) en un modèle hybride rapide.

Avant HEED : Le modèle rapide était excellent pour le raisonnement mais perdait environ 13 points sur les tâches nécessitant la lecture de texte (comme l'OCR ou les questions sur des documents).
Après HEED : Le modèle rapide a récupéré presque tous ces points perdus. Il s'est amélioré de 8,7 points sur les benchmarks de lecture de texte par rapport à la méthode standard.
Le meilleur aspect : HEED n'a pas rendu le modèle plus lent ou plus volumineux.
- Il a ajouté zéro paramètre supplémentaire (aucune mémoire supplémentaire requise).
- Il a ajouté zéro coût supplémentaire lors de l'utilisation réelle (inférence).
- Le modèle reste 4 fois plus rapide que le professeur original et utilise 68 % moins de mémoire pour les longs documents.

Résumé

Le papier montre que lorsque vous compressez une IA lente et intelligente en une IA hybride rapide, vous ne pouvez pas traiter chaque partie d'une image de la même manière. Vous devez accorder un « poids d'entraînement » supplémentaire aux parties chargées et détaillées de l'image (comme le texte et les bords), car c'est là que l'IA rapide a tendance à se perdre.

HEED est une correction simple et gratuite qui agit comme un projecteur, garantissant que l'IA rapide s'entraîne sur les détails difficiles autant que sur le fond facile, aboutissant à un modèle à la fois ultra-rapide et étonnamment bon pour lire les petits caractères.

Résumé technique : HEED - Alignement résiduel pondéré par la densité pour la distillation de modèles hybrides vision-langage

1. Énoncé du problème

La distillation de grands modèles vision-langage (VLM) vers des architectures hybrides efficaces (par exemple, mélangeant des couches linéaires Mamba-2 avec des couches d'attention) constitue une approche standard pour réduire les coûts d'inférence. Cependant, les benchmarks agrégés existants masquent un mode de défaillance critique : bien que les étudiants hybrides préservent souvent des capacités de raisonnement étendues, ils subissent des baisses de performance significatives sur des tâches nécessitant une perception visuelle fine, telles que la reconnaissance optique de caractères (OCR), la compréhension de documents et l'analyse de graphiques.

Les auteurs identifient que la distillation de connaissances (KD) standard traite tous les tokens visuels de manière uniforme. Dans les images haute résolution, la plupart des patches consistent en des arrière-plans lisses (ciel, murs) à faible densité d'information, tandis qu'une petite fraction contient des détails critiques (texte, contours, limites d'objets). La KD standard alloue des termes de perte excessifs aux patches d'arrière-plan à faible information, échouant à protéger les patches denses et à haute densité essentiels pour répondre à des questions spécifiques. Cela se traduit par un « effondrement de la perception fine » où l'étudiant peut décrire une scène de manière générale mais échoue à lire des chiffres ou des étiquettes spécifiques à l'intérieur de celle-ci.

2. Méthodologie : HEED

La méthode proposée, HEED (Alignement résiduel pondéré par la densité), adresse ce déséquilibre en réajustant la perte de distillation en fonction de la densité d'information locale des patches visuels.

2.1 Insight diagnostique

Grâce à des diagnostics au niveau du token, les auteurs localisent l'échec à des positions spécifiques :

Dérive résiduelle : Les 10 % supérieurs des patches ayant la densité de caractéristiques locale la plus élevée (définie par la dissimilarité des caractéristiques ViT par rapport aux voisins) présentent une dérive résiduelle 3,6 fois plus grande par rapport à l'enseignant que les 10 % inférieurs.
Sensibilité à la réponse : Le masquage de ces patches à haute densité entraîne une baisse 3,5 fois plus importante du score de réponse de l'enseignant par rapport aux patches à faible densité.
Puissance prédictive : La densité visuelle locale est le prédicteur le plus fort de la dérive résiduelle, surpassant le type de token (texte vs visuel), la profondeur de la couche et la concentration de l'attention de l'enseignant.

2.2 L'algorithme HEED

HEED met en œuvre une stratégie d'alignement résiduel pondéré par la densité, sans entraînement, sans modifier l'architecture du modèle ni ajouter de paramètres :

Estimation de la densité : Pour chaque patch visuel $p$ , un score de densité $\rho(p)$ est calculé en utilisant la autodissimilarité des caractéristiques ViT gelées au sein d'un voisinage $3\times3$ :
$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$
Un $\rho(p)$ élevé indique un patch localement distinctif (par exemple, texte, contours) ; un $\rho(p)$ faible indique un arrière-plan lisse.
Pondération : Ces scores sont normalisés et convertis en poids de perte $w(p)$ en utilisant une mapping exponentielle avec un paramètre de température $\tau$ . Les tokens de texte reçoivent un boost constant basé sur la densité visuelle moyenne de l'image.
Alignement résiduel : Au lieu d'aligner les sorties de blocs par couche (alignement d'état caché standard) ou d'utiliser des poids uniformes, HEED aligne les flux résiduels de l'enseignant et de l'étudiant. La perte d'alignement est pondérée par les scores de densité :
$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$
Cela garantit que l'étudiant hybride priorise la préservation de l'information aux positions à haute densité durant le processus de distillation.

2.3 Pipeline d'entraînement

La méthode suit un calendrier de distillation en trois étapes :

Étape 1 (Échauffement) : Alignement des flux résiduels avec des poids d'attention gelés.
Étape 2 (Bloc complet) : Entraînement de blocs Mamba-2 complets avec alignement résiduel pondéré par la densité.
Étape 3 (De bout en bout) : KD standard basée sur les logits (divergence KL + Entropie croisée).
HEED diffère des méthodes de base uniquement par la perte d'alignement utilisée aux étapes 1 et 2.

3. Contributions clés

Diagnostic : L'article démontre que la distillation de VLM hybrides échoue sélectivement sur des tâches de perception fine (OCR, documents) tout en préservant le raisonnement, attribuant cela au traitement uniforme des tokens dans la KD standard.
Mécanisme : Il établit que les positions visuelles à haute densité (caractéristiques localement distinctives) sont la source principale de dérive et sont les plus critiques pour la réponse de l'enseignant. Le réajustement aléatoire de patches arbitraires ne produit pas le même avantage ; le poids doit cibler spécifiquement les positions à haute densité.
Méthode (HEED) : Une intervention légère, sans paramètres, qui utilise l'autodissimilarité des patches comme proxy de l'importance. Elle améliore les performances sans altérer l'architecture d'inférence ni ajouter de coûts au moment de l'inférence.

4. Résultats expérimentaux

Les expériences ont été menées en distillant Qwen3-VL-8B-Instruct vers un hybride Mamba-2/Attention 3:1.

Gains de performance :
- Par rapport à la KD de bout en bout standard, HEED améliore OCRBench v2 de 8,7 points.
- Il réalise un gain moyen de 5,13 points sur 10 benchmarks.
- Dans une comparaison contrôlée (ne changeant que le poids d'alignement de uniforme à pondéré par la densité), HEED récupère 4,7 points sur OCRBench v2 et 2,24 points sur la moyenne des 10 benchmarks.
Sélectivité : Les gains sont concentrés sur les benchmarks de perception fine (OCR, DocVQA, ChartQA), tandis que les benchmarks de raisonnement (MMMU-Pro, MMStar) restent stables ou légèrement améliorés.
Post-entraînement : Après SFT et DPO standards, l'étudiant HEED atteint des performances de niveau enseignant sur la moyenne des 10 benchmarks (78,79 contre 78,41) tout en maintenant l'efficacité de l'architecture hybride.
Efficacité : L'étudiant conserve le profil d'efficacité du modèle hybride : débit 4,12 fois supérieur et 68 % d'économie de mémoire à une longueur de contexte de 128k par rapport à l'enseignant, sans coût d'inférence supplémentaire.
Robustesse : Les résultats tiennent pour différentes graines aléatoires, différents modèles enseignants (InternVL-3.5, MiniCPM-V 4.5, GLM-4.6V) et différentes architectures hybrides (Gated DeltaNet).

5. Signification et revendications

L'article revendique que HEED adresse une limitation fondamentale dans la compression d'entrées multimodales hétérogènes en modèles de séquence hybrides à capacité fixe. Le principe de base est que les pertes de distillation ne doivent pas traiter tous les tokens de manière uniforme ; au lieu de cela, elles doivent refléter l'importance variable des tokens basée sur leur densité d'information locale.

Les auteurs positionnent HEED comme complémentaire aux méthodes de réduction de tokens au moment de l'inférence (par exemple, VisionZip, FastV). Alors que ces méthodes réduisent le nombre de tokens durant l'inférence, HEED optimise le signal d'entraînement pour garantir que le modèle apprend à préserver les tokens les plus critiques lors de la conversion d'un enseignant à attention complète vers un étudiant hybride. La méthode est présentée comme une intervention pratique et peu coûteuse qui récupère les capacités fines perdues sans compromettre les gains d'efficacité des architectures hybrides.

Limitations reconnues :

La densité est un proxy de l'importance, pas une mesure universelle de saillance sémantique. Elle favorise le texte et les contours mais peut être moins efficace pour des tâches définies globalement ou à motifs adversariaux.
La méthode repose sur des caractéristiques ViT gelées ; elle ne prétend pas être une preuve causale de la dérive mais plutôt une intervention empirique hautement efficace.
Les résultats sont spécifiques au contexte de conversion VLM hybride testé ; les auteurs ne revendiquent pas une dominance de Pareto sur les modèles à attention complète en général.