💻 computer science

Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

Cette étude propose une méthode d'élagage structuré des couches décodeurs dans les modèles vision-langage, basée sur la similarité des activations spécifique au domaine, qui révèle une structure à trois régimes d'efficacité et permet de réduire la profondeur du modèle tout en préservant ses capacités de raisonnement mathématique et multimodal.

Auteurs originaux : Saeed Khaki, Nima Safaei, Kamal Ginotra

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Saeed Khaki, Nima Safaei, Kamal Ginotra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un génie très savant (le modèle d'intelligence visuelle) qui peut regarder une photo et répondre à n'importe quelle question, qu'il s'agisse de décrire un paysage ou de résoudre un problème de mathématiques complexe.

Le problème ? Ce génie est énorme, lent et coûteux à faire fonctionner. Il a une bibliothèque mentale gigantesque avec des milliers de livres (des couches de neurones). L'idée de l'article est simple : comment on peut jeter une partie de cette bibliothèque pour le rendre plus rapide, sans qu'il oublie comment faire les maths ?

Voici l'explication de la méthode, imagée comme une réorganisation d'une équipe de cuisine.

1. Le Problème : Trop de chefs, pas assez de place

Dans une cuisine de restaurant très complexe (le modèle), il y a des centaines de chefs (les couches du modèle).

Certains chefs sont excellents pour découper les légumes (comprendre l'image).
D'autres sont des magiciens des mathématiques (faire des calculs complexes).
D'autres encore sont des généralistes (décrire ce qu'ils voient).

Le chercheur se demande : "Si je renvoie 10%, 25% ou même 40% de ces chefs, lesquels puis-je licencier sans que le restaurant ne s'effondre ?"

2. La Méthode : Le "Test de l'Écho"

Au lieu de deviner au hasard, les chercheurs ont inventé un test simple appelé "Similarité d'Activation".

Imaginez que vous envoyez un message à chaque chef de l'équipe : "Voici une photo d'un triangle, calculez son aire."

Si un chef reçoit le message, le regarde, et renvoie exactement le même message sans rien ajouter, c'est qu'il ne fait rien d'utile pour cette tâche précise. C'est un "chef fantôme". Il est redondant.
Si un chef transforme le message, ajoute des idées, change la forme, c'est qu'il est actif et nécessaire.

Les chercheurs ont fait ce test avec deux types de messages :

Des problèmes de maths (pour voir qui est le "magicien des maths").
Des questions générales (comme "Quel est le temps qu'il fait ?" ou "Combien de chats y a-t-il ?").

3. Les Trois Règles du Jeu (Les Régimes)

En éliminant progressivement les chefs les plus "paresseux" (ceux qui ne changent pas le message), ils ont découvert que la situation change selon combien de gens on renvoie. C'est comme conduire une voiture :

Régime 1 : Le petit budget (On renvoie peu de monde, ex: 10%)
- L'analogie : C'est comme enlever quelques épices inutiles d'une soupe.
- Ce qui se passe : Si vous enlevez le mauvais chef (celui qui fait les maths), la soupe devient immangeable. L'ordre compte énormément. La méthode "consciente du domaine" (savoir quel chef fait quoi) est ici la seule qui fonctionne bien. Elle sait exactement qui garder pour les maths.
Régime 2 : Le budget moyen (On renvoie un tiers de l'équipe, ex: 25%)
- L'analogie : La cuisine commence à manquer de monde.
- Ce qui se passe : Peu importe qui vous enlevez, tout commence à aller mal. Les méthodes différentes commencent à se ressembler parce que le dégât structurel est trop grand.
Régime 3 : Le gros budget (On renvoie presque la moitié, ex: 40%)
- L'analogie : Il ne reste que quelques chefs.
- Ce qui se passe : Le plus important n'est plus qui vous avez, mais comment ils sont disposés. Si vous laissez des trous géants entre les chefs restants, la chaîne de commande se brise. Ici, la meilleure stratégie est de garder une distance régulière entre les chefs restants (comme des piliers d'un pont), peu importe leur spécialité.

4. Le Résultat : Un équilibre parfait

Les chercheurs ont prouvé que leur méthode "consciente du domaine" (qui sait distinguer les maths du reste) est la meilleure pour trouver l'équilibre parfait :

Elle garde le génie capable de résoudre des problèmes de mathématiques complexes (comme les devoirs scolaires).
Elle garde aussi sa capacité à décrire des images, à lire des graphiques et à comprendre le monde réel.

En résumé :
Au lieu de couper au hasard dans un modèle géant, cette méthode agit comme un chirurgien très précis. Elle écoute ce que fait chaque partie du cerveau du modèle selon la tâche (maths ou image), et retire uniquement les parties qui ne font rien pour cette tâche spécifique. Cela permet de rendre le modèle plus léger et plus rapide, tout en préservant son intelligence, un peu comme si vous réduisiez le poids d'un sac à dos en retirant les objets inutiles, tout en gardant la boussole et la carte.

1. Problématique

Les modèles Vision-Language (VLM) basés sur l'architecture Transformer ont démontré des capacités remarquables, notamment dans le raisonnement mathématique et la compréhension de documents complexes. Cependant, leur déploiement est entravé par leur coût computationnel et leur consommation mémoire élevés.

Bien que le pruning (élagage) des couches de transformeurs soit une technique prometteuse pour réduire la latence et la taille des modèles, une question centrale reste mal comprise : quelles parties d'un VLM sont essentielles pour un domaine spécifique (par exemple, le raisonnement mathématique) et quand le choix précis des couches supprimées devient-il critique ?

Les stratégies de pruning existantes sont souvent évaluées sur des métriques agrégées, ignorant la nécessité d'un couplage étroit entre la perception visuelle et le raisonnement par étapes multiples requis par les problèmes mathématiques. De plus, il est incertain si les régimes de pruning observés dans les modèles de langage (LLM) s'appliquent aux VLM, où la redondance peut être distribuée de manière hétérogène selon le domaine.

2. Méthodologie

Les auteurs proposent une approche de pruning structuré des couches du décodeur basée sur la similarité des activations dépendante du domaine. L'idée centrale est qu'une couche qui transforme peu les représentations pour un type d'entrée donné est redondante pour ce domaine.

A. Capture des Activations et Mesure de Redondance

Logging des Activations : Pour chaque bloc de décodeur, les auteurs enregistrent les activations d'entrée ( $H_{in}$ ) et de sortie ( $H_{out}$ ) lors de l'inférence sur un ensemble diversifié de sondes (prompts).
Sondage Spécifique au Domaine :
- Domaine Mathématique : Utilisation de prompts de type CoT (Chain-of-Thought), formalisation, vérification, etc.
- Domaine Non-Mathématique : Utilisation de prompts de légendage, comptage, ancrage d'entités, etc.
Métrique de Redondance : Le score de redondance est calculé via la similarité cosinus entre les états cachés d'entrée et de sortie au niveau des tokens. Une similarité élevée indique que la couche effectue peu de transformations, suggérant qu'elle est redondante pour cette tâche.
$sim^{(i)}_{\ell} = \frac{1}{T} \sum_{t=1}^{T} \frac{\langle h^{in}_{\ell,t}, h^{out}_{\ell,t} \rangle}{\|h^{in}_{\ell,t}\| \|h^{out}_{\ell,t}\|}$
Agrégation et Normalisation : Les scores sont agrégés par domaine et normalisés (z-score) pour permettre la comparaison entre les différentes profondeurs du modèle.

B. Stratégies de Classement et Élagage

Les couches sont classées selon trois critères de classement (ranking) :

Math-Aware : Privilégie la suppression des couches redondantes spécifiquement pour les tâches mathématiques.
Non-Math-Aware : Privilégie la suppression des couches redondantes pour les tâches générales.
Mixed (Hybride) : Combine les deux signaux avec un poids $\alpha$ (fixé à 0,7 pour favoriser les capacités générales tout en préservant le raisonnement mathématique).

Contraintes de Pruning :

Les couches première et dernière du décodeur sont préservées pour maintenir la fusion multimodale et la prédiction des tokens.
Le vision encoder reste figé.
Après le pruning, une fine-tuning supervisée (SFT) légère est appliquée pour stabiliser le modèle.

3. Contributions Clés

Méthode de Pruning Consciente du Domaine : Introduction d'une méthode simple et interprétable qui classe les couches du décodeur en fonction de la similarité entrée-sortie spécifique à un domaine (math vs non-math).
Analyse des Régimes de Pruning : Identification empirique d'une structure à trois régimes dans le pruning de profondeur des VLM :
- Régime sensible au classement (Faible budget) : La performance dépend fortement de quelles couches sont supprimées. Le classement conscient du domaine est crucial ici.
- Régime de transition (Budget modéré) : Les méthodes commencent à converger à mesure que les dommages structurels s'accumulent.
- Régime dominé par la structure (Fort budget) : La continuité structurelle devient le facteur limitant. Les stratégies qui imposent un espacement des suppressions (comme Interlace) surpassent les autres.
Benchmark Complet : Évaluation sur deux modèles VLM de pointe (Qwen3-VL-2B et Qwen3-VL-4B) couvrant des benchmarks mathématiques (Snapask, NuminaMath) et des benchmarks généraux (ChartQA, ScienceQA, VStar).

4. Résultats Expérimentaux

Les expériences révèlent des dynamiques distinctes selon le budget de pruning et le domaine :

Faibles Budgets (0–15 %) :
- Le classement conscient du domaine (notamment la variante Mixed) est nettement supérieur aux méthodes aveugles (Random) ou basées sur la similarité de représentation (CKA).
- Pour le modèle 2B, la méthode proposée maintient une stabilité supérieure sur les tâches mathématiques tout en préservant les capacités générales.
- Les méthodes "Math-Aware" tendent à supprimer des couches tardives, tandis que "Non-Math-Aware" cible des couches plus précoces.
Budgets Modérés à Élevés (25–40 %) :
- La performance de toutes les méthodes se dégrade, mais la continuité structurelle devient le facteur dominant.
- La méthode Interlace (qui impose un espacement strict entre les couches supprimées) devient la plus stable aux budgets élevés, car elle évite de créer de grandes lacunes dans le flux résiduel, ce qui est critique pour le raisonnement à long terme.
- Le pruning aléatoire reste la méthode la plus fragile, confirmant que la redondance n'est pas uniformément distribuée.
Compromis Math vs Général :
- L'analyse Pareto montre que la méthode Mixed offre le meilleur compromis, se situant sur la frontière de Pareto entre la précision mathématique et la compétence vision-langage générale.
- Les tâches comme ChartQA sont particulièrement fragiles, subissant une forte dégradation due au décalage de distribution induit par le SFT de stabilisation, indépendamment de la stratégie de pruning.

5. Signification et Impact

Ce travail apporte une compréhension plus fine de la manière dont la profondeur des modèles contribue au comportement spécifique à un domaine dans les VLM.

Interprétabilité : Il démontre que la redondance dans les transformeurs multimodaux est fonctionnelle et dépendante du domaine, et non aléatoire.
Pratique : Il fournit une approche pragmatique pour réduire la profondeur des modèles sans sacrifier les capacités critiques (comme le raisonnement mathématique), en adaptant la stratégie de pruning au budget disponible.
Guidance Future : L'identification des trois régimes suggère que pour les compressions légères, l'optimisation du choix des couches est primordiale, tandis que pour les compressions agressives, le maintien de la continuité structurelle est la priorité.

En résumé, l'article propose un cadre robuste pour l'élagage des VLM, montrant qu'une sélection de couches intelligente et consciente du domaine permet de préserver les capacités de raisonnement complexe tout en réduisant significativement la taille du modèle.