🤖 machine learning

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Cet article présente PORTA, un cadre de compression par élagage sans réentraînement et agnostique à la tâche pour les modèles vision-langage, qui exploite la variation d'activation et l'allocation de parcimonie adaptative pour atteindre des taux de compression élevés tout en maintenant une large performance en aval sans nécessiter de données spécifiques à la tâche ou de réglage fin.

Auteurs originaux : Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Publié 2026-08-10

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau de robot super intelligent capable de regarder une image et de lire une phrase, puis de comprendre instantanément comment elles se connectent. C'est le monde des modèles Vision-Langage (VLM). Considérez ces modèles comme de gigantesques bibliothèques affamées qui ont lu tous les livres et regardé toutes les photos sur Internet. Ils sont incroyables pour résoudre des énigmes, répondre à des questions et trouver des images spécifiques, mais il y a un hic : ils sont incroyablement lourds. Ils nécessitent des ordinateurs massifs avec une énorme quantité de mémoire et de puissance pour fonctionner, un peu comme essayer de transporter une bibliothèque dans un sac à dos en montant une montagne lors d'une randonnée. À cause de cela, il est très difficile de mettre ces robots intelligents sur de petits appareils comme des téléphones ou des tablettes.

Pour résoudre ce problème, les scientifiques utilisent une technique appelée l'élagage (pruning). Imaginez que le cerveau du robot est un immense réseau de connexions. L'élagage consiste à couper soigneusement les fils minuscules et inutiles qui n'aident pas le robot à réfléchir, ne laissant que les plus forts et les plus importants. Cela rend le robot plus léger et plus rapide sans qu'il oublie comment faire son travail. Cependant, la plupart des méthodes existantes pour décider quels fils couper sont comme utiliser une carte destinée à un autre pays ; elles nécessitent souvent des tests d'entraînement spécifiques (données) pour chaque tâche que le robot pourrait rencontrer, ou elles s'embrouillent lorsque le robot passe de l'observation d'images à la lecture de mots. Ce document s'attaque au problème de savoir comment tailler ces cerveaux géants une seule fois, parfaitement, afin qu'ils puissent fonctionner n'importe où sans avoir besoin d'être réentraînés ou réajustés pour chaque nouvelle tâche.

Le "Coup de Ciseau Unique" pour le Cerveau

Découvrez PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), une nouvelle méthode introduite par les chercheurs Minseok Kang et son équipe. Leur objectif était de résoudre un problème frustrant : les méthodes d'élagage actuelles agissent souvent comme un tailleur qui doit prendre vos mesures à chaque fois que vous voulez porter une chemise différente. Si vous voulez que le robot fasse de la classification d'images, vous l'élaguez d'une certaine manière ; si vous voulez qu'il fasse de la recherche, vous devez l'élaguer à nouveau. C'est lent et coûteux. PORTA est différent. C'est comme un maître tailleur qui examine le tissu une seule fois, le coupe parfaitement, et le costume qui en résulte vous va pour toutes les occasions — que vous fassiez une course, que vous soyez en réunion ou que vous dansiez à une fête.

Le document suggère que la raison principale pour laquelle les autres méthodes échouent dans cette approche "une fois pour toutes" est qu'elles reposent sur la taille (magnitude) des signaux internes du robot pour décider de ce qu'il faut garder. Les auteurs soutiennent que dans ces modèles géants, la taille d'un signal peut être trompeuse car la partie "langage" du cerveau et la partie "vision" du cerveau se comportent différemment. C'est comme essayer de juger l'importance d'un cri dans une bibliothèque par rapport à un cri dans un stade ; le volume (magnitude) est différent, mais le sens peut être le même. De ce fait, les méthodes qui regardent simplement le volume coupent souvent les mauvaises choses, surtout lorsque le robot est sollicité pour une tâche qu'il n'a pas vue auparavant.

La Recette Secrète : La Variance plutôt que le Volume

Au lieu d'écouter à quel point un signal est fort, PORTA écoute à quel point il est changeant. Les chercheurs appellent cela la variation d'activation.

Voici l'analogie : Imaginez un groupe d'étudiants dans une salle de classe.

L'ancienne méthode (Magnitude) : Le professeur demande : « Qui est le plus bruyant ? » et ne garde que les étudiants qui crient le plus. Mais peut-être que l'étudiant le plus bruyant crie simplement parce qu'il est enthousiaste pour un sujet spécifique, tandis que l'étudiant le plus calme est en réalité attentif à tout ce que dit le professeur.
La méthode PORTA (Variance) : Le professeur demande : « Qui change le plus sa réponse en fonction de la question ? » L'étudiant qui adapte sa réponse en fonction du sujet est celui qui comprend vraiment la matière.

Dans le cerveau du robot, PORTA recherche les caractéristiques qui montrent beaucoup de variation (fluctuation) à travers différentes entrées. Si une partie du cerveau réagit différemment à de nombreuses images ou mots différents, elle accomplit un travail important. Si une partie du cerveau reste la même, peu importe ce que vous lui montrez, elle est probablement un poids mort. En utilisant ce score de "changeabilité", PORTA peut déterminer quelles parties du robot sont réellement utiles, qu'il regarde un chat ou qu'il lise un poème. Cela rend l'élagage "indépendant de la modalité" (modality-agnostic), ce qui signifie qu'il traite les parties vision et langage de manière équitable, sans biaiser la coupe vers un côté.

La Coupe Intelligente : Toutes les Couches ne sont pas Égales

Une fois que PORTA sait quelles caractéristiques sont importantes, il doit décider de la quantité à couper dans chaque couche du cerveau du robot. Le cerveau n'est pas un bloc uniforme ; certaines couches sont comme les fondations d'une maison, et d'autres sont comme le toit. Vous ne couperiez pas les fondations aussi agressivement que le toit.

PORTA utilise un mécanisme d'élagage adaptatif (adaptive sparsity) ingénieux. Il observe la quantité de "travail" que chaque couche accomplit en fonction de la variation de sa sortie.

Si une couche fait un gros travail (haute variation de sa sortie), PORTA dit : « N'y touche pas trop ! » et lui donne un faible ratio d'élagage (il en garde la majeure partie).
Si une couche se laisse porter (faible variation), PORTA dit : « Nous pouvons réduire cela de manière significative. »

Cela garantit que le robot ne perd pas sa capacité de réflexion simplement parce que nous avons essayé de le rendre plus petit. Le document montre que cette méthode évite les "parachutes de performance" (performance cliffs) où les autres méthodes s'effondrent soudainement lorsque vous essayez de trop couper.

Les Résultats : Plus Fort, Plus Léger, Prêt pour Tout

Les chercheurs ont testé PORTA sur trois cerveaux de robots célèbres : CLIP, BLIP et Qwen2-VL. Ils ne l'ont pas seulement testé sur une tâche ; ils lui ont tout lancé :

Classification d'images : Identifier ce qui se trouve dans une image (comme faire la différence entre une fleur et un chien).
Recherche (Retrieval) : Trouver la bonne image pour une description textuelle (ou vice versa).
VQA (Visual Question Answering) : Répondre à des questions complexes sur une image.

Les résultats ont été impressionnants. Même lorsqu'ils ont supprimé 65 % des paramètres du robot (le rendant très petit), PORTA a permis au robot de maintenir des performances bien supérieures aux autres méthodes.

Sur le modèle CLIP, à 65 % de parcimonie (sparsity), PORTA a amélioré la performance moyenne de 12,6 % par rapport à une méthode appelée SparseGPT et de 21,5 % par rapport à Wanda.
Sur BLIP (à 45 % de parcimonie), PORTA a atteint un score moyen de 90,26, battant le 89,95 de SparseGPT.
Sur Qwen2-VL (à 50 % de parcimonie), PORTA a atteint une précision moyenne de 54,30, battant la méthode suivante (Wanda) de 0,87 point de pourcentage.

Le plus important est que PORTA est robuste. Le document montre qu'il n'importe pas que vous utilisiez un petit ensemble d'images pour "calibrer" l'élagage ou un grand ensemble, ou si vous utilisez des images provenant d'un site web ou d'un autre. PORTA reste stable, alors que les autres méthodes oscillent violemment en termes de performance selon les données utilisées.

L'Essentiel à Retenir

PORTA suggère que nous n'avons pas besoin de réentraîner ces modèles géants pour les rendre plus petits. En regardant simplement à quel point les signaux internes du robot changent plutôt que leur volume, et en coupant davantage dans les couches qui travaillent le moins, nous pouvons créer un modèle unique et affiné qui est prêt pour n'importe quel travail. C'est une approche "élaguer une fois, utiliser pour toujours" qui pourrait enfin permettre à ces modèles vision-langage super intelligents de fonctionner sur les appareils que nous portons dans nos poches, sans avoir besoin d'un supercalculateur pour les alimenter. Les auteurs le confirment par des expériences étendues en "zero-shot", mont'rant qu'un modèle élagué avec PORTA peut passer directement à de nouvelles tâches sans entraînement supplémentaire, maintenant une haute précision même lorsqu'il est fortement compressé.

Résumé technique : PORTA – Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Problématique

Les modèles vision-langage (VLM) ont démontré une remarquable capacité de généralisation à travers diverses tâches multimodales grâce à un pré-entraînement à grande échelle. Cependant, l'augmentation rapide de leur nombre de paramètres et de leurs exigences computationnelles entrave leur déploiement dans des environnements aux ressources limitées. Bien que les techniques de compression de modèles comme l'élagage (pruning) soient essentielles, les stratégies existantes font face à des limitations significatives dans le contexte des VLM :

Dépendance à la tâche : La plupart des méthodes d'élagage reposent sur des critères ou des données de calibration spécifiques à une tâche. Lorsque la tâche en aval change, le modèle nécessite souvent un nouvel élagage ou un ré-entraînement, ce qui introduit un surcoût non négligeable.
Biais de modalité : De nombreuses approches adoptent des mesures d'importance dérivées des grands modèles de langage (LLM), telles que Wanda et SparseGPT, qui reposent sur l'amplitude des activations et les motifs d'anomalies (outliers). Ces motifs ne se manifestent pas de la même manière dans les encodeurs de vision, ce qui conduit à un biais spécifique à la modalité où l'élagage affecte de manière disproportionnée soit la branche vision, soit la branche langage.
Instabilité : Les estimations d'importance orientées LLM sont très sensibles au choix des données de calibration. Dans des contextes agnostiques à la tâche où les échantillons spécifiques à la tâche sont indisponibles, ces méthodes produisent des estimations d'importance instables et des résultats d'élagage sous-optimaux.

Par conséquent, il existe un manque de cadre d'élagage robuste et agnostique à la tâche capable d'élaguer un VLM une seule fois en utilisant des données générales, pour ensuite le déployer sur diverses tâches en aval sans ré-entraînement ni nouvel élagage.

Méthodologie : PORTA

Les auteurs proposent PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), un cadre conçu pour traiter le biais de modalité et la sensibilité à la calibration grâce à deux composantes clés : une formulation d'importance agnostique à la modalité et un mécanisme d'allocation de la parcimonie adaptatif.

1. Formulation d'importance basée sur la variance

Les méthodes existantes utilisent principalement l'amplitude des activations pour l'estimation de l'importance. Les auteurs soutiennent que l'amplitude est sensible aux différences d'échelle spécifiques à la modalité (par exemple, les différences de distribution d'activation entre texte et vision). Au lieu de cela, PORTA utilise la variation d'activation (variance) comme un signal plus stable et agnostique à la modalité.

Raisonnement : Les caractéristiques présentant une variance élevée répondent largement à divers entrées, capturant des structures généralisables, tandis que les caractéristiques à faible variance encodent des motifs localisés ou spécifiques à l'entrée.
Formulation : Pour une couche avec des activations d'entrée $X \in \mathbb{R}^{B \times T \times D_{in}}$ et des poids $W$ , le score d'importance $S_{i,j}$ pour le poids $W_{i,j}$ est calculé en combinant l'amplitude absolue du poids avec la variance de la caractéristique d'entrée correspondante $j$ :
$v_j = \mathrm{Var}_{b,t}(X_{b,t,j})$
$S_{i,j} = v_j \cdot |W_{i,j}|$
Cette formulation garantit que les caractéristiques contribuant de manière significative à la capacité de représentation du modèle à travers diverses entrées sont conservées, tout en atténuant le biais causé par les différentes échelles d'activation entre les branches vision et langage.

2. Allocation adaptative de la parcimonie

PORTA évite une parcimonie uniforme en assignant des ratios d'élagage par couche basés sur la variabilité de l'espace de caractéristiques de sortie de la couche.

Mécanisme : La méthode estime la variance des canaux de sortie pour déterminer l'« utilisation » de la capacité de représentation d'une couche. Les couches ayant une variance de sortie plus élevée (indiquant une utilisation plus importante) se voient attribuer des ratios de parcimonie plus faibles pour préserver la performance, tandis que les couches ayant une variance plus faible sont élaguées plus agressivement.
Efficacité : Pour garantir l'efficacité computationnelle, la matrice de covariance d'entrée est approximée comme étant diagonale, permettant la réutilisation des statistiques de variance calculées lors de l'étape d'estimation de l'importance.
Algorithme : Les scores par couche sont normalisés et ajustés via un paramètre de force $\alpha$ pour atteindre un niveau de parcimonie globale cible (détaillé dans l'Algorithme 1 de l'article).

Contributions clés

Un cadre sans ré-entraînement : PORTA introduit un paradigme « prune-once » (élaguer une fois) où un VLM pré-entraîné est élagué une seule fois en utilisant des données de calibration générales et peut être directement appliqué à diverses tâches en aval (classification, recherche d'images, VQA) sans aucun entraînement ou nouvel élagage supplémentaire.
Critère d'importance agnostique à la modalité : L'article propose une nouvelle métrique d'importance basée sur la variance d'activation plutôt que sur l'amplitude. Cela traite le biais de modalité inhérent aux métriques dérivées des LLM, fournissant un signal stable à travers les encodeurs de vision et de langage.
Allocation adaptative de la parcimonie : Un mécanisme de ratio d'élagage par couche est introduit pour s'adapter à l'utilité de représentation spécifique de chaque couche, surmontant les limitations d'une parcimonie uniforme.
Robustesse aux données de calibration : Le cadre démontre une stabilité à travers différents ensembles de données de calibration et tailles d'échantillons, ce qui le rend pratique pour les scénarios où les données spécifiques à la tâche sont indisponibles.

Résultats expérimentaux

Les auteurs ont évalué PORTA sur trois architectures VLM représentatives : CLIP (OpenAI ViT-bigG), BLIP, et Qwen2-VL. Les évaluations ont été menées dans un cadre entièrement zero-shot pour la classification d'images, la recherche image-texte et le Visual Question Answering (VQA).

Performance sous haute parcimonie : PORTA a systématiquement surpassé les bases de référence (Wanda, SparseGPT, ECoFLaP, Multiflow) à des niveaux de parcimonie élevés (55 %–65 %).
- Sur CLIP à 65 % de parcimonie, PORTA a amélioré la performance moyenne de 12,6 % par rapport à SparseGPT et de 21,5 % par rapport à Wanda sur huit métriques.
- Sur BLIP à 45 % de parcimonie, PORTA a obtenu un score de recherche moyen plus élevé (90,26) que SparseGPT (89,95).
- Sur Qwen2-VL pour le VQA (ScienceQA) à 50 % de parcimonie, PORTA a atteint la précision moyenne la plus élevée (54,30 %), dépassant la deuxième meilleure base de référence (Wanda) de 0,87 point de pourcentage.
Robustesse de la calibration : Les expériences faisant varier l'ensemble de données de calibration (Flickr30K, MSCOCO, Visual Genome) et la taille de l'échantillon ont montré que la performance de PORTA restait stable (fluctuations < 1 %), tandis que les bases de référence présentaient des changements de performance significatifs (jusqu'à ~5 %).
Efficacité : PORTA a terminé l'élagage en environ 195 secondes sur CLIP, ce qui est environ 4 fois plus rapide que SparseGPT et 2 fois plus rapide qu'ECoFLaP, principalement grâce à la réutilisation des statistiques de variance et à l'approximation de la covariance diagonale.

Signification et affirmations

L'article affirme que PORTA fait progresser le déploiement pratique des VLM en permettant une compression agnostique à la tâche. En dérivant l'importance de la variation d'activation plutôt que de l'amplitude, la méthode atténue avec succès le biais de modalité qui affecte les stratégies d'élagage existantes orientées LLM.

Les auteurs soulignent que PORTA permet à un modèle élagué unique de se généraliser à travers des applications en aval hétérogènes (recherche, classification, génération) sans nécess Tremander de ré-élagage ou de ré-entraînement. Cette capacité « prune-once » réduit considérablement les coûts de déploiement, particulièrement dans les scénarios où les données de calibration spécifiques à la tâche sont difficiles à obtenir. Ce travail valide que l'élagage agnostique à la tâche et à la modalité est réalisable avec une performance robuste, même sous des niveaux de compression élevés, à condition que l'estimation de l'importance soit fondée sur l'utilité de la représentation invariante à la modalité.