HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models

Le papier présente HiPP-Prune, un cadre de pruning structuré hiérarchique conditionné par les préférences qui optimise l'allocation des ressources de compression dans les modèles vision-langage pour équilibrer l'utilité des tâches et la robustesse aux hallucinations via une stratégie d'apprentissage par renforcement multi-objectifs.

L'essentiel

🎨 Le Problème : Le "Grand Architecte" qui perd la tête

Imaginez que vous avez un génie de l'architecture (c'est le modèle d'intelligence artificielle, ou VLM) capable de décrire des photos avec une précision incroyable. Il peut dire : "Il y a un chat sur le canapé" ou "Ce sont des nuages".

Mais ce génie est énorme. Il prend trop de place sur votre ordinateur et consomme trop d'énergie. Vous voulez le rendre plus petit, plus rapide et moins gourmand. C'est ce qu'on appelle le "pruning" (l'élagage).

Le piège : Si vous coupez simplement des branches au hasard pour alléger l'arbre, vous risquez de couper la branche qui porte le fruit le plus important.
Dans le cas de l'IA, le problème n'est pas seulement qu'elle devienne moins intelligente, mais qu'elle commence à halluciner. Elle pourrait dire avec une grande confiance : "Il y a un dragon sur le canapé", alors qu'il n'y a qu'un chat. C'est dangereux, surtout si cette IA doit vous aider à prendre des décisions réelles.

🛠️ La Solution : HiPP-Prune, le "Chef de Chantier Intelligents"

Les auteurs de cet article proposent une nouvelle méthode appelée HiPP-Prune. Au lieu de couper au hasard ou selon des règles fixes, ils utilisent un Chef de Chantier (une intelligence artificielle) qui apprend à tailler l'arbre de manière stratégique.

Voici comment cela fonctionne, étape par étape, avec des analogies :

1. Le Menu de Préférences (Le "Commande Client")

Imaginez que vous commandez un repas. Parfois, vous voulez un plat très léger (priorité à la vitesse), parfois vous voulez qu'il soit très nutritif (priorité à la précision), et parfois vous voulez un équilibre parfait.

HiPP-Prune fonctionne comme un chef cuisinier adaptable. Vous lui donnez un "menu de préférences" (un vecteur de préférence) :

• "Je veux que l'IA soit très rapide, même si elle fait quelques erreurs."
• "Je veux qu'elle soit ultra-précise, même si elle est un peu plus lente."
• "Je veux un juste milieu."

Le système ne crée pas un nouveau modèle pour chaque demande. Il utilise un seul chef capable de s'adapter instantanément à votre commande pour créer le plan de coupe idéal.

2. Le Radar à "Vision" (Ne pas couper les yeux)

Le plus grand défi avec ces modèles, c'est qu'ils doivent "voir" l'image. Si on coupe trop de parties liées à la vision, l'IA devient aveugle et commence à inventer des choses.

HiPP-Prune a un radar spécial (appelé "sensibilité visuelle"). Avant de couper une partie du cerveau de l'IA, le radar vérifie : "Est-ce que cette partie est cruciale pour comprendre l'image ?"

• Si oui : On ne touche pas ! On la protège.
• Si non : On peut couper.

C'est comme si un chirurgien avait un scanner spécial pour savoir quelles artères sont vitales avant de faire une opération. Il ne coupe jamais les artères qui alimentent la "vision".

3. Le Plan Global (La Carte de l'Arbre)

Au lieu de couper une branche, puis une autre, puis une troisième, le Chef de Chantier regarde l'arbre entier d'un coup. Il dessine un plan complet (un "blueprint") qui dit exactement combien de branches couper à chaque étage de l'arbre.

C'est une décision hiérarchique :

1. Décision globale : "Combien de bois je dois enlever au total ?" (Le budget).
2. Décision locale : "Où exactement je coupe pour que l'arbre reste stable ?"

4. L'Entraînement par Essais et Erreurs (Le Jeu de l'Échec et du Succès)

Comment le Chef apprend-il ? Il joue à un jeu vidéo complexe.

• Il propose un plan de coupe.
• Il teste le résultat : Est-ce que l'IA décrit bien l'image ? Est-ce qu'elle hallucine ? Est-ce qu'elle est rapide ?
• S'il hallucine trop, il reçoit une "grosse punition". S'il est précis et rapide, il reçoit une "récompense".
• Il ajuste son plan pour la prochaine fois.

Pour éviter de couper trop et de tuer l'arbre (ce qui arrive souvent quand on essaie de trop compresser), le système utilise un gardien de sécurité (inspiré par une méthode appelée SynFlow). Ce gardien dit : "Attends, ce plan de coupe est trop agressif, l'arbre va mourir. On ne compte pas cette tentative." Cela stabilise l'apprentissage.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode sur des modèles connus (comme LLaVA). Voici ce qu'ils ont découvert :

1. Moins d'hallucinations : Même quand le modèle est très petit, il hallucine beaucoup moins que les méthodes classiques. Il reste "ancré" dans la réalité de l'image.
2. Contrôle total : Vous pouvez demander à l'IA d'être plus rapide ou plus précise, et elle s'adapte sans qu'il faille la réentraîner de zéro. C'est comme avoir une voiture avec un bouton "Sport" et un bouton "Éco" qui changent la mécanique instantanément.
3. Meilleure récupération : Après avoir coupé les branches, on donne un petit coup de pouce (un "fine-tuning") pour remettre l'arbre en forme. Les modèles taillés par HiPP-Prune se remettent beaucoup mieux et deviennent plus performants que ceux taillés au hasard.

En Résumé

HiPP-Prune, c'est comme avoir un jardinier expert qui sait exactement quelles branches couper pour rendre votre arbre (l'IA) plus petit et plus rapide, sans jamais couper les branches qui lui permettent de voir le monde.

Au lieu de couper au hasard, il écoute vos besoins (vitesse vs précision) et utilise un radar pour protéger la vision de l'IA. Résultat : une IA plus petite, plus rapide, et surtout, moins susceptible de vous raconter des histoires inventées.

Résumé technique

1. Problématique et Contexte

Le déploiement des modèles de langage et vision (VLM) est entravé par leur coût computationnel et mémoire élevé. Le pruning (élagage) est une solution attractive, mais pour les VLM, une compression standard pose un problème critique : elle affecte non seulement les performances des tâches, mais dégrade également la référence visuelle (visual grounding).

• Le défi de l'hallucination : À un niveau de sparsité (taux d'élagage) identique, les modèles élagués peuvent voir leurs performances de tâche rester stables tandis que leur capacité à éviter les hallucinations d'objets (décrire des entités non présentes dans l'image) s'effondre.
• Limites des approches actuelles : La plupart des méthodes de pruning traitent l'allocation de la sparsité de manière uniforme ou basée sur des heuristiques fixes, sans tenir compte des compromis spécifiques entre robustesse (anti-hallucination), utilité (performance de tâche) et compression.
• Objectif : Transformer le pruning en un problème d'allocation de ressources conditionnelle, où l'on peut ajuster dynamiquement la répartition de la sparsité selon les préférences de déploiement (ex: privilégier la robustesse ou la vitesse).

2. Méthodologie : HiPP-Prune

HiPP-Prune est un cadre d'apprentissage par renforcement (RL) structuré qui apprend à générer des plans d'élagage en une seule étape (one-shot) en fonction de préférences utilisateur.

A. Représentation de l'État (State Representation)

Pour guider la politique d'élagage, l'état de chaque couche intègre :

• Des statistiques d'activation classiques et des identifiants de couche.
• Un signal de sensibilité visuelle (Visual Sensitivity) : C'est une contribution clé. Le système calcule le flux d'attention croisée entre les tokens visuels et les états cachés du langage. Les couches critiques pour la fusion multimodale (où l'attention visuelle est forte) sont identifiées et protégées contre un élagage excessif, préservant ainsi la référence visuelle.

B. Politique Hiérarchique (Hierarchical Policy)

Au lieu de prédire un taux d'élagage indépendant pour chaque couche (espace d'action instable), HiPP-Prune factorise la décision en deux niveaux :

1. Contrôle du budget global : Un scalaire détermine le taux de sparsité global cible.
2. Allocation par couche : Un vecteur de distribution (simplexe) alloue ce budget global aux différentes couches.
   Cette approche permet à une seule politique de générer des plans structurés complets en réponse à un vecteur de préférence $w$ (poids pour la robustesse, l'utilité et la compression).

C. Optimisation par GRPO au niveau du Plan

L'entraînement utilise la Group Relative Policy Optimization (GRPO) adaptée au niveau du plan :

• Récompenses multi-objectifs : Une fonction de retour combine la robustesse (mesurée par POPE), l'utilité (ScienceQA) et la compression.
• Stabilisation par "SynFlow" : Pour éviter l'exploration de topologies non viables (surtout à haute sparsité), un signal de stabilité inspiré de SynFlow est utilisé comme "porte" (gate). Il pénalise les épisodes d'élagage qui détruisent le flux synaptique du réseau, stabilisant ainsi la recherche combinatoire.
• Recovery (Récupération) : Après l'élagage, un fine-tuning léger (LoRA) est appliqué pour récupérer les performances. HiPP-Prune compare les plans initiaux sous un budget de récupération identique, prouvant que la qualité du plan d'élagage initial détermine le potentiel de récupération final.

3. Contributions Clés

1. Politique de pruning conditionnée par les préférences : HiPP-Prune reformule le pruning comme une allocation de ressources. Une seule politique entraînée peut naviguer dans l'espace de Pareto (compromis optimal) en répondant à différentes requêtes de préférences sans réentraînement.
2. Signal de sensibilité visuelle basé sur le flux d'attention : Intégration d'un indicateur de dépendance inter-modale dans l'état de la politique pour protéger les couches essentielles à la compréhension visuelle, réduisant ainsi les hallucinations.
3. Stabilisation par GRPO et SynFlow : Utilisation d'un mécanisme de régularisation basé sur le flux de gradient pour filtrer les plans d'élagage catastrophiques, permettant une exploration efficace de régimes de haute compression.

4. Résultats Expérimentaux

Les expériences ont été menées sur LLaVA-1.5-7B et Qwen2.5-VL-3B.

• Performance supérieure : À sparsité égale (~22,5%), HiPP-Prune surpasse significativement les méthodes de référence (Random, Wanda, LLM-Pruner, SliceGPT).
  • Sur LLaVA-7B, HiPP-Prune atteint 72,89 % de précision équilibrée sur POPE (contre ~51-55 % pour les autres) et 39,38 % sur ScienceQA.
  • Cela démontre que HiPP-Prune préserve mieux la robustesse aux hallucinations tout en maintenant l'utilité.
• Contrôlabilité (Zero-shot) : Un seul agent entraîné peut générer des plans adaptés à des besoins spécifiques (ex: maximiser la robustesse ou l'utilité) simplement en modifiant le vecteur de préférence d'entrée, sans réentraînement.
• Robustesse à la compression : Même à des taux de compression plus élevés (~32,5 %), HiPP-Prune maintient un avantage significatif sur les méthodes heuristiques.

5. Signification et Impact

HiPP-Prune représente une avancée majeure dans la compression des modèles multimodaux en passant d'une approche statique à une approche dynamique et conditionnelle.

• Changement de paradigme : Il traite l'allocation de la sparsité comme une variable de décision de premier ordre, essentielle pour préserver l'alignement inter-modale.
• Déploiement pratique : La capacité à naviguer dans l'espace des compromis (robustesse vs utilité) via une simple requête de préférence rend le modèle adaptable à divers scénarios de déploiement (ex: un assistant robotique nécessitant une haute robustesse vs un chatbot priorisant la vitesse).
• Réduction des hallucinations : En protégeant explicitement les voies de fusion visuelle, la méthode offre une solution intrinsèque (au niveau de l'architecture) au problème des hallucinations, complétant les approches existantes qui agissent uniquement au moment de l'inférence.

En résumé, HiPP-Prune démontre que l'apprentissage d'une politique d'allocation de ressources intelligente, guidée par la sensibilité visuelle, permet de déployer des VLMs plus compacts, plus rapides et, surtout, plus fiables.