HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models

Dit paper introduceert HiPP-Prune, een hiërarchisch framework voor gestructureerde pruning van vision-language modellen dat gebruikmaakt van voorkeur-geconditioneerde planning en visuele gevoeligheidssignalen om de afweging tussen compressie, taakprestaties en het verminderen van object-hallucinaties te optimaliseren.

De kern

Stel je voor dat je een enorm, slimme robot hebt die zowel kan kijken als kan praten. Dit is een Vision-Language Model (VLM). Hij kan foto's zien en er verhalen over vertellen. Maar deze robot is zo groot en zwaar dat hij niet op een gewone telefoon of laptop past. Hij is te traag en te duur om te gebruiken.

Om dit op te lossen, willen we de robot "versmallen" (pruning). We willen hem lichter maken door onnodige onderdelen weg te halen. Maar hier zit een groot probleem: als je te veel weghaalt, stopt de robot niet alleen met goed rekenen, hij begint ook te hallucineren. Hij ziet dingen die er niet zijn. Bijvoorbeeld, als je een foto van een hond laat zien, zegt hij misschien: "Ik zie een kat en een fiets," terwijl er alleen een hond is.

De onderzoekers van dit paper (HiPP-Prune) hebben een slimme oplossing bedacht om dit op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Niet alles weghalen is hetzelfde

Stel je voor dat je een huis verbouwt om het lichter te maken. Als je zomaar muren en balken weghaalt, kan het huis instorten of onbewoonbaar worden.
Bij deze robots is het net zo. Als je willekeurig onderdelen weghaalt, werkt de robot misschien nog steeds goed voor simpele vragen, maar hij ziet de foto's niet meer goed. Hij "verliest zijn ogen" terwijl zijn "mond" nog wel werkt.

2. De Oplossing: HiPP-Prune (De Slimme Architect)

HiPP-Prune is als een slimme architect die een bouwplan maakt. In plaats van zomaar muren weg te hakken, kijkt deze architect heel precies naar welke muren belangrijk zijn voor het zicht (de foto's) en welke voor de taal.

Deze architect heeft drie belangrijke trucjes:

A. De "Visuele Radar" (Visual Sensitivity)

De architect heeft een speciale radar die ziet welke onderdelen van de robot cruciaal zijn voor het zien.

• Hoe werkt het? De robot heeft een netwerk van verbindingen tussen zijn "ogen" (visuele tokens) en zijn "brein" (taal). De architect kijkt waar deze verbindingen het sterkst zijn.
• Het effect: Als een onderdeel heel belangrijk is om een hond te herkennen, zegt de architect: "Deze mogen we niet weghalen!" Zo voorkomt hij dat de robot blind wordt.

B. De "Wens-List" (Preference-Conditioned)

Soms wil je dat de robot heel snel is (veel weggehaald), en soms wil je dat hij heel precies is (minder weggehaald).

• Hoe werkt het? Je kunt de architect een wens-lijstje geven. Bijvoorbeeld: "Ik wil 30% lichter, maar ik geef de voorkeur aan het niet hallucineren." Of: "Ik wil 50% lichter, zelfs als hij soms een beetje fouten maakt."
• Het effect: De architect past zijn bouwplan direct aan op basis van jouw wens. Je hoeft niet elke keer een nieuwe architect te zoeken; dezelfde architect kan elke situatie aan.

C. De "Stabiliteits-Check" (SynFlow)

Soms probeert de architect een plan waarbij hij te veel weghaalt, en het resultaat is een instortend huis.

• Hoe werkt het? De architect heeft een test die zegt: "Dit plan ziet er onstabiel uit, het zal waarschijnlijk niet werken." Hij gooit deze slechte plannen er dan uit voordat ze worden getest. Dit bespaart tijd en zorgt dat hij alleen op goede ideeën leert.

3. Het Resultaat: Een Robot die Past bij Jouw Behoefte

Na het "verbouwen" (prunen) krijgt de robot nog een klein beetje extra training (recovery) om zich aan te passen aan zijn nieuwe, kleinere formaat.

De resultaten zijn indrukwekkend:

• Minder hallucinaties: De robot ziet de foto's veel beter dan andere methoden. Hij zegt niet meer "Ik zie een fiets" als er alleen een hond is.
• Beter presteren: Hij blijft slim in het beantwoorden van vragen.
• Flexibiliteit: Je kunt één keer de architect vragen om een plan te maken, en hij kan direct een plan geven voor "snelheid" of een plan voor "precisie", afhankelijk van wat jij nodig hebt.

Samenvattend

Stel je voor dat je een zware, dure auto hebt die te groot is voor je garage.

• Oude methode: Je haalt zomaar de stoelen en de radio weg. De auto rijdt nog, maar je kunt er niet meer in zitten en je kunt de weg niet meer zien.
• HiPP-Prune methode: Je vraagt een slimme monteur om een plan. Hij kijkt waar de motor en de wielen zitten (belangrijk voor het zien) en haalt alleen de extra zware bagageruimte weg. Hij past het plan aan op basis van of je de auto snel wilt of comfortabel. Het resultaat is een auto die nog steeds perfect rijdt, maar nu wel in je garage past en je veilig naar je bestemming brengt.

Kortom: HiPP-Prune maakt grote AI-modellen lichter en sneller, zonder dat ze hun "ziensvermogen" verliezen.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "HiPP-PRUNE: HIERARCHICAL PREFERENCE-CONDITIONED STRUCTURED PRUNING FOR VISION-LANGUAGE MODELS" in het Nederlands.

1. Het Probleem

Vision-Language Models (VLM's), zoals LLaVA, zijn krachtig maar kostbaar om te deployen vanwege hun grote omvang. Het comprimeren van deze modellen via pruning (het verwijderen van gewichten) is een veelbelovende oplossing, maar brengt specifieke uitdagingen met zich mee die bij tekst-only modellen minder prominent zijn:

• Hallucinaties en Grounding: Compressie kan de "visuele grounding" (het vermogen om te verwijzen naar objecten in een afbeelding) aantasten, zelfs als de algemene taakprestaties stabiel lijken. Dit leidt tot een toename van object-hallucinaties (het beschrijven van niet-bestaande objecten).
• Niet-uniforme impact: Niet alle lagen in een VLM zijn even belangrijk voor visuele taken. Traditionele pruning-methoden verwijderen vaak willekeurig of op basis van statische criteria, wat kan leiden tot het verwijderen van cruciale lagen voor cross-modale fusie.
• Meerdoelsoptimalisatie: Er bestaat een inherent conflict tussen drie doelen: robustheid (minder hallucinaties), nut (taakprestaties zoals ScienceQA) en compressie (sparsiteit). De ideale balans hangt af van de specifieke deployingsomgeving, maar bestaande methoden bieden vaak slechts één vaste oplossing in plaats van een controleerbare trade-off.

2. Methodologie: HiPP-Prune

HiPP-Prune (Hierarchical Preference-conditioned Pruning) behandelt pruning niet als een statisch proces, maar als een conditionele resource-allocation taak. Het framework gebruikt Reinforcement Learning (RL) om een beleidsstrategie te leren die pruning-plannen genereert op basis van gebruikersvoorkeuren.

Kerncomponenten:

• Hiërarchisch Beleid (Hierarchical Policy):

  • In plaats van per laag een onafhankelijk pruning-ratio te voorspellen (wat een instabiel, hoog-dimensionaal actie-ruimte creëert), factoriseert HiPP-Prune de beslissing in twee stappen:
    1. Globale Budgetcontrole: Een scalar bepaalt de totale sparsiteit.
    2. Laagsgewijze Allocatie: Een simplex-vector verdeelt dit budget over de lagen.
  • Dit stelt het model in staat om in één keer ("one-shot") een volledig pruning-blauwdruk te genereren.

• Visie-bewuste State Representatie (Vision-aware State):

  • Het beleidsmodel ontvangt als input niet alleen standaard statistieken (activaties, gewichten), maar ook een visuele sensitiviteits-signaal.
  • Dit signaal wordt afgeleid uit de cross-modale attention flow tussen visuele tokens en taal-verborgen staten. Lagen die veel aandacht richten op visuele tokens worden als "kritiek" gemarkeerd en krijgen minder kans om zwaar te worden gepreemd, waardoor visuele grounding behouden blijft.

• Plan-level GRPO (Group Relative Policy Optimization):

  • Het model wordt getraind met GRPO, een RL-algoritme dat groepen van kandidaat-plannen vergelijkt.
  • De beloning (reward) is een gewogen som van drie doelen: Robustheid (gemeten via POPE), Nut (gemeten via ScienceQA) en Compressie.
  • Stabilisatie: Om te voorkomen dat het model in niet-levensvatbare, extreem hoge sparsiteitsregimes terechtkomt, wordt een SynFlow-geïnspireerde stabiliteitsgate gebruikt. Deze straft plannen af die de gradiëntstroom door het netwerk te sterk verstoren, zonder dat dit een directe gebruiksdoel is.

• Post-pruning Recovery:

  • Na het toepassen van het pruning-plan wordt een lichte fine-tuning uitgevoerd (bijv. met LoRA) om de prestaties te herstellen, waarbij de sparsiteitsmaskers vast blijven staan. Dit dient als een controleerbare "probe" om de kwaliteit van het initiële pruning-plan te beoordelen.

3. Belangrijkste Bijdragen

1. Hiërarchisch, voorkeurs-geconditioneerd pruning-beleid: Het is het eerste framework dat VLM-pruning formuleert als een conditionele resource-allocation. Een enkel beleid kan diverse Pareto-efficiënte trade-offs genereren door simpelweg de voorkeursvector (gewichting van robustheid vs. nut) aan te passen, zonder het model opnieuw te hoeven trainen.
2. Visie-bewuste State via Attention Flow: Door cross-modale attention-massa te integreren in de state van het RL-agent, worden lagen die essentieel zijn voor visuele grounding beschermd tijdens de compressie. Dit vermindert specifiek het risico op hallucinaties.
3. Plan-level GRPO met SynFlow-stabilisatie: Het introduceren van een stabiliteitsmechanisme dat gebaseerd is op SynFlow (synaptische stroom) om de zoekruimte te stabiliseren tijdens het verkennen van hoge sparsiteitsniveaus, wat leidt tot meer betrouwbare pruning-plannen.

4. Resultaten

De methode is geëvalueerd op LLaVA-1.5-7B en Qwen2.5-VL-3B, vergeleken met state-of-the-art baselines zoals Wanda, LLM-Pruner en SliceGPT.

• Superieure Prestaties: Bij een gelijke sparsiteitsbudget (bijv. ~22.5%) behaalde HiPP-Prune aanzienlijk betere resultaten dan alle baselines.
  • Op LLaVA-7B steeg de POPE BalAcc (hallucinatierobustheid) van ~52% (SliceGPT) naar 72.89%, terwijl de ScienceQA nauwkeurigheid ook verbeterde.
  • Op Qwen2.5-VL-3B bleef het voordeel behouden bij zowel 22.5% als 32.5% compressie.
• Controleerbaarheid: Het model kan "zero-shot" worden bevraagd met verschillende voorkeursvectoren. Als de gebruiker meer waarde hecht aan robustheid, schuift het plan automatisch naar een configuratie die hallucinaties onderdrukt; bij meer focus op nut, wordt de allocatie anders.
• Diversiteit: Het framework ontdekt een breed scala aan niet-gedomineerde pruning-plannen (Pareto-front), wat betekent dat het voor elke deployingsomgeving een optimale instelling kan vinden.

5. Betekenis en Impact

HiPP-Prune markeert een verschuiving in hoe we multimodale modellen comprimeren:

• Van statisch naar adaptief: Het verlegt de focus van het vinden van één "beste" gepruneerd model naar het leren van een beleidsstrategie die zich aanpast aan specifieke deployment-beperkingen.
• Intrinsieke Robustheid: Het behandelt hallucinatierobustheid niet als een bijproduct dat achteraf moet worden opgelost, maar als een fundamenteel doel dat tijdens het pruning-proces moet worden geoptimaliseerd.
• Efficiënte Deployments: Door de mogelijkheid om trade-offs dynamisch te regelen, maakt het framework VLM's flexibeler inzetbaar in diverse scenario's (bijv. van een robuuste assistent tot een snelle, lichtgewicht applicatie) zonder dat er voor elk scenario een nieuw model getraind hoeft te worden.

Kortom, HiPP-Prune biedt een geavanceerde, leerbare aanpak om de complexiteit van VLM-compressie te beheersen, waarbij het vermogen om visuele informatie correct te interpreteren centraal blijft staan, zelfs onder agressieve compressie.