When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

Stel je voor dat jij de kapitein bent van een enorm, hoogtechnologisch ruimteschip genaamd een "Large Language Model". Dit schip is gebouwd om menselijke taal te begrijpen en te genereren, maar het is zo zwaar en complex dat het te traag is om door de smalle canyons van een echte toepassing te vliegen. Om het te laten vliegen, moet je "pruning" (snoeien) uitvoeren: zorgvuldig onderdelen van de motor van het schip verwijderen om het lichter te maken zonder neer te storten.

Het lastige deel is dat het schip niet slechts één type passagiers vervoert; het vervoert vele verschillende groepen passagiers, zoals "algemene reizigers", "zeldzame-code-experts" en "veiligheidsinspecteurs". Als je een onderdeel van de motor wegknipt waar de "zeldzame-code-experts" op vertrouwen, kan het schip prima vliegen voor iedereen anders, maar de experts worden gestrand. De grote vraag in dit vakgebied van de informatica is: Hoe weet je welke onderdelen je moet wegknippen zodat elke groep passagiers veilig blijft, zelfs als je niet elk mogelijk onderdeel kunt testen? Wetenschappers gebruiken "compressiestatistieken"—mathematische scores die proberen te voorspellen welke onderdelen nutteloos zijn. Maar dit artikel stelt een angstaanjagende vraag: Wat als de score zegt dat een onderdeel veilig is om weg te knippen, maar het in werkelijkheid het schip voor een specifieke groep passagiers vernietigt?

Dit artikel, getiteld "When Compression Scores Cannot Decide", onderzoekt de verborgen grenzen van deze voorspellingsscores. De auteur, onder leiding van Andrew Zhang, betoogt dat een enkele score een gemiddelde is die werkt als een wazige kaart: het kan laten zien dat het schip over het algemeen in orde is, maar het verbergt het feit dat een specifieke hoek in brand staat. Ze ontdekten dat deze scores vaak falen om de slechtst denkbare schade voor specifieke groepen te voorspellen. In plaats van te vertrouwen op een enkele "magische getal" om te beslissen wat er geknipt moet worden, stelt het artikel een nieuwe strategie voor: gebruik lokale aanwijzingen om een korte lijst met kandidaten op te stellen, en test vervolgens daadwerkelijk die specifieke kandidaten om te zien hoe ze presteren voor elke groep voordat je de definitieve knip maakt.

Het probleem met de "gemiddelde" score

Beschouw een compressiescore als een leraar die een klas beoordeelt. Als de leraar alleen naar het klassengemiddelde kijkt, kan hij denken dat iedereen het geweldig doet. Maar wat als één student er rampzalig voor staat terwijl de rest de toets uitstekend maakt? Het gemiddelde verbergt het falen. In de wereld van AI gebruiken onderzoekers "pruning scores" om te beslissen welke neuronen (de kleine verwerkingseenheden binnen de AI) verwijderd moeten worden. Deze scores kijken vaak naar het "gemiddelde" gedrag van de AI over al zijn data heen.

De auteur ontdekte dat deze aanpak gevaarlijk is. Ze vonden een specifieke pruning score die zeer betrouwbaar was (met een "split-half reliability" van 0,906, wat betekent dat deze consistent hetzelfde antwoord gaf bij twee tests). Deze score voorspelde dat een bepaalde knip de prestaties van de AI met 16,1% zou verbeteren. Echter, toen ze de knip daadwerkelijk maakten, was het resultaat een ramp: de AI presteerde 6,0% tot 7,7% slechter dan de controlegroepen. De score had gelijk over het gemiddelde, maar miste volledig het feit dat het de ervaring voor specifieke groepen gebruikers zou ruïneren.

De "Informatiegrens" en de verborgen kloof

Om uit te leggen waarom dit gebeurt, gebruikt de auteur een concept genaamd een "informatiegrens" (information boundary). Stel je voor dat je probeert de vorm van een verborgen object te raden door naar de schaduw ervan te kijken. Als de schaduw slechts een simpel gemiddelde is, zou je kunnen denken dat het object een perfecte bol is. Maar het object kan in werkelijkheid een kubus zijn met een scherpe hoek die eruit steekt op een manier die de schaduw niet laat zien.

Het artikel betoogt dat standaard pruning-methoden alleen de "schaduw" (het samengevoegde gemiddelde) zien. Ze missen de "scherpe hoeken" (de specifieke schade aan individuele groepen). De auteur noemt de kloof tussen wat de score ziet en wat er daadwerkelijk gebeurt de "observatievezel" (observation fiber). Het is als een beslagen raam: je kunt de algemene vorm zien, maar je kunt de details die er het meest toe doen niet zien.

Ze bewezen wiskundig dat als je alleen naar het gemiddelde kijkt, je er met een factor van het aantal groepen naast kunt zitten. Als je 4 groepen hebt, kan de slechtst denkbare schade 4 keer erger zijn dan het gemiddelde suggereert. Dit is een "conische wet" (conic law) die zij afgeleid hebben, die fungeert als een soort natuurwet voor AI-pruning: middelen verbergt altijd het slechtst denkbare scenario, tenzij je iets bijzonders doet om de groepen afzonderlijk te bekijken.

De oplossing: Een tweestapsdans

Dus, als de gemiddelde score een leugenaar is, wat moeten we dan doen? Het artikel stelt een tweestaps-proces voor, dat ze "Propose" (Voorstellen) en "Decide" (Beslissen) noemen.

Stap 1: Propose (De lokale aanwijzingen)
Eerst gebruik je lokale aanwijzingen om een korte lijst met kandidaten op te bouwen. In de dichte AI-modellen (de grote, zware modellen) gebruikten ze een "groep-specifieke diagonale" methode (group-resolved diagonal). Dit is vergelijkbaar met het controleren van de motoronderdelen voor elke specifieke groep passagiers afzonderlijk, in plaats van alleen naar de hele motor te kijken. Deze methode was erg goed in het opsporen van de algemene ernst van de schade (het had een correlatie van 0,9239 met de werkelijke slechtste schade). Het kon je vertellen: "Hé, deze groep passagiers komt in grote problemen als we dit onderdeel weghalen." Het kon echter niet precies vertellen welke knip de beste was onder de opties die er goed uitzagen. Het was goed in het vinden van het gevaar, maar slecht in het kiezen van de winnaar.

Stap 2: Decide (De echte test)
Zodra je een korte lijst met kandidaten hebt (een "eindig menu"), moet je stoppen met gokken en beginnen met testen. De auteur ontdekte dat je niet kunt vertrouwen op een enkele score om deze kandidaten te rangschikken. In plaats daarvan moet je de werkelijke prestaties van elke kandidaat meten op de specifieke groepen.

Ze testten dit op drie verschillende AI-modellen (Llama, SmolLM3 en Qwen). Door een "target-matched" benadering te gebruiken — waarbij ze de werkelijke prestaties van de kandidaten maten op de specifieke groepen waarmee ze geïnteresseerd waren — vonden ze echte verbeteringen.

• Op het Llama-model verminderden ze de "worst-group perplexity inflation" (een maatstaf voor hoe verward de AI wordt) met 7,96%.
• Op Qwen verminderden ze het met 2,80%.
• Op SmolLM3 verminderden ze het met 2,68%.

Dit waren geen gokken; dit waren gemeten verbeteringen die standhielden wanneer ze werden getest op nieuwe, ongeziene data.

De MoE-twist: De geheime kaart van de Router

Het artikel keek ook naar een ander type AI genaamd "Mixture of Experts" (MoE). Stel je deze modellen voor als een team van specialisten. In plaats van één gigantisch brein, heb je veel kleine experts, en een "router" beslist welke expert gebruikt wordt voor elke vraag.

In deze opstelling laat de router een "spoor" of kaart achter die laat zien welke experts worden gebruikt door welke groepen. De auteur vond dat deze kaart ongelooflijk nuttig was. Het kon beter voorspellen welke enkele expert verwijderd moest worden dan willekeurig gokken (het kreeg het 114 uit 192 keer goed, vergeleken met 81 uit 192 voor een standaardmethode).

Echter, net als bij de grote modellen, was de kaart niet perfect. Het kon je vertellen welke enkele expert het gevaarlijkst was om te behouden, maar het kon niet de beste combinatie van experts vertellen om te verwijderen. Om dit op te lossen, moesten ze de volledige combinaties testen. Toen ze dat deden, vonden ze twee specifieke zetten die de prestaties van de AI verbeterden met respectievelijk 13,7% en 7,2% op de slechtste groepen.

De belangrijkste les

De belangrijkste les van dit artikel is dat je niet kunt vertrouwen op één enkel gemiddeld getal om levensbelangrijke beslissingen te nemen voor AI-groepen. Als je een AI wilt maken die eerlijk en robuust is voor iedereen, moet je voorzichtiger zijn.

1. Lokale aanwijzingen zijn goed voor het opsporen van gevaar: Gebruik groepsspecifieke scores om de grote risico's te vinden.
2. Maar je moet de winnaars testen: Zodra je een korte lijst met opties hebt, moet je daadwerkelijk meten hoe ze presteren op de specifieke groepen die je belangrijk vindt.
3. De "one-size-fits-all" aanpak faalt: Een pruning-strategie die werkt voor het ene model of de ene groep, kan voor een andere volledig falen. De auteur vond dat "fijne richtingen" (specifieke snijpatronen) die voor het ene model werkten, niet werkten voor een ander.

Het artikel concludeert dat hoewel we betere kaarten en lijsten met kandidaten kunnen bouwen, de uiteindelijke beslissing altijd een directe meting van de uitkomst vereist. Je kunt niet simpelweg je weg naar veiligheid uitrekenen; je moet de motor controleren na elke knip. Dit zorgt ervoor dat wanneer je jouw AI-ruimteschip bestuurt, er geen enkele groep passagiers in het donker wordt achtergelaten.