🤖 machine learning

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Dieses Paper stellt PORTA vor, ein Framework zur Aufgaben-agnostischen Pruning ohne Retraining für Vision-Language-Modelle, das Aktivierungsvariationen und adaptive Sparsitätsallokation nutzt, um hohe Kompressionsraten bei gleichzeitiger Aufrechterhaltung der breiten Downstream-Performance zu erreichen, ohne auf aufgabenspezifische Daten oder Fine-Tuning angewiesen zu sein.

Ursprüngliche Autoren: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Veröffentlicht 2026-08-10

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn, das ein Bild betrachten und einen Satz lesen kann und dann sofort versteht, wie sie zusammenhängen. Dies ist die Welt der Vision-Language Models (VLMs). Betrachten Sie diese Modelle als riesige, hungrige Bibliotheken, die jedes Buch gelesen und jedes Foto im Internet betrachtet haben. Sie sind fantastisch darin, Rätsel zu lösen, Fragen zu beantworten und spezifische Bilder zu finden, aber es gibt einen Haken: Sie sind unglaublich schwerfällig. Sie benötigen massive Computer mit riesigen Mengen an Speicher und Leistung, so als würde man versuchen, eine ganze Bibliothek in einem Rucksack zu tragen, während man einen Berg hochwandert. Aus diesem Grund ist es sehr schwierig, diese intelligenten Roboter auf kleineren Geräten wie Telefonen oder Tablets unterzubringen.

Um dies zu beheben, nutzen Wissenschaftler eine Technik namens Pruning (Beschneidung). Stellen Sie sich vor, das Gehirn des Roboters sei ein massives Geflecht aus Verbindungen. Pruning ist wie das vorsichtige Wegschneiden der winzigen, nutzlosen Fäden, die dem Roboter nicht helfen beim Denken, sodass nur die starken, wichtigen Fäden übrig bleiben. Dies macht den Roboter leichter und schneller, ohne dass er vergisnt, seine Aufgabe zu erfüllen. Die meisten bestehenden Methoden zur Entscheidung, welche Fäden geschnitten werden sollen, sind jedoch wie eine Karte, die für ein anderes Land bestimmt ist; sie benötigen oft spezifische Testverfahren (Daten) für jede einzelne Aufgabe, der der Roboter begegnen könnte, oder sie werden verwirrt, wenn der Roboter vom Betrachten von Bildern zum Lesen von Wörtern wechselt. Dieses Paper widmet sich dem Problem, wie man diese riesigen Gehirne einmalig perfekt beschneidet, damit sie überall laufen können, ohne für jede neue Aufgabe neu trainiert oder feinjustiert werden zu müssen.

Der „Einmal-und-Fertig“-Gehirnschnitt

Lernen Sie PORTA kennen (Prune-Once: Retraining-free Task-Agnostic pruning), eine neue Methode, die von den Forschern Minseok Kang und seinem Team vorgestellt wurde. Ihr Ziel war es, ein frustrierendes Problem zu lösen: Aktuelle Pruning-Methoden agieren oft wie ein Schneider, der Sie jedes Mal neu vermessen muss, wenn Sie ein anderes Hemd tragen wollen. Wenn Sie möchten, dass der Roboter eine Bildklassifizierung durchführt, schneiden Sie ihn auf eine bestimmte Weise; wenn Sie möchten, dass er eine Suche (Retrieval) durchführt, müssen Sie ihn erneut beschneiden. Das ist langsam und teuer. PORTA ist anders. Es ist wie ein Meisterschneider, der den Stoff einmal betrachtet, ihn perfekt zuschneidet und das daraus resultierende Kleidungsstück dann für jeden Anlass passt – egal, ob Sie ein Rennen laufen, an einem Meeting teilnehmen oder tanzen.

Das Paper legt nahe, dass der Hauptgrund, warum andere Methoden bei diesem „Einmal-und-Fertig“-Ansatz scheitern, darin liegt, dass sie sich auf die Größe (Magnitude) der internen Signale des Roboters verlassen, um zu entscheiden, was behalten wird. Die Autoren argumentieren, dass in diesen riesigen Modellen die Größe eines Signals irreführend sein kann, da der „Sprachteil“ des Gehirns und der „Visualteil“ des Gehirns unterschiedlich funktionieren. Es ist wie der Versuch, die Wichtigkeit eines Schreis in einer Bibliothek gegenüber einem Schrei in einem Stadion zu beurteilen; das Volumen (die Magnitude) ist unterschiedlich, aber die Bedeutung kann dieselbe sein. Aus diesem Grund schneiden Methoden, die nur auf das Volumen achten, oft die falschen Dinge weg, besonders wenn der Roboter eine Aufgabe ausführt, die er zuvor noch nicht gesehen hat.

Die Geheimzutat: Varianz statt Volumen

Anstatt darauf zu hören, wie laut ein Signal ist, hört PORTA darauf, wie veränderlich es ist. Die Forscher nennen dies Aktivierungsvariation (activation variation).

Hier ist die Analogie: Stellen Sie sich eine Gruppe von Schülern in einem Klassenzimmer vor.

Der alte Weg (Magnitude): Der Lehrer fragt: „Wer ist am lautesten?“ und behält nur die Schüler, die am meisten schreien. Aber vielleicht schreit der lauteste Schüler nur, weil er über ein ganz bestimmtes Thema begeistert ist, während der leise Schüler eigentlich auf alles aufpasst, was der Lehrer sagt.
Der PORTA-Weg (Varianz): Der Lehrer fragt: „Wer ändert seine Antwort am meisten, je nach Frage?“ Der Schüler, der seine Antwort basierend auf dem Thema anpasst, ist derjenige, der das Material wirklich versteht.

Im Gehirn des Roboters sucht PORTA nach Merkmalen, die eine hohe Variation (Fluktuation) über verschiedene Eingaben hinweg zeigen. Wenn ein Teil des Gehirns auf viele verschiedene Bilder oder Wörter unterschiedlich reagiert, leistet er wichtige Arbeit. Wenn ein Teil des Gehirns gleich bleibt, egal was man ihm zeigt, ist er wahrscheinlich nur totes Gewicht. Durch die Verwendung dieses „Veränderlichkeits“-Scores kann PORTA herausfinden, welche Teile des Roboters wirklich nützlich sind, unabhängig davon, ob er gerade eine Katze betrachtet oder ein Gedicht lift. Dies macht das Pruning „modalitätsagnostisch“, was bedeutet, dass es die Vision- und die Sprachanteile fair behandelt, ohne den Schnitt zugunsten einer Seite zu verzerren.

Der intelligente Schnitt: Nicht alle Schichten sind gleich

Sobald PORTA weiß, welche Merkmale wichtig sind, muss es entscheiden, wie viel es von jeder Schicht des Robotergehirns abschneidet. Das Gehirn ist kein einheitlicher Block; einige Schichten sind wie das Fundament eines Hauses, andere wie das Dach. Man würde das Fundament nicht so aggressiv beschneiden wie das Dach.

PORTA nutzt einen cleveren Mechanismus der adaptiven Sparsamkeit (adaptive sparsity). Es schaut sich an, wie viel „Arbeit“ jede Schicht leistet, basierend auf der Variation ihres Outputs.

Wenn eine Schicht viel schwere Arbeit leistet (hohe Variation in ihrem Output), sagt PORTA: „Fass hier nicht so viel an!“ und vergibt eine niedrige Pruning-Rate (behält den Großteil davon).
Wenn eine Schicht nur vor sich hin dümpelt (niedrige Variation), sagt PORTA: „Wir können das hier erheblich reduzieren.“

Dies stellt sicher, dass der Roboter nicht seine Fähigkeit zu denken verliert, nur weil wir versucht haben, ihn kleiner zu machen. Das Paper zeigt, dass diese Methode die „Performance-Klippen“ verhindert, an denen andere Methoden plötzlich abstürzen, wenn man versucht, zu viel wegzuschneiden.

Die Ergebnisse: Stärker, leichter, bereit für alles

Die Forscher testeten PORTA auf drei berühmten Robotergehirnen: CLIP, BLIP und Qwen2-VL. Sie testeten es nicht nur auf einer Aufgabe, sondern warfen ihm alles zu:

Bildklassifizierung: Identifizieren, was in einem Bild zu sehen ist (wie den Unterschied zwischen einer Blume und einem Hund zu erkennen).
Retrieval (Suche): Das richtige Bild zu einer Textbeschreibung finden (oder umgekehrt).
VQA (Visual Question Answering): Komplexe Fragen zu einem Bild beantworten.

Die Ergebnisse waren beeindruckend. Selbst als sie 65 % der Parameter des Roboters wegschnitten (wodurch er sehr klein wurde), behielt PORTA die Leistung des Roboters viel besser bei als andere Methoden.

Beim CLIP-Modell verbesserte PORTA bei 65 % Sparsity die durchschnittliche Leistung um 12,6 % im Vergleich zu einer Methode namens SparseGPT und um 21,5 % im Vergleich zu Wanda.
Bei BLIP (bei 45 % Sparsity) erreichte PORTA einen Mittelwert von 90,26 und schlug damit die 89,95 von SparseGPT.
Bei Qwen2-VL (bei 50 % Sparsity) erreichte PORTA eine durchschnittliche Genauigkeit von 54,30 und übertraf damit die nächstbeste Methode (Wanda) um 0,87 Prozentpunkte.

Was vielleicht am wichtigsten ist: PORTA ist robust. Das Paper zeigt, dass es keinen Unterschied macht, ob man eine kleine Menge an Bildern zur „Kalibrierung“ des Prunings verwendet oder eine große, oder ob man Bilder von einer Website oder einer anderen verwendet. PORTA bleibt stabil, während andere Methoden je nach den verwendeten Daten in ihrer Leistung stark schwanken.

Das Fazit

PORTA legt nahe, dass wir diese riesigen Modelle nicht neu trainieren müssen, um sie kleiner zu machen. Indem wir einfach schauen, wie sehr sich die internen Signale des Roboters verändern, anstatt wie laut sie sind, und indem wir von den Schichten mehr abschneiden, die weniger Arbeit leisten, können wir ein einziges, schlankeres Modell erschaffen, das für jeden Job bereit ist. Es ist ein „Einmal beschneiden, ewig nutzen“-Ansatz, der diese superintelligenten Vision-Language-Modelle endlich auf den Geräten in unseren Taschen laufen lassen könnte, ohne dass ein Supercomputer zur Stromversorgung nötig ist. Die Autoren bestätigen dies durch umfangreiche Zero-Shot-Experimente und zeigen, dass ein mit PORTA beschneidetes Modell direkt in neue Aufgaben einsteigen kann, ohne zusätzliches Training, wobei es selbst bei starker Komprimierung eine hohe Genauigkeit beibehält.

Technisches Resümee: PORTA – Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Problemstellung

Vision-Language Models (VLMs) haben durch groß angelegtes Pre-Training eine bemerkenswerte Generalisierung über multimodale Aufgaben hinweg demonstriert. Ihr rasant steigender Parameterbestand und die damit verbundenen Rechenanforderungen erschweren jedoch den Einsatz in ressourcenbeschränkten Umgebungen. Während Kompressionstechniken wie Pruning (Beschneidung) essenziell sind, stehen bestehende Strategien im Kontext von VLMs vor erheblichen Einschränkungen:

Aufgabenspezifische Abhängigkeit: Die meisten Pruning-Methoden verlassen sich auf aufgabenspezifische Kriterien oder Kalibrierungsdaten. Wenn sich die Downstream-Aufgabe ändert, erfordert das Modell oft ein erneutes Pruning oder Re-Training, was einen nicht vernachlässigbaren Overhead verursacht.
Modalitäts-Bias: Viele Ansätze nutzen Maßstäbe für die Wichtigkeit, die aus Large Language Models (LLMs) abgeleitet sind, wie etwa Wanda und SparseGPT, welche auf Aktivierungsmagnituden und Ausreißermustern basieren. Diese Muster manifestieren sich in Vision-Encodern nicht identisch, was zu einem modalitätsspezifischen Bias führt, bei dem das Pruning entweder den Vision- oder den Sprachzweig unverhältnismäßig stark beeinflusst.
Instabilität: LLM-orientierte Schätzungen der Wichtigkeit sind hochsensibel gegenüber der Wahl der Kalibrierungsdaten. In aufgabenagnostischen Szenarien, in denen keine aufgabenspezifischen Stichproben verfügbar sind, liefern diese Methoden instabile Wichtigkeitsschätzungen und suboptimale Pruning-Ergebnisse.

Folglich mangelt es an einem robusten, aufgabenagnostischen Pruning-Framework, das ein VLM einmalig unter Verwendung allgemeiner Daten prunen kann, um es anschließend ohne Re-Training oder erneutes Pruning in diversen Downstream-Aufgaben einzusetzen.

Methodik: PORTA

Die Autoren schlagen PORTA (Prune-Once: Retraining-free Task-Agnostic pruning) vor, ein Framework, das darauf ausgelegt ist, Modalitäts-Bias und Kalibrierungssensitivität durch zwei Kernkomponenten zu adressieren: eine modalitätsagnostische Wichtigkeitsformulierung und einen adaptiven Sparsitäts-Allokationsmechanismus.

1. Varianzbasierte Wichtigkeitsformulierung

Bestehende Methoden verwenden primlich die Aktivierungsmagnitude zur Schätzung der Wichtigkeit. Die Autoren argumentieren, dass die Magnitude anfällig für modalitätsspezifische Skalenunterschiede ist (z. B. Unterschiede in den Aktivierungsverteilungen von Text vs. Vision). Stattdessen nutzt PORTA die Aktivierungsvariation (Varianz) als ein stabileres, modalitätsagnostisches Signal.

Begründung: Merkmale mit hoher Varianz reagieren breit gefächert auf diverse Eingaben und erfassen generalisierbare Strukturen, während Merkmale mit geringer Varianz lokalisierte oder eingabespezifische Muster kodieren.
Formulierung: Für eine Schicht mit Input-Aktivierungen $X \in \mathbb{R}^{B \times T \times D_{in}}$ und Gewichten $W$ wird der Wichtigkeitswert $S_{i,j}$ für das Gewicht $W_{i,j}$ berechnet, indem der absolute Gewichtswert mit der Varianz des entsprechenden Input-Features $j$ kombiniert wird:
$v_j = \mathrm{Var}_{b,t}(X_{b,t,j})$
$S_{i,j} = v_j \cdot |W_{i,j}|$
Diese Formulierung stellt sicher, dass Merkmale, die signifikant zur Repräsentationskapazität des Modells über diverse Eingaben hinweg beitragen, erhalten bleiben, während der durch unterschiedliche Aktivierungsskalen verursachte Bias zwischen Vision- und Sprachzweigen gemildert wird.

2. Adaptive Sparsitäts-Allokation

PORTA vermeidet eine uniforme Sparsität, indem es schichtweise Pruning-Raten basierend auf der Variabilität des Output-Feature-Raums der jeweiligen Schicht zuweist.

Mechanismus: Die Methode schätzt die Varianz der Output-Kanäle, um die „Ausnutzung“ der Repräsentationskapazität einer Schicht zu bestimmen. Schichten mit höherer Output-Varianz (was auf eine höhere Ausnutzung hindeutet) werden niedrigere Sparsitätsraten zugewiesen, um die Performance zu erhalten, während Schichten mit geringerer Varianz aggressiver geprunt werden.
Effizienz: Um die Recheneffizienz zu gewährleisten, wird die Input-Kovarianzmatrix als diagonal approximiert, was die Wiederverwendung der während der Wichtigkeitsbestimmung berechneten Varianzstatistiken ermöglicht.
Algorithmus: Die schichtweisen Scores werden normalisiert und über einen Stärkeparameter $\alpha$ angepasst, um ein Ziel-Global-Sparsitätsniveau zu erreichen (detailliert in Algorithmus 1 der Arbeit).

Zentrale Beiträge

Ein Retraining-freies Framework: PORTA führt ein „Prune-Once“-Paradigma ein, bei dem ein vortrainiertes VLM einmalig mit allgemeinen Kalibrierungsdaten geprunt wird und direkt in diversen Downstream-Aufgaben (Klassifizierung, Retrieval, VQA) eingesetzt werden kann, ohne zusätzliches Training oder erneutes Pruning.
Modalitätsagnostisches Wichtigkeitskriterium: Die Arbeit schlägt eine neue Metrik zur Bestimmung der Wichtigkeit vor, die auf der Aktivierungsvarianz statt auf der Magnitude basiert. Dies adressiert den Modalitäts-Bias, der in LLM-abgeleiteten Metriken inhärent ist, und liefert ein stabiles Signal sowohl für Vision- als auch für Sprach-Encoder.
Adaptive Sparsitäts-Allokation: Ein Mechanismus zur schichtweisen Pruning-Rate wird eingeführt, der sich an die spezifische repräsentative Nützlichkeit jeder Schicht anpasst und so die Limitationen uniformer Sparsität überwindet.
Robustheit gegenüber Kalibrierungsdaten: Das Framework demonstriert Stabilität gegenüber unterschiedlichen Kalibrierungsdatensätzen und Stichprobengrößen, was es für Szenarien praktikabel macht, in denen aufgabenspezifische Daten nicht verfügbar sind.

Experimentelle Ergebnisse

Die Autoren evaluierten PORTA auf drei repräsentativen VLM-Architekturen: CLIP (OpenAI ViT-bigG), BLIP und Qwen2-VL. Die Evaluierungen wurden in einem vollkommenen Zero-Shot-Setting in den Bereichen Bildklassifizierung, Bild-Text-Retrieval und Visual Question Answering (VQA) durchgeführt.

Performance unter hoher Sparsität: PORTA übertraf die Baselines (Wanda, SparseGPT, ECoFLaP, Multiflow) bei hoher Sparsität (55%–65%) konsistent.
- Bei CLIP mit 65% Sparsität verbesserte PORTA die mittlere Performance um 12,6% gegenüber SparseGPT und um 21,5% gegenüber Wanda über acht Metriken hinweg.
- Bei BLIP mit 45% Sparsität erreichte PORTA einen höheren mittleren Retrieval-Score (90,26) als SparseGPT (89,95).
- Bei Qwen2-VL für VQA (ScienceQA) mit 50% Sparsität erreichte PORTA die höchste durchschnittliche Genauigkeit (54,30%) und übertraf damit die zweitbeste Baseline (Wanda) um 0,87 Prozentpunkte.
Kalibrierungs-Robustheit: Experimente mit variierenden Kalibrierungsdatensätzen (Flickr30K, MSCOCO, Visual Genome) und Stichprobengrößen zeigten, dass die Performance von PORTA stabil blieb (Fluktuationen <1%), während die Baselines signifikante Leistungsschwankungen aufwiesen (bis zu ~5%).
Effizienz: PORTA schloss das Pruning auf CLIP in etwa 195 Sekunden ab, was etwa 4x schneller ist als SparseGPT und 2x schneller als ECoFLaP, primär aufgrund der Wiederverwendung von Varianzstatistiken und der Diagonal-Approximation der Kovarianzmatrix.

Bedeutung und Ansprüche

Das Paper behauptet, dass PORTA die praktische Bereitstellung von VLMs vorantreibt, indem es eine aufgabenagnostische Kompression ermöglicht. Durch die Ableitung der Wichtigkeit aus der Aktivierungsvariation statt aus der Magnitude adressiert die Methode erfolgreich den Modalitäts-Bias, der bestehende LLM-orientierte Pruning-Strategien belastet.

Die Autoren betonen, dass PORTA es ermöglicht, ein einzelnes gepruntes Modell über heterogene Downstream-Anwendungen (Retrieval, Klassifizierung, Generierung) hinweg einzusetzen, ohne dass ein erneutes Pruning oder Re-Training erforderlich ist. Diese „Prune-Once“-Fähigkeit reduziert den Deployment-Overhead erheblich, insbesondere in Szenarien, in denen aufgabenspezifische Kalibrierungsdaten schwer zu beschaffen sind. Die Arbeit validiert, dass aufgaben- und modalitätsagnostisches Pruning mit robuster Performance selbst bei hohen Kompressionsraten möglich ist, sofern die Schätzung der Wichtigkeit auf der modalitätsinvarianten Repräsentationsnutzen basiert.