🤖 machine learning

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Questo articolo introduce PORTA, un framework di pruning agnostico rispetto al task e privo di necessità di riaddestramento per i modelli visione-linguaggio, che sfrutta la variazione dell'attivazione e l'allocazione adattiva della sparsità per ottenere elevati tassi di compressione mantenendo al contempo una vasta performance a valle senza richiedere dati specifici per il task o fine-tuning.

Autori originali: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Pubblicato 2026-08-10

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico super intelligente che può guardare un'immagine e leggere una frase, poi capire istantaneamente come si collegano. Questo è il mondo dei Modelli Vision-Language (VLM). Pensa a questi modelli come a enormi, voraci biblioteche che hanno letto ogni libro e guardato ogni foto su internet. Sono incredibili nel risolvere puzzle, rispondere a domande e trovare immagini specifiche, ma c'è un problema: sono incredibilmente pesanti. Richiedono computer massicci con enormi quantità di memoria e potenza per funzionare, un po' come cercare di trasportare una biblioteca nello zaino mentre si fa escursionismo su una montagna. A causa di questo, è molto difficile inserire questi robot intelligenti su dispositivi più piccoli come telefoni o tablet.

Per risolvere questo problema, gli scienziati usano una tecnica chiamata pruning (potatura). Immagina che il cervello del robot sia una massiccia rete di connessioni. Il pruning è come tagliare con cura i fili minuscoli e inutili che non aiutano il robot a pensare, lasciando solo quelli forti e importanti. Questo rende il robot più leggero e veloce senza fargli dimenticare come svolgere il suo lavoro. Tuttavia, la maggior parte dei metodi esistenti per decidere quali fili tagliare è come usare una mappa pensata per un paese diverso; spesso richiedono test di pratica specifici (dati) per ogni singolo compito che il robot deve affrontare, o si confondono quando il robot passa dal guardare immagini al leggere parole. Questo articolo affronta il problema di come potare questi cervelli giganti una volta per tutte, perfettamente, in modo che possano funzionare ovunque senza dover essere riaddestrati o ricalibrati per ogni nuovo lavoro.

Il taglio del cervello "Una volta e basta"

Incontra PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), un nuovo metodo introdotto dai ricercatori Minseok Kang e dal suo team. Il loro obiettivo era risolvere un problema frustrante: gli attuali metodi di pruning agiscono spesso come un sarto che ha bisogno di prenderti le misure ogni volta che vuoi indossare una camicia diversa. Se vuoi che il robot faccia classificazione di immagini, lo poti in un modo; se vuoi che faccia recupero di informazioni (retrieval), devi potarlo di nuovo. Questo è lento e costoso. PORTA è diverso. È come un maestro sarto che guarda il tessuto una volta, lo taglia perfettamente e poi il risultato è un abito che ti veste per qualsiasi occasione — che tu stia correndo una gara, partecipando a una riunione o ballando a una festa.

Il documento suggerisce che il motivo principale per cui altri metodi falliscono in questo approccio "una volta e basta" è che si affidano alla dimensione (magnitudo) dei segnali interni del robot per decidere cosa tenere. Gli autori sostengono che in questi modelli giganti, la dimensione di un segnale può essere fuorviante perché la parte del "linguaggio" del cervello e la parte della "visione" del cervello si comportano diversamente. È come cercare di giudicare l'importanza di un urlo in una biblioteca rispetto a un urlo in uno stadio; il volume (magnitudo) è diverso, ma il significato potrebbe essere lo stesso. Per questo motivo, i metodi che guardano solo il volume spesso tagliano le cose sbagliate, specialmente quando al robot viene chiesto di svolgere un compito che non ha mai visto prima.

La formula segreta: la Varianza invece del Volume

Inveve di ascoltare quanto un segnale sia forte, PORTA ascolta quanto sia cambiabile. I ricercatori chiamano questo variazione dell'attivazione.

Ecco l'analogia: Immagina un gruppo di studenti in una classe.

Il vecchio modo (Magnitudo): L'insegnante chiede: "Chi è il più rumoroso?" e tiene solo gli studenti che urlano di più. Ma forse lo studente più rumoroso sta urlando solo perché è entusiasta di un argomento specifico, mentre lo studente silenzioso sta in realtà prestando attenzione a tutto ciò che dice l'insegnante.
Il modo PORTA (Varianza): L'insegnante chiede: "Chi cambia la propria risposta il più spesso in base alla domanda?". Lo studente che adatta la propria risposta in base all'argomento è colui che comprende davvero la materia.

Nel cervello del robot, PORTA cerca caratteristiche che mostrino molta variazione (fluttuazione) attraverso diversi input. Se una parte del cervello reagisce diversamente a molte immagini o parole diverse, sta facendo un lavoro importante. Se una parte del cervello rimane la stessa a prescindere da ciò che le mostri, è probabilmente solo un peso morto. Usando questo punteggio di "cambiabilità", PORTA può capire quali parti del robot sono veramente utili, indipendentemente dal fatto che stia guardando un gatto o leggendo una poesia. Questo rende il pruning "modality-agnostic" (indipendente dalla modalità), il che significa che tratta equamente le parti di visione e di linguaggio, senza favorire un lato rispetto all'altro.

Il taglio intelligente: non tutti gli strati sono uguali

Una volta che PORTA sa quali caratteristiche sono importanti, deve decidere quanto tagliare da ogni strato del cervello del robot. Il cervello non è un blocco uniforme; alcuni strati sono come le fondamenta di una casa, altri sono come il tetto. Non taglieresti le fondamenta con la stessa aggressività del tetto.

PORTA utilizza un meccanismo di sparsità adattiva molto intelligente. Osserva quanto lavoro sta facendo ogni strato in base alla variazione del suo output.

Se uno strato sta facendo molto lavoro pesante (alta variazione nel suo output), PORTA dice: "Non toccare troppo!" e gli assegna un basso rapporto di pruning (mantiene la maggior parte di esso).
Se uno strato sta solo procedendo senza sforzo (bassa variazione), PORTA dice: "Possiamo ridurlo significativamente".

Questo assicura che il robot non perda la sua capacità di pensare solo perché abbiamo cercato di renderlo più piccolo. Il documento mostra come questo metodo prevenga i "crolli di performance" dove altri metodi falliscono improvvisamente quando si cerca di tagliare troppo.

I Risultati: Più forte, più leggero, pronto a tutto

I ricercatori hanno testato PORTA su tre celebri cervelli robotici: CLIP, BLIP e Qwen2-VL. Non lo hanno testato su un solo compito; gli hanno lanciato contro di tutto:

Classificazione di immagini: Identificare cosa c'è in un'immagine (come distinguere tra un fiore e un cane).
Retrieval: Trovare l'immagine giusta per una descrizione testuale (o viceversa).
VQA (Visual Question Answering): Rispondere a domande complesse su un'immagine.

I risultati sono stati impressionanti. Anche quando hanno tagliato via il 65% dei parametri del robot (rendendolo molto piccolo), PORTA ha mantenuto le prestazioni del robot molto meglio di altri metodi.

Sul modello CLIP, con una sparsità del 65%, PORTA ha migliorato la prestazione media del 12,6% rispetto al metodo chiamato SparseGPT e del 21,5% rispetto a Wanda.
Su BLIP (con una sparsità del 45%), PORTA ha raggiunto un punteggio medio di 90,26, superando l'89,95 di SparseGPT.
Su Qwen2-VL (con una sparsità del 50%), PORTA ha raggiunto un'accuratezza media di 54,30, superando il miglior metodo successivo (Wanda) di 0,87 punti percentuali.

Forse la cosa più importante è che PORTA è robusto. Il documento mostra che non importa se si usa un piccolo set di immagini per "calibrare" il pruning o un set grande, o se si usano immagini da un sito web o da un altro. PORTA rimane stabile, mentre altri metodi oscillano selvaggiamente nelle prestazioni a seconda dei dati utilizzati.

In sintesi

PORTA suggerisce che non abbiamo bisogno di riaddestrare questi modelli giganti per renderli più piccoli. Semplicemente guardando quanto cambiano i segnali interni del robot piuttosto che quanto sono "forti", e tagliando di più dagli strati che fanno meno lavoro, possiamo creare un singolo modello snellito che è pronto per qualsiasi compito. È un approccio "potatura una volta, uso per sempre" che potrebbe finalmente permettere a questi super-intelligenti modelli vision-language di girare sui dispositivi che portiamo in tasca, senza bisogno di un supercomputer per alimentarli. Gli autori lo confermano attraverso estesi esperimenti zero-shot, dimostrando che un modello potato con PORTA può tuffarsi direttamente in nuovi compiti senza alcun addestramento extra, mantenendo un'alta accuratezza anche quando è pesantemente compresso.

Sintesi Tecnica: PORTA – Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Problematica

I modelli Vision-Language (VLM) hanno dimostrato una straordinaria capacità di generalizzazione attraverso compiti multimodali su larga scala grazie al pre-addestramento. Tuttavia, il loro rapidamente crescente numero di parametri e i requisiti computazionali ne ostacolano l'implementazione in ambienti con risorse limitate. Sebbene le tecniche di compressione dei modelli come il pruning siano essenziali, le strategie esistenti affrontano limitazioni significative nel contesto dei VLM:

Dipendenza dal Task: La maggior parte dei metodi di pruning si basa su criteri specifici per il task o su dati di calibrazione. Quando il task a valle cambia, il modello spesso richiede un nuovo pruning o un nuovo addestramento, introduando un overhead non trascurabile.
Bias di Modalità: Molti approcci adottano misure di importanza derivate dai Large Language Models (LLM), come Wanda e SparseGPT, che si basano sull'ampiezza delle attivazioni e sui pattern di outlier. Questi pattern non si manifestano in modo identico nei codificatori visivi, portando a un bias specifico per modalità in cui il pruning colpisce in modo sproporzionato la branca della visione o quella del linguaggio.
Instabilità: Le stime di importanza orientate agli LLM sono altamente sensibili alla scelta dei dati di calibrazione. Nei contesti task-agnostic, dove i campioni specifici del task non sono disponibili, questi metodi producono stime di importanza instabili e risultati di pruning subottimali.

Di conseguenza, vi è una mancanza di un framework di pruning robusto e task-agnostic che possa eseguire il pruning di un VLM una sola volta utilizzando dati generali e distribuirlo su diversi task a valle senza ri-addestramento o ri-pruning.

Metodologia: PORTA

Gli autori propongono PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), un framework progettato per affrontare il bias di modalità e la sensibilità alla calibrazione attraverso due componenti principali: una formulazione dell'importanza modalità-agnostica e un meccanismo di allocazione della sparsità adattiva.

1. Formulazione dell'Importanza Basata sulla Varianza

I metodi esistenti utilizzano principalmente l'ampiezza dell'attivazione per la stima dell'importanza. Gli autori sostengono che l'ampiezza sia sensibile alle differenze di scala specifiche della modalità (ad esempio, le distribuzioni delle attivazioni di testo vs visione). Invece, PORTA utilizza la variazione dell'attivazione (varianza) come un segnale più stabile e modalità-agnostico.

Razionale: Le caratteristiche con alta varianza rispondono ampiamente a input diversificati, catturando strutture generalizzabili, mentre le caratteristiche a bassa varianza codificano pattern localizzati o specifici dell'input.
Formulazione: Per uno strato con attivazioni di input $X \in \mathbb{R}^{B \times T \times D_{in}}$ e pesi $W$ , il punteggio di importanza $S_{i,j}$ per il peso $W_{i,j}$ è calcolato combinando l'ampiezza assoluta del peso con la varianza della corrispondente feature di input $j$ :
$v_j = \mathrm{Var}_{b,t}(X_{b,t,j})$
$S_{i,j} = v_j \cdot |W_{i,j}|$
Questa formulazione assicura che le caratteristiche che contribuiscono significativamente alla capacità rappresentativa del modello attraverso diversi input siano mantenute, mitigando al contempo il bias causato dalle diverse scale di attivazione tra le branche di visione e di linguaggio.

2. Allocazione della Sparsità Adattiva

PORTA evita la sparsità uniforme assegnando rapporti di pruning per strato basati sulla variabilità dello spazio delle feature di output del livello.

Meccanismo: Il metodo stima la varianza dei canali di output per determinare l' "utilizzazione" della capacità rappresentativa di uno strato. Gli strati con una maggiore varianza di output (che indicano una maggiore utilizzazione) ricevono rapporti di sparsità inferiori per preservare le prestazioni, mentre gli strati con una minore varianza vengono potati più aggressivamente.
Efficienza: Per garantire l'efficienza computazionale, la matrice di covarianza di input viene approssimata come diagonale, consentendo il riutilizzo delle statistiche di varianza calcolate durante la fase di stima dell'importanza.
Algoritmo: I punteggi per strato sono normalizzati e regolati tramite un parametatore di forza $\alpha$ per soddisfare un livello di sparsità globale target (dettagliato nell'Algoritmo 1 dell'articolo).

Contributi Chiave

Un Framework Senza Ri-addestramento: PORTA introduce un paradigma "prune-once" in cui un VLM pre-addestrato viene sottoposto a pruning una sola volta utilizzando dati di calibrazione generali e applicato direttamente a diversi task a valle (classificazione, retrieval, VQA) senza alcun addestramento o ri-pruning aggiuntivo.
Criterio di Importanza Modality-Agnostic: L'articolo propone un nuovo metric di importanza basato sulla varianza dell'attivazione piuttosto che sull'ampiezza. Questo affronta il bias di modalità inerente ai metric derivati dagli LLM, fornendo un segnale stabile sia per i codificatori visivi che per quelli linguistici.
Allocazione della Sparsità Adattiva: Viene introdotto un meccanismo di rapporto di pruning per strato che si adatta all'utilità rappresentativa specifica di ogni strato, superando i limiti della sparsità uniforme.
Robustezza ai Dati di Calibrazione: Il framework dimostra stabilità tra diversi dataset di calibrazione e dimensioni del campione, rendendolo pratico per scenari in cui i dati specifici del task non sono disponibili.

Risultati Sperimentali

Gli autori hanno valutato PORTA su tre architetture VLM rappresentative: CLIP (OpenAI ViT-bigG), BLIP e Qwen2-VL. Le valutazioni sono state condotte in un setting completamente zero-shot su classificazione di immagini, retrieval immagine-testo e Visual Question Answering (VQA).

Prestazioni sotto Alta Sparsità: PORTA ha costantemente superato i baseline (Wanda, SparseGPT, ECoFLaP, Multiflow) ad alti livelli di sparsità (55%–65%).
- Su CLIP al 65% di sparsità, PORTA ha migliorato la prestazione media del 12,6% rispetto a SparseGPT e del 21,5% rispetto a Wanda su otto metriche.
- Su BLIP al 45% di sparsità, PORTA ha ottenuto un punteggio medio di retrieval superiore (90,26) rispetto a SparseGPT (89,95).
- Su Qwen2-VL per VQA (ScienceQA) al 50% di sparsità, PORTA ha raggiunto l'accuratezza media più elevata (54,30%), superando il secondo miglior baseline (Wanda) di 0,87 punti percentuali.
Robustezza della Calibrazione: Gli esperimenti variando il dataset di calibrazione (Flickr30K, MSCOCO, Visual Genome) e la dimensione del campione hanno mostrato che le prestazioni di PORTA sono rimaste stabili (fluttuazioni <1%), mentre i baseline hanno mostrato spostamenti significativi nelle prestazioni (fino a circa ~5%).
Efficienza: PORTA ha completato il pruning in circa 195 secondi su CLIP, il che è circa 4 volte più veloce di SparseGPT e 2 volte più veloce di ECoFLaP, grazie principalmente al riutilizzo delle statistiche di varianza e all'approssimazione della covarianza diagonale.

Significato e Rivendicazioni

L'articolo sostiene che PORTA faccia avanzare l'implementazione pratica dei VLM consentendo un compressione task-agnostic. Derivando l'importanza dalla variazione dell'attivazione invece che dall'ampiezza, il metodo mitiga con successo il bias di modalità che affligge le strategie di pruning esistenti orientate agli LLM.

Gli autori sottolineano che PORTA consente a un singolo modello sottoposto a pruning di generalizzare su applicazioni eterogenee a valle (retrieval, classificazione, generazione) senza la necessità di ri-pruning o ri-addestramento. Questa capacità "prune-once" riduce significativamente l'overhead di implementazione, in particolare in scenari in cui è difficile ottenere dati di calibrazione specifici per il task. Il lavoro valida che il pruning task- e modalità-agnostic è realizzabile con prestazioni robuste anche sotto alti livelli di compressione, a patto che la stima dell'importanza sia fondata sull'utilità della rappresentazione invariante rispetto alla modalità.