🤖 machine learning

Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers

Il paper introduce Hydra Ensembles, un metodo efficiente per la quantificazione dell'incertezza nei transformer che, attraverso la potatura delle teste di attenzione e una fusione innovativa, raggiunge prestazioni superiori agli ensemble profondi mantenendo costi computazionali ridotti e senza necessità di riaddestramento.

Autori originali: Firas Gabetni, Giuseppe Curci, Andrea Pilzer, Subhankar Roy, Elisa Ricci, Gianni Franchi

Pubblicato 2026-04-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Firas Gabetni, Giuseppe Curci, Andrea Pilzer, Subhankar Roy, Elisa Ricci, Gianni Franchi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un super-esperto (un'intelligenza artificiale) che deve rispondere a domande su immagini o testi. Questo esperto è bravissimo, ma ha un difetto: a volte è troppo sicuro di sé, anche quando sbaglia. Se gli chiedi "Quanto sei sicuro che questa foto sia un gatto?", potrebbe dirti "100% sicuro!" anche se è un cane. Questo è pericoloso, specialmente in campi come la guida autonoma o la medicina.

Il problema è che per rendere queste macchine più "umane" (cioè capaci di dire "Non sono sicuro"), la soluzione attuale è creare un comitato di esperti. Invece di un solo modello, ne addestri tre, cinque o dieci, tutti diversi tra loro, e fai votare la risposta finale. Funziona benissimo, ma è come se dovessi pagare lo stipendio a dieci ingegneri invece che a uno: costa tantissimo in termini di tempo, energia e memoria.

La soluzione: I "Capi Idra" (Hydra Ensembles)

Gli autori di questo paper hanno pensato: "E se invece di assumere dieci persone diverse, prendessimo un solo super-esperto e gli facessimo creare diverse versioni di se stesso, ma in modo intelligente?"

Ecco come funziona la loro idea, Hydra Ensembles, usando un'analogia con la mitologia:

1. Il mostro a molte teste (Il Modello Transformer)

I modelli moderni (come quelli che usano per vedere le immagini) sono costruiti come un Idra di Lerna: hanno un corpo centrale e molte "teste" (chiamate attention heads). Ogni testa guarda l'immagine da una prospettiva leggermente diversa. Alcune guardano i contorni, altre i colori, altre le forme.

2. Il taglio intelligente (Pruning)

Di solito, per risparmiare, si tagliano le parti inutili del modello (potatura). Ma gli autori hanno scoperto una cosa strana: se tagli le teste a caso (come farebbe un giardiniere distratto), l'Idra diventa confusa e smette di capire quando è incerto. Diventa un mostro che sbaglia e si finge sicuro.

La loro innovazione è stata imparare a tagliare le teste giuste.
Immagina di avere un team di 12 esperti in una stanza. Invece di licenziarli tutti, ne selezioni 3 gruppi diversi:

Gruppo A: Tieni le teste che guardano i dettagli fini, togli le altre.
Gruppo B: Tieni le teste che guardano i colori, togli le altre.
Gruppo C: Tieni le teste che guardano la forma, togli le altre.

Ogni gruppo è ora un "sotto-esperto" specializzato. Sono diversi tra loro perché hanno visto cose diverse.

3. La fusione magica (Merging)

Qui arriva la magia. Invece di far lavorare questi tre gruppi uno dopo l'altro (che sarebbe lento), li fondono in un unico corpo.
Immagina di prendere i tre gruppi di esperti e farli sedere tutti allo stesso tavolo, ma ognuno usa solo la sua specialità. Il modello finale è uno solo, ma internamente sta facendo il lavoro di tre.

Vantaggio: È veloce come un singolo modello (non devi aspettare tre risposte).
Vantaggio: È sicuro come tre modelli (perché le diverse "teste" si controllano a vicenda).

Perché è rivoluzionario?

Risparmio energetico: Non devi addestrare tre modelli da zero (che richiederebbe mesi di calcolo). Prendi un modello già addestrato, lo "poti" in modo intelligente e lo fusi. È come riutilizzare un'auto esistente invece di costruirne tre nuove.
Sicurezza: Il modello finale sa dire "Non lo so" quando è confuso. Se le diverse teste non sono d'accordo, il sistema alza la mano e dice: "Attenzione, qui c'è un problema".
Risultati: Hanno provato questo metodo su immagini (come riconoscere gatti e cani) e testi (capire se una recensione è positiva o negativa). Risultato? Funziona meglio o uguale ai metodi lenti e costosi, ma è molto più veloce.

In sintesi

Immagina di dover risolvere un enigma difficile.

Metodo vecchio: Chiedi a tre amici diversi di risolverlo. È preciso, ma ci metti tre volte tanto tempo.
Metodo "taglia e cuci" vecchio: Prendi un amico, gli togli metà del cervello per velocizzarlo. Risolve veloce, ma sbaglia e non si accorge dei suoi errori.
Metodo Hydra (questo paper): Prendi un amico geniale, gli chiedi di pensare a tre scenari diversi usando solo parti diverse del suo cervello, e poi unisci tutto in un unico pensiero rapido. Ottieni la precisione di tre amici con la velocità di uno, e sai sempre quando sta per sbagliare.

È un modo intelligente per rendere l'Intelligenza Artificiale più umana, sicura ed efficiente, senza dover spendere una fortuna in energia elettrica.

1. Il Problema: Quantificazione dell'Incertezza ed Efficienza

Le reti neurali profonde (DNN), in particolare i modelli basati su Transformer (come ViT e BERT), eccellono in compiti di visione e linguaggio ma tendono a produrre errori con eccessiva sicurezza (overconfident errors). Questo è critico in ambiti safety-critical (es. guida autonoma, sanità), rendendo essenziale la Quantificazione dell'Incertezza (UQ).

Il metodo di riferimento attuale per l'UQ è il Deep Ensemble, che aggrega le previsioni di più modelli addestrati indipendentemente. Sebbene offra prestazioni eccellenti in termini di accuratezza e calibrazione, presenta due svantaggi fondamentali:

Costo Computazionale Elevato: Richiede l'addestramento e l'inferenza di $M$ modelli completi, rendendolo proibitivo per i modelli foundation su larga scala.
Impraticabilità di Scalabilità: Non è fattibile addestrare ensemble di modelli grandi (es. CLIP, BERT) da zero per ogni applicazione.

Un approccio ingenuo per ridurre i costi è il pruning (potatura) dei pesi dei singoli modelli. Tuttavia, il paper dimostra che le tecniche di pruning tradizionali (non strutturate o basate su criteri semplici) possono degradare la calibrazione dell'incertezza, rendendo le previsioni inaffidabili su dati rumorosi o fuori distribuzione (OOD).

2. Metodologia: Hydra Ensembles

Gli autori propongono Hydra Ensembles, un framework innovativo che combina la diversità degli ensemble con l'efficienza del pruning strutturato a livello di attention heads.

Concetto Chiave

Invece di addestrare $M$ modelli da zero, Hydra Ensembles parte da un singolo Transformer pre-addestrato.

Generazione di Membri Diversi: Vengono create $M$ varianti del modello originale rimuovendo (potando) diversi insiemi di attention heads. Ogni modello pruned rappresenta un "sottorete" diversa ma funzionale.
Fusione Efficiente: Questi $M$ modelli pruned non vengono eseguiti in sequenza. Vengono fusi in un unico modello Transformer che esegue l'inferenza in un singolo passaggio in avanti (single forward pass).

Architettura della Fusione

La fusione avviene a due livelli principali all'interno del Transformer:

Fused Multi-Head Attention (MHA): Le teste di attenzione rimaste attive nei diversi membri vengono combinate utilizzando strati Grouped Fully-Connected (GFC). Invece di eseguire $M$ calcoli di attenzione separati, le proiezioni Query, Key e Value di tutti i membri vengono calcolate congiuntamente su una rappresentazione ridimensionata, mantenendo la diversità delle teste.
Merged MLP: I livelli MLP (Feed-Forward) dei diversi membri vengono fusi calcolando la media dei pesi e dei bias. Questo riduce ulteriormente il costo computazionale senza perdere la diversità, poiché la diversità principale risiede nelle diverse configurazioni delle teste di attenzione.

Strategie di Pruning

Il paper introduce due strategie per selezionare quali teste rimuovere:

Hydra Ensembles (Taylor): Utilizza un criterio di pruning strutturato basato sull'espansione di Taylor (primo ordine) per rimuovere le teste meno importanti per l'accuratezza.
Hydra Ensembles (Circuit): Sfrutta la meccanica interpretativa (mechanistic interpretability) e l'algoritmo Headmap. Identifica e rimuove le teste che contribuiscono meno alla separazione tra dati in distribuzione (ID) e fuori distribuzione (OOD) o alla robustezza, preservando i "circuiti" neurali critici per l'UQ.

3. Contributi Chiave

Analisi Teorica ed Empirica sul Pruning: Dimostrano che il pruning "naive" (senza considerare l'incertezza) peggiora la calibrazione su dati rumorosi. Forniscono una prova teorica (Proposizione 1) che il pruning amplifica il divario di performance tra dati puliti e rumorosi se le condizioni di Hessian e gradiente non sono gestite correttamente.
Hydra Ensembles: Il primo framework di pruning specifico per l'UQ in modelli Transformer su larga scala. Non richiede l'addestramento da zero dei membri dell'ensemble e può operare anche in modalità zero-shot.
Efficienza e Diversità: Raggiunge una diversità simile agli ensemble classici ma con un costo di inferenza quasi identico a quello di un singolo modello (specialmente in precisione bfloat16).

4. Risultati Sperimentali

Il metodo è stato valutato su tre compiti principali: classificazione di immagini supervisionata (ViT su ImageNet-1K e CIFAR-100), classificazione di testo (BERT su SST-2) e classificazione zero-shot (OpenCLIP-ViT).

Supervised Image Classification (ViT):
- Hydra Ensembles supera la maggior parte dei baselines efficienti (MIMO, BatchEnsemble, LoRA) e si avvicina alle prestazioni del Deep Ensemble completo.
- Migliora significativamente le metriche OOD (AUROC +0.8%, FPR95 -2.2% rispetto al modello singolo su ImageNet).
- Costo: In bfloat16, il tempo di inferenza è solo 1.07x quello di un singolo modello, contro quasi 3x per il Deep Ensemble.
Text Classification (BERT):
- Su SST-2, Hydra Ensembles (Circuit) raggiunge un'accuratezza paragonabile al Deep Ensemble ma con un miglioramento sostanziale nella rilevazione OOD (AUROC +2.8%, FPR95 -7.6%).
Zero-Shot Classification (OpenCLIP):
- Risultato Sorprendente: Senza alcun addestramento aggiuntivo (zero-shot), Hydra Ensembles supera lo stato dell'arte (ViLU, che richiede addestramento) su ImageNet-1K OOD, migliorando l'AUROC di +1.3% e riducendo il FPR95 di -3.5%.

5. Significato e Impatto

Il lavoro di Hydra Ensembles rappresenta un passo avanti significativo per l'uso sicuro ed efficiente dei grandi modelli linguistici e visivi.

Scalabilità: Risolve il collo di bottiglia computazionale degli ensemble, rendendo fattibile l'UQ per modelli foundation senza moltiplicare i costi di addestramento e inferenza.
Robustezza: Dimostra che la diversità necessaria per una buona quantificazione dell'incertezza può essere ottenuta attraverso la struttura interna del modello (testi di attenzione) piuttosto che attraverso la duplicazione completa dei parametri.
Praticità: Offre una soluzione che può essere applicata a modelli pre-addestrati esistenti senza bisogno di ri-addestramento massiccio, rendendo l'UQ accessibile per applicazioni reali in tempo reale.

In sintesi, il paper propone un compromesso ottimale: mantiene la robustezza e l'affidabilità degli ensemble tradizionali riducendo il costo computazionale a quello di un singolo modello, aprendo la strada a sistemi di IA più sicuri e scalabili.