Model soups need only one ingredient

Sintesi Tecnica: MonoSoup

Definizione del Problema

Il paradigma prevalente "pre-training-seguito-da-fine-tuning" per i modelli di fondazione porta spesso a un compromesso tra l'accuratezza in-distribution (ID) e la robustezza out-of-distribution (OOD). Sebbene il fine-tuning migliori le prestazioni sui task target, esso causa frequentemente un "collasso della rappresentazione", in cui il modello si specializza eccessivamente sui dati di addestramento, degradando la sua conoscenza generalista e le prestazioni OOD.

Le soluzioni esistenti, come i Model Soups, mitigano questo problema mediando i pesi di molteplici checkpoint sottoposti a fine-tuning. Tuttavia, questo approccio è computazionalmente e in termini di archiviazione proibitivo, richiedendo l'addestramento e la conservazione di decine di modelli. Altri metodi come Model Stock riducono il numero a due modelli, ma assumono comunque l'accesso a molteplici checkpoint, il che è spesso irrealistico nella pratica, dove i repository conservano tipicamente una singola versione con le migliori prestazioni. Inoltre, i metodi a singolo modello come Wise-FT (interpolazione tra pesi pre-addestrati e fine-tuned) applicano un'interpolazione uniforme, fallendo nel rispondere alla natura fine-grained e anisotropa degli aggiornamenti dei pesi attraverso i diversi layer e direzioni.

La domanda centrale affrontata è: È possibile mantenere i benefici di un model soup quando è disponibile un solo modello fine-tuned?

Metodologia: MonoSoup

Il paper introduce MonoSoup, un metodo post-hoc, privo di dati e di iperparametri, che ottiene un forte equilibrio ID–OOD utilizzando un singolo checkpoint. Il metodo opera sull'ipotesi che l'aggiornamento dei pesi di un singolo modello fine-tuned contenga sia direzioni dominanti e specifiche del task, sia componenti più deboli che, pur essendo potenzialmente rumorose, codificano segnali residui critici per la robustezza OOD.

1. Decomposizione Spettrale tramite SVD

Per ogni layer $\ell$, MonoSoup analizza la matrice di aggiornamento dei pesi $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$ utilizzando la Decomposizione ai Valori Singolari (SVD):
$$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$$
Lo spettro dei valori singolari è partizionato in due componenti complementari:

• Componente ad Alta Energia ($W^{(\ell)}_{High}$): Cattura il sottospazio principale associato all'adattamento del task.
• Componente a Bassa Energia ($W^{(\ell)}_{Low}$): Cattura il complemento ortogonale. Sebbene contenga spesso rumore, il paper sostiene che queste direzioni preservino informazioni critiche per la generalizzazione OOD.

2. Partizionamento Automatico

A differenza dei metodi che richiedono una soglia fissa, MonoSoup determina automaticamente l'indice di partizione $k$ utilizzando l'entropia del rango effettivo (Roy & Vetterli, 2007):
$$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$$
dove $p^{(\ell)}_i$ è la distribuzione normalizzata dei valori singolari. Ciò consente al metodo di adattarsi alle proprietà spettrali eterogenee di diversi layer e architetture senza necessità di tuning manuale.

3. Ripesatura Adattiva

Invece di scartare la componente a bassa energia, MonoSoup ricalibra il peso di entrambe le componenti utilizzando coefficienti per layer $\lambda^{(\ell)}_{High}$ e $\lambda^{(\ell)}_{Low}$:
$$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$$
Il coefficiente per la componente a bassa energia, $\lambda^{(\ell)}_{Low}$, è derivato da due segnali:

1. Decadimento Spettrale ($\rho^{(\ell)}$): Misura la pendenza dello spettro dei valori singolari.
2. Allineamento Geometrico ($\cos \alpha^{(\ell)}$): Misura la frazione di energia dell'aggiornamento trasportata dalle direzioni a bassa energia.

La regola di pesatura è definita come:
$$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$$
$$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$$
Questa formulazione assicura che le componenti a bassa energia siano mantenute solo quando lo spettro è piatto o l'aggiornamento è ben allineato, sopprimendo efficacemente il rumore mentre si preservano i segnali robusti.

Contributi Chiave

1. Analisi Geometrica della Fusione (Merging): Gli autori stabiliscono che il successo della fusione di più modelli dipende dall'allineamento degli aggiornamenti del fine-tuning. Lo validano introducendo Similarity-Filtered Greedy Soup (SFGS), una variante data-free che seleziona i modelli basandosi sull'allineamento geometrico piuttosto che sulle metriche di validazione, confermando l'allineamento come un proxy affidabile per l'efficacia della fusione.
2. Algoritmo MonoSoup: Un metodo innovativo a singolo checkpoint che decompone gli aggiornamenti dei pesi in sottospazi ad alta e bassa energia e li ripesatura in modo adattivo. Elimina la necessità di molteplici checkpoint e affronta gli effetti anisotropici ignorati dai metodi di interpolazione uniforme.
3. Validazione Empirica: Esperimenti estesi su modelli di visione (CLIP, ConvNeXt) e linguaggio (Qwen) dimostrano che MonoSoup migliora costantemente la generalizzazione OOD mantenendo o potenziando l'accuratezza ID.

Risultati

• Visione (CLIP ViT-B/32): MonoSoup migliora l'accuratezza OOD media del baseline più forte di circa l'1% e recupera fino all'8% su checkpoint più deboli con rappresentazione collassata, mantenendo al contempo una forte accuratezza ID. Eguaglia o supera le prestazioni di metodi multi-modello (Model Soups, Model Stock) utilizzando un solo checkpoint.
• Linguaggio (Qwen3-0.6B): Nei benchmark di ragionamento matematico e QA, MonoSoup supera il baseline fine-tuned e il metodo LiNeS. Mostra guadagni significativi su task OOD impegnativi come GSMPlus e GSM8KPlatinum (fino a +9.2 punti).
• Integrazione: Quando combinato con Wise-FT, MonoSoup fornisce un punto di partenza più forte per l'interpolazione, producendo fronti di Pareto che dominano quelli di Wise-FT e LiNeS da soli.
• Efficienza: MonoSoup è un'operazione one-shot e data-free. Per un modello da 14 miliardi di parametri, riduce il costo in tempo di calcolo di circa $10^3$–$10^4\times$ e l'archiviazione di un ordine di grandezza rispetto all'addestramento di molteplici checkpoint per i Model Soups.

Significato e Rivendicazioni

Il paper afferma che MonoSoup offre un'alternativa pratica, "plug-and-play", all'ensemble di multi-checkpoint. Comprimendo i benefici dei model soup in una procedura a singolo modello, affronta le barriere computazionali e di archiviazione per il deployment di modelli robusti. Gli autori sottolineano che il loro approccio è particolarmente prezioso per i professionisti che non dispongono delle risorse per riprodurre ampi sweep di iperparametri o mantenere molteplici checkpoint.

Crucialmente, il paper nota che, sebbene MonoSoup migliori significativamente la robustezza contro i cambiamenti di distribuzione naturali, non è un sostituto per le valutazioni di sicurezza specifiche per l'applicazione contro le perturbazioni avversarie. Il loro principale contributo sociale è la sostanziale riduzione dei costi di calcolo e archiviazione necessari per distribuire modelli robusti, rendendo l'IA ad alte prestazioni e generalizzabile più accessibile.