🤖 machine learning

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

Il documento propone FedSLM, un nuovo framework di apprendimento federato che consente ai client con risorse limitate di perfezionare i modelli di base utilizzando modelli auto-contenuti compressi tramite SVD e un protocollo di aggregazione a due stadi, ottenendo prestazioni superiori con requisiti di memoria significativamente ridotti pur mantenendo la fedeltà rappresentativa.

Autori originali: Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

Pubblicato 2026-08-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer più intelligenti nella stanza sono troppo grandi per stare nelle tasche di nessuno. Questi sono i "Modelli di Fondazione", enormi cervelli di intelligenza artificiale addestrati su oceani di dati per comprendere il linguaggio, le immagini e il mondo circostante. Sono incredibilmente potenti, ma sono anche dei golosi di memoria, richiedendo server enormi ed costosi per funzionare. Nel frattempo, le persone che detengono le informazioni più preziose e segrete — come i medici con le cartelle cliniche dei pazienti o le banche con i dati finanziari — hanno spesso solo computer modesti che non possono nemmeno caricare questi cervelli giganti. Questo crea un frustrante stallo: gli esperti hanno i dati ma non la potenza cerebrale, e la potenza cerebrale è bloccata su un server che non può vedere i dati.

Per risolvere questo problema, gli scienziati utilizzano una tecnica chiamata "Apprendimento Federato" (Federated Learning). Pensatelo come a un gruppo di studenti che cercano di risolvere un puzzle insieme senza mai mostrare i propri pezzi all'insegnante. Invece di inviare i propri dati privati a una posizione centrale, inviano solo le loro "idee" o "aggiustamenti" all'insegnante, che li combina per creare un cervello di gruppo più intelligente. Tuttavia, quando l' "insegnante" è un gigante da un miliardo di parametri, inviare solo gli aggiustamenti diventa un incubo logistico se i computer degli studenti sono troppo deboli per contenere anche solo una piccola fetta del modello gigante. La sfida è capire come permettere a questi computer deboli di imparare dal gigante senza rompere il proprio hardware o perdere la magia della conoscenza del gigante.

Entra in gioco FedSLM, un nuovo metodo proposto da ricercatori che agisce come un astuto traduttore e un maestro chef. Il problema centrale che affrontano è un "asimmetria di risorse": le istituzioni con i migliori dati (ospedali, banche) spesso non possono eseguire il modello IA completo perché richiede troppa memoria. Le soluzioni esistenti cercavano di risolvere il problema o rimpicciolendo il modello (il che a volte ne rompeva l'intelligenza) o addestrando solo piccole parti di esso (il che richiedeva comunque il caricamento del modello completo, sprecando memoria). FedSLM adotta un approccio diverso, più strutturale.

La principale scoperta dei ricercatori è che è possibile scomporre il gigantesco modello IA in pezzi più piccoli e autonomi utilizzando un trucco matematico chiamato Decomposizione dei Valori Singolari (SVD). Immaginate il modello gigante come un enorme e intricato arazzo. Invece di cercare di copiare l'intero arazzo su un piccolo telaio, FedSLm taglia l'arazzo nei suoi fili essenziali (sottospazi a basso rango) e fornisce a ogni cliente un telaio piccolo e gestibile con solo quei fili. I clienti devono quindi solo tessere un "adattatore" minuscolo e leggero (una piccola patch di nuovo filo) sul proprio telaio per imparare dai propri dati. Poiché tutti i clienti stanno tessendo su telai derivati dallo stesso arazzo originale, i loro schemi si incastrano perfettamente.

Una volta che i clienti hanno finito di tessere le loro patch, il server le raccoglie. Ma ecco la parte intelligente: il server non si limita a incollare le piccole patch insieme. Prima ricostruisce versioni a grandezza intera dei pattern da ciascun gruppo di clienti e poi li fonde in un unico modello globale coerente. Infine, per garantire che il risultato finale non sia solo una copia sfocata delle piccole patch, il server utilizza un metodo di insegnamento "weak-to-strong" (da debole a forte). Tratta i modelli piccoli combinati come un "insegnante debole" e utilizza una speciale tecnica di perdita di confidenza (confidence-loss) per insegnare allo "studente forte" (il modello completo del server) come apprendere la nuova conoscenza senza copiare gli errori dell'insegnante debole o gli "artefatti di compressione".

L'articolo sostiene esplicitamente contro l'idea che si debba o caricare il modello completo su ogni cliente (il che è impossibile per molti) o affidarsi all'invio solo di output testuali (il che fa perdere troppa sfumatura). Dimostrano che il loro metodo preserva l'integrità strutturale del modello consentendo ai clienti di operare con circa il 50% della memoria GPU richiesta dal modello completo. Nei loro esperimenti su compiti di linguaggio naturale e visione-linguaggio, FedSLM ha costantemente superato i metodi esistenti, anche quando i dati erano disordinati e distribuiti in modo disomogeneo. I ricercatori hanno misurato che i clienti che utilizzano i loro modelli compressi potevano operare con circa la metà del costo di memoria, pur ottenendo comunque prestazioni elevate, recuperando spesso e persino superando l'accuratezza del modello originale non compresso su compiti specifici.

La fiducia in questi risultati deriva da test estesi su benchmark come ARC, HellaSwag e dataset medici, dove il metodo ha mostrato chiari miglioramenti rispetto ad altri approcci di apprendimento federato. Gli autori suggeriscono che questo approccio riesce a colmare il divario tra la necessità di privacy, i limiti dell'hardware e il desiderio di un'IA potente e specializzata, dimostrando che non serve un supercomputer per contribuire a un super-cervello.

Sintesi Tecnica: FedSLM – Fine-Tuning di Foundation Model Federati con Client Compresso Eterogenei

1. Definizione del Problema

Il Federated Learning (FL) di Foundation Models (FM) affronta un fondamentale paradosso dell'asimmetria delle risorse. Le istituzioni che possiedono i dati di dominio più preziosi (ad esempio, ospedali, società finanziarie) spesso mancano del budget di memoria GPU necessario per ospitare o effettuare il fine-tuning di modelli con miliardi di parametri. Gli approdii esistenti alla FL eterogenea tentano di colmare questo divario, ma non riescono a soddisfare simultaneamente tre requisiti critici:

Fattibilità della Distribuzione: I modelli dei client devono essere abbastanza compatti da poter essere ospitati su dispositivi con risorse limitate.
Allineamento Strutturale: Gli aggiornamenti eterogenei dei client devono essere fondibili in un modello globale coerente senza incompatibilità architettoniche.
Fedeltà: Il server deve assorbire la conoscenza di dominio federata senza ereditare artefatti di compressione o soffrire della "fallacia dell'imitazione" (dove un modello forte degrada imitando un supervisore debole e rumoroso).

I metodi attuali scambiano queste proprietà: il Parameter-Efficient Fine-Tuning (PEFT) come LoRA riduce i parametri addestrabili, ma richiede comunque il caricamento dell'intero modello base; l'estrazione architettonica (ad esempio, HeteroFL) interrompe i pattern di attenzione pre-addestrati nei Transformer; e gli approcci centrati sui dati faticano con il disallineamento del vocabolario e la perdita della rappresentazione nascosta.

2. Metodologia: FedSLM

Gli autori propongono FedSLM, un framework parametrico-centrico che tratta il problema come un'ottimizzazione accoppiata su tre variabili: gli adapter lato client, i pesi globali ricostruiti lato server e il modello forte finale del server. Il framework opera in quattro fasi distinte:

A. Derivazione del Modello Basata su SVD (Step 1)

Invece di un'inizializzazione casuale, il server deriva una famiglia di modelli compressi strutturalmente compatibili dal Foundation Model (FM) pre-addestrato utilizzando la Scomposizione ai Valori Singolari (SVD).

Processo: Per gli strati selezionati, la matrice dei pesi $W$ viene decomposta in fattori a basso rango $U$ e $V$ a vari rapporti di compressione ( $r_i$ ).
Struttura: I client nel gruppo $C_i$ ricevono basi a basso rango fisse $\{U_i, V_i\}$ e un adapter addestrabile $\Sigma_{i,c} \in \mathbb{R}^{r_i \times r_i}$ . Lo strato effettivo è $W \approx U_i \Sigma_{i,c} V_i$ .
Proprietà Chiave: Poiché tutte le varianti sono derivate dagli stessi pesi del server tramite troncamento SVD annidato, esse condividono una struttura di manifold a basso rango annidata, garantendo la compatibilità strutturale per l'aggregazione nonostante i diversi ranghi.

B. Aggregazione Federata Eterogenea (Step 2 & 3)

FedSLM impiega un protocollo di aggregazione a due stadi per gestire l'eterogeneità del rango:

Stadio 1: Aggregazione degli Adapter Intra-Gruppo: I client all'interno dello stesso gruppo di compressione (stesso rango $r_i$ ) ottimizzano i loro adapter locali $\Sigma_{i,c}$ tramite SGD locale. Il server aggrega questi adapter utilizzando FedAvg all'interno del gruppo.
Stadio 2: Fusione del Modello Cross-Group: Il server ricostruisce le matrici dei pesi a pieno rango per ogni gruppo ( $W_i = U_i \Sigma_i V_i$ ) nello spazio ambiente comune $\mathbb{R}^{m \times n}$ . Questi modelli ricostruiti vengono poi fusi tramite media ponderata per produrre un modello debole globale $W_g$ . Questo passaggio sfrutta il fatto che tutti i gruppi condividono un ancoraggio pre-addestrato comune, permettendo la fusione nello spazio a pieno rango.

C. Elicitazione Weak-to-Strong (Step 4)

Per trasferire la conoscenza dal modello compresso e aggregato ( $W_g$ ) al modello a scala completa del server ( $W_s$ ) senza ereditare artefatti di compressione, gli autori introducono un passaggio di raffinamento Weak-to-Strong.

Meccanismo: Il server raffina $W_s$ utilizzando un dataset del server non etichettato $D_{server}$ .
Funzione di Perdita: Viene utilizzata una Perdita di Confidenza Ausiliaria (Auxiliary Confidence Loss):
$\mathcal{L}_{conf} = (1-\alpha) \ell_{CE}(f_w, f_s) + \alpha \ell_{CE}(\hat{f}_s, f_s)$
dove $f_w$ è il supervisore debole, $f_s$ è lo studente forte, e $\hat{f}_s$ è l'auto-predizione del modello forte con gradienti bloccati.
Ruolo di $\alpha$ : Questo termine bilancia l'imitazione del modello debole con le predizioni sicure del modello forte stesso. Il termine di auto-ancoraggio ( $\alpha$ ) mitiga la "fallacia dell'imitazione" impedendo al modello forte di regredire verso gli errori sistematici del supervisore debole.

3. Contributi Chiave

Garanzie Teoriche

Il documento fornisce tre analisi teoriche complementari:

Tasso di Convergenza: Stabilisce un tasso di convergenza $O(T^{-1/2})$ per l'aggregazione degli adapter a livello di stadio 1, tenendo conto del drift del client e della distorsione spettrale introdotta dai fattori SVD.
Allineamento del Subspace: Deriva i limiti per l'errore di aggregazione cross-group, dimostrando che i subspace SVD annidati garantiscono la compatibilità geometrica. L'errore è limitato dalla media pesata dai dati dei residui del subspace.
Mitigazione degli Artefatti: Caratterizza come la perdita di confidenza ausiliaria mitighi il rumore di compressione. Dimostra un trade-off bias-varianza dove il coefficiente di miscelazione $\alpha$ può essere sintonizzato per minimizzare il rischio che il modello forte apprenda artefatti di compressione.

Risultati Empirici

Gli esperimenti sono stati condotti su LLaMA-2-7B/13B (linguaggio) e LLaVA-NeXT-7B (visione-linguaggio) su benchmark di comprensione del linguaggio naturale e medici, sia sotto partizioni IID che non-IID.

Performance: FedSLM supera costantemente i baseline esistenti (inclusi FedAvg+LoRA, HetLoRA e FedMKT). Su LLaMA-2-7B, ha raggiunto il 71,0% di accuratezza media (IID) e il 68,2% (non-IID), superando i migliori baseline con margini significativi.
Efficienza del Client: I modelli compressi dei client operano a circa il 50% della memoria GPU richiesta dal modello completo (ad esempio, ~6,8 GB rispetto a 13,5 GB per LLaMA-2-7B) ottenendo al contempo un throughput di inferenza più elevato.
Recupero: L'addestramento federato degli adapter consente ai modelli compressi di recuperare e superare l'accuratezza zero-shot del modello pre-addestrato non compresso su molteplici benchmark.

4. Significato e Rivendicazioni

Il documento afferma che FedSLM risolve la tensione centrale nell'apprendimento federato di foundation model, consentendo a client con risorse limitate di partecipare efficacemente senza sacrificare la qualità del modello globale.

Framework Unificato: È il primo framework che realizza simultaneamente la compressione del modello per la distribuzione, l'allineamento strutturale per l'aggregazione e la mitigazione degli artefatti per il raffinamento del server.
Viabilità Pratica: Riducendo i requisiti di memoria dei client a circa il 50% del modello completo pur mantenendo o superando le prestazioni, FedSLM rende fattibile il fine-tuning federato di modelli con miliardi di parametri per istituzioni con hardware limitato.
Solidità Teorica: Il lavoro fornisce garanzie rigorose sulla convergenza e sui limiti di errore, andando oltre gli approcci euristici alla FL eterogenea.

Gli autori sottolineano che il metodo non richiede ai client di ospitare l'intero modello né di fare affidamento su una comunicazione lossy a livello di logit, concentrandosi invece sull'estrazione e l'amplificazione della conoscenza specifica di dominio acquisita attraverso il processo federato.