Federated Foundation Language Model Post-Training Should Focus on Open-Source Models

Sintesi Tecnica: Il post-training dei modelli linguistici di fondazione federati dovrebbe concentrarsi sui modelli open

Problematica
Il documento affronta l'emergente pratica di applicare l'Apprendimento Federato (Federated Learning, FL) al post-training di modelli linguistici di fondazione (Foundation Language Models, FLM). Sebbene il FL offra un paradigma decentralizzato per adattare i modelli a compiti downstream senza centralizzare i dati privati, gli approcci recenti si affidano sempre più a modelli di fondazione black-box e gray-box (ad esempio, modelli accessibili esclusivamente tramite API con pesi e architettura nascosti). Gli autori sostengono che replicare ciecamente le strategie di post-training centralizzato utilizzando questi modelli chiusi in un contesto di FL contraddice i principi fondamentali del federato, specificamente la privacy dei dati, l'autonomia del client e la trasparenza. Il problema centrale è determinare se la convenienza e le prestazioni dei modelli chiusi giustifichino l'erosione dei benefici fondamentali del FL quando applicati al post-training.

Metodologia e Framework
Il documento impiega un framework concettuale e analitico piuttosto che una sperimentazione empirica. La metodologia prevede:

1. Classificazione dell'apertura del modello: Gli autori categorizzano i FLM in quattro tipi distinti in base all'accessibilità e alle licenze:
   • Open-Source: Accesso completo a pesi, codice sorgente, architettura e dati di addestramento sotto licenze permissive.
   • Open-Weight: Accesso completo a pesi e architettura, ma senza codice sorgente o dati di addestramento (spesso sotto licenze restrittive).
   • Gray-Box: Accesso parziale tramite API, che consente un fine-tuning limitato (ad esempio, layer di adattamento o soft prompt) mentre il modello base rimane congelato e proprietario.
   • Black-Box: Limitato allo scambio di token tramite API; nessun accesso ai parametri interni, all'architettura o alle interfacce di fine-tuning.
2. Analisi Comparativa: Gli autori valutano sistematicamente questi tipi di modelli rispetto ai tre pilastri del FL: Privacy (mantenere i dati locali), Autonomia (controllo del client su addestramento e utilizzo) e Eterogeneità (accommodare distribuzioni di dati diverse).
3. Audit di Sicurezza e Privacy: Il documento analizza la superficie di attacco e i meccanismi di difesa disponibili (ad esempio, Differential Privacy, Secure Aggregation, Omomorphic Encryption) per diversi metodi di post-training (Full Fine-Tuning, LoRA, Prompt Tuning, RLHF) attraverso le quattro categorie di modelli.
4. Framework Decisionale: Viene costruito un albero decisionale per guidare i professionisti nella selezione dei tipi di modello in base a vincoli specifici come risorse locali, requisiti di licenza e necessità di sicurezza.

Contributi Chiave
Il documento presenta cinque contributi primari:

1. Tassonomia dell'apertura: Una classificazione dettagliata dei modelli di fondazione e delle loro specifiche implicazioni per i metodi di post-training federato, evidenziando come l'apertura del modello determini le tecniche di ottimizzazione disponibili (ad esempio, il Full Fine-Tuning è impossibile con i modelli black-box).
2. Analisi Critica dei Modelli Chiusi: Una discussione rigorosa sul perché l'uso di modelli black-box e gray-box nel FL sia problematico. Gli autori dimostrano che fare affidamento su API di terze parti per il post-training reintroduce il rischio di fuga di dati (poiché gli input devono lasciare il client) e diminuisce l'autonomia del client.
3. Argomento a favore dei Modelli Open: Un argomento strutturato secondo cui i modelli open-source e open-weight si allineano meglio agli obiettivi del FL. Essi consentono l'uso di robusti meccanismi di privacy, permettono un controllo completo sul processo di addestramento e supportano una gamma più ampia di tecniche di post-training efficienti come il Parameter-Efficient Fine-Tuning (PEFT) e LoRA.
4. Analisi di Sicurezza e Privacy: Una valutazione granulare di quali attacchi (avvelenamento, inferenza di appartenenza, inversione del gradiente) siano rilevanti per specifici metodi di post-training e tipi di modello, e quali difese siano controllabili dal client in ciascuno scenario.
5. Guida Pratica alla Selezione: Un albero decisionale e le relative linee guida per aiutare ricercatori e professionisti a scegliere il tipo di modello appropriato (open vs. chiuso) in base ai propri vincoli operativi e ai requisiti di privacy.

Risultati e Conclusioni

• Compatibilità: I modelli open-source e open-weight sono pienamente compatibili con tutti i metodi di post-training (FFT, LoRA, RLHF, Prompt Tuning) e consentono il deployment locale, garantendo che i dati non lascino mai il client.
• Limitazioni dei Modelli Chiusi: I modelli black-box limitano il post-training a metodi basati su prompt (ad esempio, soft prompt, gradienti testuali) e richiedono ai client di inviare dati a un provider centrale, violando fondamentalmente il principio del "i dati restano locali" del FL. I modelli gray-box offrono una via di mezzo, ma dipendono comunque da infrastrutture gestite dal provider.
• Controllo vs. Rischio: Mentre i modelli open aumentano la superficie di attacco per il client (richiedendo ai client di implementare le proprie difese), essi garantiscono il pieno controllo su tali difese. Al contrario, i modelli chiusi riducono la superficie di attacco per il client (poiché il provider gestisce il modello base) ma rimuovono la capacità del client di verificare o controllare la sicurezza del sistema sottostante.
• Impatto delle Licenze: Le licenze restrittive (comuni nei modelli "open-weight" come Llama 3) possono ostacolare l'autonomia del client imponendo restrizioni d'uso che possono entrare in conflitto con specifici casi d'uso federati, anche se i pesi sono accessibili.

Significatività e Rivendicazioni
Il documento sostiene che l'attuale tendenza ad adottare modelli black-box per il post-training federato sia un disallineamento strategico che mina lo scopo stesso dell'apprendimento federato. Gli autori affermano che il post-training dei modelli linguistici di fondazione federati dovrebbe concentrarsi sui modelli open.

La significatività di questo lavoro risiede nel fornire una lente critica alla comunità per valutare i compromessi tra la convenienza dei modelli chiusi basati su API e le garanzie di privacy/autonomia dei modelli open. Gli autori posizionano il loro lavoro come un "toolbox" per aiutare i ricercatori a prendere decisioni informate, sostenendo che, sebbene i modelli chiusi abbiano vantaggi in contesti centralizzati (prestazioni, facilità di deployment), essi sono generalmente inadatti agli obiettivi di privacy e decentralizzazione del FL. Il documento conclude che i modelli open sono la scelta predefinita per il FL, con i modelli chiusi che rappresentano un'opzione di ripiego solo quando strettamente necessario a causa di vincoli di risorse o specifiche esigenze di licenza.