Riepilogo Tecnico: Apprendimento d'Insieme (Ensemble Learning) per i Large Language Models nella Generazione di Testo e Codice

1. Definizione del Problema

I Generative Pretrained Transformers (GPT) sono diventati fondamentali per la generazione di testo e codice. Tuttavia, i singoli Large Language Models (LLM) affrontano limitazioni significative che ne ostacolano l'affidabilità e l'applicabilità in diversi scenari del mondo reale:

• Inconsistenza e Bias: I singoli LLM spesso producono output inconsistenti ed esibiscono bias dovuti ai loro dati di addestramento e ai parametri architettonici fissi, limitando la loro capacità di rappresentare pattern linguistici diversificati.
• Limite delle Prestazioni: Studi recenti indicano che anche i migliori singoli LLM raggiungono solo circa il 57% della qualità nella generazione di chat a causa dei vincoli architettonici.
• Restrizioni dei Modelli Closed-Source: La natura proprietaria di molti potenti LLM limita l'adozione industriale a causa delle preoccupazioni per la privacy dei dati e limita la capacità di integrare modelli diversi.
• Allucinazioni: L'affidamento a un singolo modello può portare a allucinazioni e a una degradazione della qualità del testo, in particolare quando il modello manca di accesso alla conoscenza esterna.

Sebbene esistano tecniche come il Mixture-of-Experts (MoE) e criteri di addestramento migliorati, esse rimangono spesso nell'ambito delle architetture a singolo modello. È necessaria una revisione completa delle tecniche di ensemble per LLM che combinano più modelli per superare queste limitazioni del singolo modello, specificamente per la generazione di testo e codice.

2. Metodologia

Questo articolo fornisce un sondaggio e un'analisi sistematica degli emergenti approcci di ensemble per LLM. Gli autori categorizzano queste tecniche in sette metodi primari, distinguendo tra ensemble a Livello di Architettura (modifica della struttura o dei parametri del modello) e a Livello di Modello (combinazione di output o decisioni di routing senza necessariamente fondere i pesi).

A. Ensemble a Livello di Architettura

1. Fusione dei Pesi (Weight Merging): Combina i parametri di più LLM addestrati in un singolo modello.
   • Tecniche: Media semplice, Task Arithmetic (utilizzando vettori di task definiti come la differenza tra pesi fine-tuned e pre-trained), TIES (Trimming, Interpolation, and Sign-based selection) e DARE (Drop And RE-scale).
   • Obiettivo: Consolidare la conoscenza appresa diversificata senza ulteriore addestramento.
2. Fusione della Conoscenza (Knowledge Fusion): Addestra un LLM target utilizzando una distribuzione probabilistica fusa derivata da molteplici LLM sorgente.
   • Tecniche: Estende la distillazione della conoscenza definendo funzioni di fusione sulle distribuzioni di predizione a livello di token; affronta i problemi di allineamento dei token (tokenizer differenti) utilizzando la programmazione dinamica o la distanza di editing minima.
   • Obiettivo: Trasferire la conoscenza collettiva da modelli strutturalmente diversi a un modello target.
3. Mixture-of-Experts (MoE): Un'architettura transformer in cui una rete di gating instrada i token di input verso specifici sottoreti di esperti.
   • Tecniche: L'attivazione sparsa (ad esempio, selezionando i top-$n$ esperti) consente di scalare la capacità del modello senza aumenti proporzionali del costo computazionale.
   • Obiettivo: Modellare efficientemente le distribuzioni di dati multidominio.
4. Ensemble di Ricompensa (Reward Ensemble): Aggrega molteplici Modelli di Ricompensa (RM) all'interno del Reinforcement Learning from Human Feedback (RLHF).
   • Tecniche: Utilizza l'ottimizzazione della media, l'ottimizzazione del caso peggiore o l'ottimizzazione pesata sull'incertezza per combinare i punteggi di più RM.
   • Obiettivo: Mitigare il reward hacking (sovra-ottimizzazione) e migliorare l'allineamento con le preferenze umane.

B. Ensemble a Livello di Modello

5. Ensemble di Output (Output Ensemble): Combina le risposte di più LLM al momento dell'inferenza senza riaddestramento.
   • Tecniche: Votazione di maggioranza per la classificazione, o l'uso di un LLM sintetizzatore per fondere più testi generati (ad esempio, Mixture-of-Agents).
   • Obiettivo: Sfruttare i punti di forza di diversi modelli base per migliorare accuratezza e robustezza.
6. Routing: Dirige le query di input verso l'LLM più adatto da un pool basandosi su un modello di punteggio.
   • Tecniche: Utilizza classificatori (ad esempio, kNN, transformer) o funzioni di punteggio (ad esempio, BART score) per predire il miglior modello per uno specifico compito, bilanciando costo e prestazioni.
   • Obiettivo: Ottimizzare i costi di deployment mantenendo alte prestazioni.
7. Cascata (Cascading): Invoca una sequenza di LLM, partendo da un modello più debole/economico ed escalation verso modelli più forti solo se necessario.
   • Tecniche: Un decisore valuta l'output iniziale (ad esempio, tramite punteggi di accordo o controlli di coerenza) rispetto a una soglia. Se la soglia non è soddisfatta, viene invocato un modello più potente.
   • Obiettivo: Raggiungere prestazioni quasi ottimali a una frazione del costo.

C. Framework di Valutazione

L'articolo valuta questi metodi utilizzando metriche standard per la generazione di testo e codice:

• Testo: Accuratezza, Win Rate, BLEU, Punteggi di Allineamento, Valutazione Umana, MMLU, GSM8K, AlpacaEval, MT-Bench.
• Codice: Pass@k, CodeBLEU, Tempo di Esecuzione, HumanEval, MBPP.

3. Contributi Chiave e Risultati

L'articolo recensisce i lavori rappresentativi (2023–2024) per ogni categoria, evidenziando specifici guadagni di prestazione:

• Fusione dei Pesi: Metodi come DARE e TIES permettono di fondere modelli specializzati (ad esempio, modelli di matematica e codice) senza addestramento. I risultati mostrano che i modelli fusi possono superare GPT-3.5 in compiti specifici (ad esempio, ragionamento matematico in giapponese) e bilanciare le capacità tra i domini, sebbene possano ancora restare indietro rispetto a GPT-4 nella conversazione generale.
• Fusione della Conoscenza: Modelli come FusionChat (7 miliardi di parametri) sfruttano con successo la conoscenza di diverse architetture (Mixtral, Solar, OpenChat) per superare i modelli costituenti nel ragionamento e nel coding, ottenendo risultati competitivi con il closed-source GPT-3.5.
• Mixture-of-Experts: Architetture come Mixtral 8x7B e OLMOE dimostrano che l'attivazione sparsa può superare modelli densi più grandi (ad esempio, LLaMA 2 70B) in MMLU e generazione di codice (HumanEval) utilizzando significativamente meno parametri attivi.
• Ensemble di Ricompensa: Gli ensemble di ricompensa basati su LoRA migliorano i punteggi di allineamento (ad esempio, da <4.16 a 4.35 su MT-Bench) e l'accuratezza sui dataset di utilità senza aumenti proporzionali del carico computazionale.
• Ensemble di Output: L'approccio Mixture-of-Agents (MoA), che utilizza un'architettura a livelli di agenti, ha ottenuto un tasso di vittoria del 65,1% su AlpacaEval2.0 (rispetto al 57,5% di GPT-4o mini) e il 92,0% su HumanEval, superando modelli commerciali forti.
• Routing: Sistemi come Routoo e MLC Router dimostrano che il routing tra modelli open-source può raggiungere un'accuratezza del 75,87% su MMLU a meno della metà del costo di GPT-3.5, e avvicinarsi alle prestazioni di GPT-4-Turbo alla metà del costo quando si mescolano modelli closed-source.
• Cascata: Le cascate FrugalGPT e Mixture-of-Thought (MoT) riducono i costi fino all'80% mantenendo o superando leggermente l'accuratezza di GPT-4 nei compiti di classificazione e ragionamento.

4. Significato e Rivendicazioni

L'articolo afferma che le tecniche di ensemble per LLM offrono un percorso pratico per superare i limiti degli approcci a singolo modello, fornendo:

• Maggiore Diversità e Qualità: Combinando più agenti, gli ensemble migliorano la rappresentazione di pattern linguistici diversificati e riducono i bias.
• Efficienza di Costo e Risorse: Tecniche come routing, cascata e fusione dei pesi permettono output ad alte prestazioni senza l'onere computazionale di addestrare nuovi modelli massicci da zero.
• Flessibilità: Questi metodi consentono l'integrazione di modelli sia open-source che closed-source, affrontando le preoccupazioni sulla privacy e permettendo un design del sistema modulare.
• Applicabilità nel Mondo Reale: Il sondaggio fornisce una base per selezionare le strategie di ensemble appropriate per compiti specifici (ad esempio, ragionamento, generazione di codice, istruzioni) attraverso settori come medicina, finanza ed educazione.

Gli autori concludono che, sebbene rimangano delle sfide — in particolare nell'adattare questi metodi specificamente alla generazione di codice ed estenderli agli LLM multimodali — l'apprendimento di ensemble rappresenta un passo cruciale verso la democratizzazione delle capacità avanzate dell'IA e l'ottimizzazione dei processi decisionali nell'industria.