Riepilogo Tecnico: FPMoE – Un Approccio a Miscela di Esperti Sparsi per la Generazione di Codice Funzionale

1. Enunciato del Problema

Nonostante i rapidi progressi nei Modelli Linguistici su Larga Scala (LLM) per la generazione di codice, i linguaggi di programmazione funzionale (FPL) come Haskell, OCaml e Scala rimangono cronicamente poco esplorati. I modelli all'avanguardia esistenti performano significativamente peggio sugli FPL rispetto ai linguaggi imperativi come Java, generando spesso codice che è funzionalmente corretto ma viola lo stile funzionale idiomatico (ad esempio, non utilizzando le monadi o la trasparenza referenziale).

Il documento identifica uno squilibrio strutturale nei dati: la comunità degli sviluppatori FPL è piccola e produce ordini di grandezza di codice open-source inferiori rispetto ai linguaggi mainstream. Di conseguenza, scalare i dati di pre-addestramento da soli non è sufficiente a colmare il divario prestazionale.

Gli autori investigano il fine-tuning come rimedio, ma riscontrano due modalità di fallimento distinte negli approcci standard:

1. Fine-tuning per linguaggio: Addestrare modelli separati per ciascun linguaggio non riesce a catturare le astrazioni funzionali condivise (ad esempio, il ragionamento monadico) che si generalizzano tra i linguaggi.
2. Fine-tuning multilingua: Addestrare un unico modello denso su una miscela di linguaggi introduce interferenze cross-linguistiche, degradando le prestazioni sui singoli linguaggi (in particolare OCaml).

La sfida principale è preservare simultaneamente la specializzazione specifica del linguaggio e la generalizzazione condivisa cross-linguistica.

2. Metodologia

Gli autori propongono FPMoE, un modello leggero e open-source per la generazione di codice basato su un'architettura a Miscela di Esperti (MoE) sparsa. La pipeline di addestramento consta di tre fasi:

2.1 Raccolta e Pre-processing dei Dati

• Corpora: I dati sono tratti dal crawl GitHub di CodeParrot e dal Corpus OCaml, filtrati per i repository Haskell, Scala e OCaml.
• Filtraggio: I file con lunghezze di riga eccessive (codice generato automaticamente/minificato) vengono scartati.
• Deduplicazione: Eseguita a livello di repository per mantenere l'integrità strutturale.
• Decontaminazione: Il filtraggio N-gramma esclude i dati di addestramento contenenti sottostringhe trovate nel set di test FPEval.
• Costruzione delle Sequenze: Le sequenze di addestramento sono costruite a livello di repository (concatenando tutti i file sorgente in un repo) piuttosto che a livello di file, per preservare le dipendenze intra-repository e il contesto a lungo raggio.

2.2 Pre-addestramento degli Esperti

Due run paralleli di fine-tuning supervisionato (SFT) vengono eseguiti su un modello base:

1. SFT specifico per linguaggio: Il modello base viene affinato indipendentemente su ciascuno dei tre corpora linguistici, creando tre checkpoint specializzati.
2. SFT multilingua: Una istanza separata viene affinata sull'unione di tutti e tre i corpora. Questo serve sia come baseline densa sia come inizializzazione per l'esperto condiviso.

2.3 Fine-tuning Congiunto MoE

Il modello finale è assemblato sostituendo i sottolivelli Feed-Forward Network (FFN) del backbone transformer con un blocco MoE-FFN specializzato:

• Esperti Instradati: Tre esperti ($E_1, E_2, E_3$) sono inizializzati dai checkpoint specifici per linguaggio. Un router leggero utilizza la selezione Top-K (K=2) per instradare i token all'esperto linguistico appropriato.
• Esperto Condiviso: Un quarto esperto ($E_{shared}$) è sempre attivo, indipendentemente dalla decisione di instradamento. È inizializzato dal checkpoint multilingua per codificare pattern funzionali cross-linguistici (ad esempio, programmazione guidata dai tipi).
• Obiettivo di Addestramento: Il modello assemblato viene addestrato congiuntamente sul corpus combinato utilizzando un obiettivo di modellazione linguistica causale, potenziato da una perdita ausiliaria di bilanciamento del carico per prevenire il collasso dell'instradamento.

3. Contributi Chiave

1. Analisi del Problema: Una dimostrazione empirica che le strategie standard di fine-tuning (per linguaggio vs. multilingua) mostrano modalità di fallimento complementari che non possono essere risolte simultaneamente da modelli densi.
2. Architettura del Modello (FPMoE): L'introduzione di un'architettura MoE sparsa che incorpora esplicitamente l'identità linguistica come bias induttivo per l'instradamento. A differenza degli approcci MoE guidati dai dati precedenti (ad esempio, Mixtral, DeepSeekMoE), FPMoE inizializza gli esperti instradati con conoscenze specifiche per linguaggio e impiega un esperto condiviso dedicato e sempre attivo per catturare astrazioni cross-linguistiche.
3. Valutazione e Analisi: Oltre alla correttezza funzionale, gli autori valutano la FPViolation (aderenza allo stile idiomatico). Forniscono uno studio di ablazione controllato che scompone i guadagni dell'architettura nelle contribuzioni dell'instradamento allineato al linguaggio e dell'esperto condiviso.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark FPEval (721 task su Haskell, OCaml e Scala).

• Prestazioni vs. Baseline Densi: FPMoE supera sostanzialmente le baseline affinate dense.
  • Il FPMoE-Qwen2.5-4x1.5B-A3B (3B parametri attivi) ottiene punteggi Pass@1 del 7,37% (Haskell), 6,8% (OCaml) e 13,31% (Scala). Ciò rappresenta un miglioramento da 5 a 11 volte rispetto alla controparte densa da 1,5B.
  • Il FPMoE-Qwen2.5-4x3B-A6B (6B parametri attivi) ottiene 11,00% (Haskell), 12,34% (OCaml) e 21,08% (Scala).
• Efficienza dei Parametri: Il modello FPMoE con 6B parametri attivi eguaglia o supera modelli densi molto più grandi, inclusi DeepSeek-Coder-6.7B e Qwen2.5-Coder-14B, attivando meno della metà dei loro parametri. Supera anche GPT-3.5 su OCaml e Scala.
• Idiomaticità: FPMoE dimostra un migliore equilibrio tra correttezza e aderenza allo stile funzionale (tassi di FPViolation più bassi) rispetto ai modelli all'avanguardia più grandi, che spesso generano codice in stile imperativo che passa i test ma viola i principi funzionali.

Risultati dello Studio di Ablazione

• Inizializzazione dell'Esperto Condiviso: Inizializzare l'esperto condiviso da un corpus multilingua (Config A) è critico. L'inizializzazione da un modello base generale (Config B) o il suo congelamento (Config C) risultano in cali di prestazioni, talvolta inferiori alle baseline dense.
• Necessità dell'Esperto Condiviso: Rimuovere l'esperto condiviso (Config D) riduce le prestazioni, confermando il suo ruolo nella cattura di astrazioni cross-linguistiche.
• Instradamento Allineato al Linguaggio: Rimuovere il warm-up specifico per linguaggio (Config E) causa un calo significativo delle prestazioni, in particolare su OCaml, dimostrando che il router non può scoprire la specializzazione puramente dai dati senza il bias induttivo.

5. Significato e Affermazioni

Il documento afferma che la specializzazione architetturale mirata offre una via più principiale alla generazione di codice funzionale rispetto alla scalatura brutale dei dati. Gli autori sostengono che:

• L'ecosistema dei dati FPL è strutturalmente piccolo e improbabile che cresca abbastanza velocemente da supportare da solo un pre-addestramento massiccio.
• I modelli all'avanguardia addestrati su corpora più grandi mostrano ancora alti tassi di violazioni idiomatiche, suggerendo che la scalatura dei dati da sola non risolve il problema.
• La progettazione di FPMoE utilizza efficacemente i token FPL disponibili separando la sintassi specifica per linguaggio (tramite esperti instradati) dalla logica funzionale condivisa (tramite l'esperto condiviso).

Gli autori posizionano FPMoE come un passo verso l'abbassamento della barriera all'ingresso per la programmazione funzionale, sebbene riconoscano limitazioni come l'insieme fisso di linguaggi supportati, potenziali problemi di footprint di memoria durante l'inferenza e la recente data dei dati di addestramento.