Sintesi Tecnica: DiaLLM – Un'indagine sul divario tra robustezza e generazione nell'adattamento dei dialetti inglesi

1. Definizione del Problema

I Large Language Models (LLM) hanno dimostrato una capacità crescente di comprendere l'inglese dialettale, tuttavia generano prevalentemente output in inglese standard, orientato verso il modello statunitense. Ciò crea un "divario tra robustezza e generazione": i modelli possono tollerare input dialettali (robustezza) ma falliscono nel produrre output dialettalmente appropriati (generazione). Gli approcci esistenti, come gli adattatori dialettali (es. TADA, HyperLoRA) o le adattamenti a basso rango (LoRDD), mirano principalmente alla robustezza della comprensione del linguaggio naturale (NLU) sotto input dialettali. Nessuno ha investigato sistematicamente l'adattamento dell'intera pipeline — che comprende il pre-addestramento continuo, il fine-tuning supervisionato (SFT) e l'allineamento — né ha determinato se i modelli possano realmente produrre testi con marcature dialettali. Inoltre, i benchmark attuali spesso non riescono a catturare le sfumature della generazione dialettale, concentrandosi invece sulla robustezza dell'input.

2. Metodologia

2.1 Modelli Base e Corpus

Lo studio utilizza tre famiglie di LLM open-weight che spaziano tra diverse architetture e range di parametri: Llama 3.1-8B, Qwen 3-8B e Gemma 3-4B-it.
I modelli vengono sottoposti a pre-addestramento continuo (CPT) sull'International Corpus of English (ICE), una collezione di 18 varietà di inglese (circa 20 milioni di token) che copre sia le varietà del "Cerchio Interno" (es. Regno Unito, USA) che del "Cerchio Esterno" (es. India, Nigeria). Il CPT viene eseguito utilizzando GaLore per un'ottimizzazione efficiente della memoria a parametri completi.

2.2 Paradigmi di Post-Training

Dai checkpoint del CPT, gli autori perseguono due distinti filoni di adattamento:

1. Adattamento Implicito: Applica il tipico instruction-tuning (SFT) su dati di preferenza generali (UltraFeedback) seguito da un allineamento ampio. Questo filone non mira esplicitamente a specifici dialetti durante l'SFT.
2. Adattamento Esplicito: Applica un SFT specifico per il dialetto (SFTd) utilizzando un dataset in cui le risposte preferite sono trasformate nelle varietà target (inglese australiano, indiano, del nord del Regno Unito) tramite la libreria Multi-VALUE e le caratteristiche eWAVE. Questo è seguito da un allineamento mirato alla varietà.

2.3 Strategie di Allineamento

Si confrontano tre metodi di allineamento attraverso entrambi i paradigmi:

• Direct Preference Optimisation (DPO): Un metodo offline che ottimizza direttamente dalle coppie contrastive (dialettale vs standard).
• Group Relative Policy Optimisation (GRPO): Un metodo online che genera molteplici rollout per ogni prompt e stima un baseline dalle ricompense medie del gruppo.
• Group Sequence Policy Optimisation (GSPO): Simile a GRPO, ma impiega una ricalibrazione a livello di sequenza invece di un campionamento di importanza a livello di token per evitare bias.

2.4 Formulazione della Ricompensa

Per l'allineamento online (GRPO/GSPO), viene utilizzata una funzione di ricompensa composita:
$$R = \lambda \cdot \phi_{dial}(y) + \frac{1-\lambda}{2} \cdot \phi_{comet}(y, \hat{y}) + \frac{1-\lambda}{2} \cdot \phi_{cos}(y, \hat{y})$$

• $\phi_{dial}(y)$: Una ricompensa log-sum derivata da un classificatore multi-label che rileva 135 caratteristiche morfosintattiche e lessicali dal database tipologico eWAVE.
• $\phi_{comet}$ e $\phi_{cos}$: Metriche che garantiscono la fedeltà semantica e la preservazione del significato rispetto alla risposta scelta dall'SFT.
• $\lambda$ è fissato a 0.80 per dare priorità alle caratteristiche dialettali.

2.5 Valutazione

La valutazione va oltre i benchmark standard (BBH, GPQA, GLUE, VALUE, BESSTIE) per includere:

• Metriche Automatiche: Un classificatore di varietà (DeBERTa-v3-base) per rilevare le varietà target.
• Preferenza Umana: Parlanti nativi eseguono confronti a coppie o a tre vie delle risposte.
• LLM-as-Judge: Utilizzo di Phi-4 per valutare le caratteristiche dialettali, con e senza liste esplicite di caratteristiche eWAVE nel system prompt.
• Analisi Linguistica: Un'analisi indipendente basata su regole dei marcatori superficiali (lessicali, ortografici, morfosintattici) per verificare la ricchezza dialettale senza fare affidamento sul segnale di ricompensa dell'addestramento.

3. Contributi Chiave

1. Framework DiaLLM: Un framework di adattamento dialettale a pipeline completa che fornisce un confronto controllato di CPT, SFT e tre metodi di allineamento (DPO, GRPO, GSPO) attraverso due paradigmi e tre famiglie di modelli. Tutto il codice, i checkpoint e i dataset di preferenza vengono rilasciati.
2. Divario tra Robustezza e Generazione: Lo studio stabilisce che le prestazioni nei benchmark (robustezza) sono guidate principalmente da CPT e SFT, mentre i metodi di allineamento hanno effetti marginali sui benchmark ma rimodellano visibilmente la generazione in modi che i benchmark non catturano.
3. Divario tra Ricompensa e Qualità: Il documento espone una disconnessione tra l'ottimizzazione dei segnali di ricompensa dialettale e la produzione di output dialettale di alta qualità. Il metodo che ottimizza più aggressivamente la ricompensa dialettale (GRPO) non è preferito dagli annotatori umani o dai giudici LLM, e l'analisi linguistica indipendente conferma che produce meno marcatori superficiali riconoscibili rispetto ad altri metodi.

4. Risultati Chiave

• Dissociazione di Robustezza e Generazione: I benchmark sono modellati da CPT e SFT. L'allineamento (DPO, GRPO, GSPO) produce spostamenti inconsistenti nei punteggi dei benchmark ma altera significativamente lo stile di generazione.
• Il Targeting Esplicito è Preferito: L'adattamento esplicito mirato alla varietà (SFTd + allineamento mirato alla varietà) produce output costantemente riconosciuti come dialettali e viene preferito rispetto all'allineamento ampio sia dagli umani che dai giudici LLM.
• Il Divario tra Ricompensa e Qualità:
  • GRPO ottiene la più alta densità di caratteristiche eWAVE (l'obiettivo di addestramento) in tutte le famiglie di modelli.
  • Tuttavia, GRPO è il metodo meno preferito dagli annotatori umani e dai giudici LLM.
  • L'analisi linguistica indipendente rivela che GRPO produce il minor numero di marcatori dialettali superficiali e la più bassa diversità di caratteristiche per Llama e Qwen, nonostante massimizzi la ricompensa. Ciò suggerisce che il segnale di ricompensa basato su eWAVE incoraggia una densità superficiale di caratteristiche piuttosto che un'autentica e olistica qualità dialettale.
• Sfumature Specifiche della Varietà:
  • L'inglese indiano (en-IN) e l'inglese del nord del Regno Unito (en-UK) mostrano chiare preferenze per l'adattamento esplicito.
  • L'inglese australiano (en-AU) è un'eccezione; gli annotatori non mostrano una chiara preferenza per l'SFTd rispetto alla baseline, probabilmente a causa della sottigliezza delle caratteristiche australiane e della loro flessibilità di registro, che i prompt casuali non riescono a sollecitare in modo affidabile.
• Performance dei Metodi di Allineamento: Nessun singolo metodo di allineamento domina in tutte le condizioni. DPO spesso performa meglio di GRPO in termini di qualità percepita, nonostante la minore densità di caratteristiche.

5. Significato e Rivendicazioni

Gli autori sostengono che DiaLLM fornisca un resoconto empirico critico dell'adattamento dialettale, sfidando l'assunto che massimizzare un segnale di ricompensa dialettale equivalga a generare un testo dialettale autentico.

• Limiti dei Benchmark: Il paper sostiene che affidarsi esclusivamente ai benchmark standard fornisce un quadro incompleto e potenzialmente fuorviante dell'adattamento dialettale, poiché essi non riescono a catturare i cambiamenti qualitativi nella generazione causati dall'allineamento.
• Design della Ricompensa: Le scoperte evidenziano un limite specifico nell'uso di inventari di caratteristiche tipologiche (come eWAVE) come segnali di ricompensa per l'addestramento generativo. Tali inventari documentano le caratteristiche attestate ma non tengono conto del condizionamento pragmatico, del registro o della qualità percettiva del dialetto, portando a un "divario tra ricompensa e qualità".
• Direzioni Future: Il lavoro suggerisce che colmare il divario dialettale richiede design di ricompensa più ricchi che vadano oltre la semplice densità di caratteristiche e un investimento continuo nelle risorse dialettali. Posiziona DiaLLM non come una soluzione definitiva, ma come un passo fondamentale per comprendere gli attuali limiti dell'adattamento dialettale e le sfide specifiche nel generare varietà di inglese non standard autentiche.

Gli autori sottolineano che il loro obiettivo non era stabilire una singola "ricetta vincente", ma dimostrare empiricamente come i diversi componenti della pipeline contribuiscano all'adattamento dialettale e dove gli attuali metodi di allineamento falliscano.