Riepilogo Tecnico: Typhoon-S: Post-Training Minimo Aperto per Modelli Linguistici di Grandi Dimensioni Sovrani

1. Definizione del Problema

Lo sviluppo di modelli linguistici di grandi dimensioni (LLM) all'avanguardia è attualmente concentrato in un piccolo numero di organizzazioni dotate di enormi risorse computazionali e accesso a dataset linguistici su larga scala ad alta risorsa (principalmente inglese e cinese). Ciò crea una barriera di "gatekeeping delle risorse" per gli scenari sovrani — contesti in cui istituzioni nazionali o regionali devono mantenere il pieno controllo sui pesi del modello, sui dati di addestramento e sulle metodologie, operando al contempo sotto rigorosi vincoli di trasparenza e budget computazionali limitati.

Gli esistenti modelli base adattati per scopi sovrani mostrano spesso una forte conoscenza regionale, ma restano significativamente indietro in termini di istruzioni generali, uso di strumenti e comportamenti agentici. La ricetta standard di post-training per colmare questo divario — ovvero scalare massicci corpora di istruzioni generaliste e pipeline complesse di Reinforcement Fine-Tuning (RFT) — è spesso inaccessibile a piccoli gruppi di ricerca o iniziative nazionali a causa della complessità ingegneristica e dei requisiti di dati.

Il documento identifica due requisiti fondamentali per gli LLM sovrani:

1. Adottabilità: La capacità di trasformare un modello base in un assistente general-purpose capace di seguire istruzioni, risolvere problemi matematici, generare codice e utilizzare strumenti.
2. Capacità Sovrana: La capacità di eseguire compiti specifici per la regione ad alto rischio (ad esempio, ragionamento legale locale, conoscenza culturale) che sono sottorappresentati nei dati di pre-training generalisti.

La domanda centrale di ricerca è: Quale strategia di post-training può abilitare prestazioni competitive con i modelli frontier sotto vincoli di risorse di livello accademico?

2. Metodologia

Gli autori propongono Typhoon S, una ricetta di post-training minima e aperta progettata per affrontare i requisiti sopra citati, utilizzando il tailandese come caso di studio rappresentativo. L'approccio è diviso in due pipeline distinte.

2.1 Pipeline per l'Adottabilità (SFT + OPD)

Per trasformare i modelli base in assistenti istruiti, gli autori utilizzano una pipeline a due stadi:

1. Supervised Fine-Tuning (SFT):
   • Dati: Un corpus unificato che combina dati di istruzione open-source in inglese (Tulu 3, Toucan Tool) con un dataset dedicato in tailandese. Il dataset in tailandese è costruito tramite "AutoIF", traducendo prompt di utenti reali (WildChat) e aggregando istruzioni tailandesi esistenti, aumentate con la traduzione e l'inserimento casuale di vincoli per migliorare la robustezza nel code-switching.
   • Obiettivo: Dotare il modello base di capacità basilari di seguimento delle istruzioni e uso di strumenti.
2. On-Policy Distillation (OPD):
   • Meccanismo: Dopo l'SFT, il modello subisce una Generalized Knowledge Distillation (GKD). A differenza della distillazione offline, l'OPD utilizza il modello studente per generare traiettorie (dati on-policy) che vengono poi corrette da un modello insegnante.
   • Implementazione: Gli autori implementano un framework leggero utilizzando HuggingFace Transformers e TRL per abilitare la distillazione full-logits su hardware limitato (4–8 GPU H100) tramite lo scambio dinamico dei modelli e l'offloading sulla CPU.
   • Obiettivo: Minimizzare la divergenza tra le distribuzioni di token dello studente e dell'insegnante per ridurre il mismatch tra addestramento e inferenza e migliorare la generalizzazione.

2.2 Pipeline per la Capacità Sovrana (InK-GRPO)

Per potenziare il ragionamento specifico del dominio e l'iniezione di conoscenza, gli autori introducono Injected Knowledge GRPO (InK-GRPO), un'estensione dell'algoritmo Group Relative Policy Optimization (GRPO).

• La Sfida: Il RFT standard amplifica la conoscenza esistente ma fatica a iniettare nuovi fatti specifici del dominio o a supportare comportamenti agentici complessi.
• La Soluzione (InK-GRPO): L'obiettivo di addestramento è aumentato con una perdita di entropia incrociata (CE loss) stocastica calcolata su un corpus di testo separato in-domain (dati in stile pre-training).
  • Formula: $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$, dove $b \sim \text{Bernoulli}(\rho)$.
  • Meccanismo: Questo permette al modello di alternare l'ottimizzazione focalizzata sul compito (GRPO) e l'acquisizione di conoscenza del dominio (CE loss) all'interno dello stesso step di addestramento.
• RFT Agentico: Il framework è esteso a un contesto agentico in cui il modello interagisce con un ambiente di Generazione Aumentata dalla Ricerca (RAG) utilizzando strumenti di search (ricerca) e read (lettura). Il modello impara a intercalare il ragionamento con le chiamate agli strumenti per risolvere problemi multi-step.

3. Contributi Chiave

1. Definizione dei Requisiti Sovrani: Il documento formalizza le duplici necessità di adottabilità (capacità di assistente generale) e capacità sovrana (compiti specifici regionali ad alto rischio) per contesti con risorse limitate.
2. Ricetta di Adottabilità Minima: Una pipeline validata che combina SFT leggero e On-Policy Distillation (OPD) che trasforma i modelli base adattati per la sovranità in competitivi assistenti istruiti senza una scala massiccia.
3. InK-GRPO: Un nuovo algoritmo che aumenta GRPO con la predizione del next-token stocastica su dati in-domain. Ciò consente l'ottimizzazione simultanea delle prestazioni del compito e l'iniezione di nuova conoscenza di dominio, affrontando una limitazione chiave del RFT standard.
4. Estensione RFT Agentica: Dimostrare che InK-GRPO può essere applicato efficacemente a scenari di ragionamento agentico multi-turno con l'uso di strumenti esterni.

4. Risultati

Gli esperimenti sono stati condotti utilizzando il tailandese come caso di test primario, utilizzando modelli che vanno da 4B a 8B parametri addestrati su 4–8 GPU H100.

Risultati di Adottabilità

• SFT vs. SFT+OPD: È stato riscontrato che l'SFT da solo è insufficiente per una prestazione robusta, particolarmente nel code-switching e nell'uso di strumenti. L'aggiunta di OPD ha migliorato il punteggio medio dei benchmark di +6,49 punti e ha migliorato significativamente la robustezza nei compiti di code-switching in tailandese.
• Full-Logits vs. Top-K: La distillazione full-logits ha fornito una robustezza superiore nella generazione open-ended e nel code-switching multilingue rispetto alla distillazione Top-K, sebbene la Top-K fosse sufficiente per compiti vincolati.
• Adattamento del Modello Base: La ricetta ha trasformato con successo il modello base adattato per la sovranità ThaiLLM-8B in Typhoon-S-8B Instruct. Questo modello ha superato il modello general-purpose Qwen3-8B nei benchmark rigorosi in tailandese (Chat, Code-Switching, OpenThaiEval) mantenendo al contempo prestazioni competitive nei compiti generali in inglese.

Risultati della Capacità Sovrana

• Efficacia di InK-GRPO: Su NitiBench (ragionamento legale tailandese), InK-GRPO ha raggiunto un'accuratezza del 19,30% rispetto al 15,82% del GRPO standard. Su MIRAGE-Bench, ha mostrato guadagni consistenti.
• Fonte dei Dati: Il testo in-domain in stile pre-training è risultato più efficace per la componente della CE loss rispetto ai dati di istruzione in stile SFT, probabilmente perché evita di sovra-vincolare la policy.
• Prestazioni Agentiche: In un setup RAG agentico multi-turno, Typhoon-S-4B Legal Agent (addestrato con Agentic InK-GRPO) ha raggiunto un'accuratezza del 78,02% su NitiBench, superando sia l'addestramento solo con GRPO (73,73%) sia GPT-5 con setup agentici comparabili (75,34%).
• Ritenzione della Capacità Generale: Fondamentalmente, i modelli addestrati con InK-GRPO non hanno mostrato segni di grave dimenticanza catastrofica (catastrophic forgetting). I punteggi di capacità generale sono rimasti stabili (entro un intervallo ristretto del 48,08%–4,955%) attraverso tutti i benchmark, indicando che la specializzazione del dominio non ha degradato il ragionamento o la conoscenza generale.

5. Significato e Rivendicazioni

Il documento sostiene che una progettazione attenta del post-training, piuttosto che la pura scala, è la chiave per gli LLM sovrani pratici.

• Efficienza delle Risorse: Le ricette proposte ottengono risultati di alta qualità con risorse di scala accademica (circa due giorni di addestramento su 8 GPU per l'adottabilità e un giorno di addestramento su 4 GPU per la capacità sovrana).
• Trasparenza e Controllo: Basandosi su dataset aperti e pipeline minime e trasparenti, Typhoon S fornisce una via percorribile per le istituzioni nazionali per sviluppare modelli che controllano pienamente, comprendono e possono adattare ai contesti culturali e legali locali.
• Generalizzabilità: Sebbene lo studio si concentri sul tailandese, gli autori affermano che la metodologia non è legata al dataset specifico ed è generalizzabile ad altre lingue e contesti culturali.

Gli autori concludono che il loro approccio offre un "percorso pratico verso LLM sovrani di alta qualità", dimostrando che pipeline complesse e pesanti in termini di risorse non sono strettamente necessarie per raggiungere prestazioni competitive sia in domini generali che specifici della regione.