💬 NLP

Typhoon-S: Minimal Open Post-Training for Sovereign Large Language Models

Het artikel introduceert Typhoon S, een minimaal en open post-training recept dat supervised fine-tuning, on-policy distillatie en kleinschalige RFT met InK-GRPO combineert om aan te tonen dat hoogwaardige, soevereine grote taalmodellen die in staat zijn tot regio-specifieke taken zoals Thaise juridische redenering, kunnen worden ontwikkeld met academische schaal middelen zonder afhankelijk te zijn van massale instructie corpora of complexe reinforcement learning pipelines.

Oorspronkelijke auteurs: Kunat Pipatanakul, Pittawat Taveekitworachai

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kunat Pipatanakul, Pittawat Taveekitworachai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, wereldklasse student hebt (een Large Language Model) die perfect Engels en Chinees spreekt, maar worstelt met het lokale dialect, de cultuur en de wetten van een specifiek land. Normaal gesproken lossen grote technologiebedrijven dit op door enorme hoeveelheden geld, supercomputers en eindeloze hoeveelheden data in het probleem te gooien. Maar wat als een kleiner team, zoals een universiteit of een nationale overheid, zijn eigen "soevereine" AI wil creëren die de lokale context begrijpt zonder een miljardenbudget nodig te hebben?

Dit artikel introduceert Typhoon-S, een "minimalistisch recept" om deze AI-modellen zowel behulpzame algemene assistenten als experts te maken in lokale, cruciale taken (zoals het Thaise recht), met zeer beperkte middelen.

Zo hebben ze het gedaan, onderverdeeld in twee hoofddelen:

Deel 1: De AI "Aanvaardbaar" Maken (De Algemene Assistent)

Het Doel: Een ruw, slim basismodel transformeren naar een beleefde, behulpzame assistent die instructies kan opvolgen, code kan schrijven en natuurlijk kan chatten in de lokale taal.

Het Probleem: Als je een model alleen nieuwe instructies leert (Supervised Fine-Tuning of SFT), wordt het vaak "broos". Het is als een student die de antwoorden uit het tekstboek heeft uit het hoofd geleerd, maar in paniek raakt wanneer de leraar een iets andere vraag stelt of de taal door elkaar haalt.

De Oplossing: De "Shadowing"-techniek (On-Policy Distillation)
De auteurs gebruikten een tweestaps-proces:

De Les (SFT): Eerst gaven ze het model een kleine, hoogwaardige mix van Engelse en Thaise instructiedata. Dit was als een crashcursus voor de student.
Het Schaduwen (OPD): In plaats van alleen de antwoorden te memoriseren, werd het model gevraagd om zijn eigen antwoorden te genereren, waarbij een "leraar"-model (een veel slimmer AI-model) toekeek en in realtime corrigeerde.
- Analogie: Stel je een muziekstudent voor die een liedje speelt. In de oude methode luisterde de student gewoon naar een opname en probeerde die te kopiëren. In deze nieuwe methode speelt de student, en zit er een meester-muzikant naast die tijdens het spelen correcties fluistert. Dit helpt de student om te leren hoe hij moet herstellen van zijn eigen fouten, wat hem veel robuuster en flexibeler maakt.

Het Resultaat: Ze bereikten dit met slechts enkele dagen training op een kleine GPU-cluster (ongeveer de omvang van een universiteitslab). Het resulterende model, Typhoon-S-8B, werd een sterke algemene assistent die kon chatten, coderen en vloeiend tussen Engels en Thais kon schakelen, waarmee het grotere modellen evenaarde.

Deel 2: De AI "Soevereine Capaciteiten" Geven (De Lokale Expert)

Het Doel: Het model leren om complexe, cruciale lokale taken aan te pakken, specifweg Thaise juridische redenering, waarbij het de lokale wetten moet begrijpen en hulpmiddelen (tools) moet gebruiken om antwoorden te vinden.

Het Probleem: Standaard AI-training versterkt vaak alleen wat het model al weet. Als het model een specifieke Thaise wet niet kent, zal standaard training die nieuwe feit niet magisch aanleren. Ook leert standaard training de AI niet hoe hij hulpmiddelen (zoals een zoekmachine) moet gebruiken om informatie te vinden.

De Oplossing: De "Dual-Brain" Training (InK-GRPO)
De auteurs hebben een nieuwe trainingsmethode uitgevonden genaamd Injected Knowledge GRPO (InK-GRPO).

Het Breinspel: Stel je voor dat de AI een spel speelt waarbij hij een juridische puzzel moet oplossen.
- Brein A (De Speler): Het probeert de puzzel op te lossen met behulp van een beloningssysteem (zoals een score in een videogame) om beter te worden in redeneren.
- Brein B (De Lezer): Terwijl Brein A het spel speelt, leest Brein B stilletjes een stapel Thaise juridische documenten.
- De Magie: Het systeem schakelt willekeurig tussen deze twee modi. Soms speelt de AI het spel; soms leest hij de documenten. Hierdoor kan de AI nieuwe feiten (de wetten) leren, terwijl hij tegelijkertijd leert hoe hij die gebruikt om problemen op te lossen.

De Tool Gebruiker (Agentic RFT):
Ze hebben de AI ook geleerd om hulpmiddelen te gebruiken.

Analogie: In plaats van te proberen elke wet ter wereld uit het hoofd te leren, leert de AI om te zeggen: "Ik weet die specifieke wet niet, laat me de database doorzoeken," het document te lezen, en dan pas te antwoorden.
Ze trainden de AI om dit in een lus te doen: Denken -> Zoeken -> Lezen -> Denken -> Antwoorden.

Het Resultaat: De Typhoon-S-4B Legal Agent werd ongelooflijk goed in Thaise juridische redenering. Verrassend genoeg presteerde dit kleine model met 4 miljard parameters, getraind met deze specifieke methode, zelfs beter dan een veel groter, beroemd model (GPT-5) wanneer beiden dezelfde hulpmiddelen kregen om naar antwoorden te zoeken.

De Grote Lijn

Het artikel bewijst dat je geen enorme supercomputer nodig hebt om een krachtige, soevereine AI te bouren.

Voor Algemeen Gebruik: Een eenvoudige mix van "lessen" en "schaduwen" (SFT + OPD) is voldoende om een model slim en behulpzaam te maken.
Voor Lokale Expertise: Een slimme mix van "spelletjes spelen" en "tekstboeken lezen" (InK-GRPO) stelt een klein model in staat om nieuwe lokale feiten te leren en hulpmiddelen effectief te gebruiken.

De Kosten: Ze hebben dit alles gedaan met middelen die beschikbaar zijn voor een typisch universiteitslab (enkele dagen training op 4 tot 8 high-end GPU's), wat bewijst dat slim ontwerp belangrijker is dan brute kracht van schaal voor het creëren van soevereine, gelokaliseerde AI.

Technische Samenvatting: Typhoon-S: Minimale Open Post-Training voor Soevereine Large Language Models

1. Probleemstelling

De ontwikkeling van state-of-the-art Large Language Models (LLM's) is momenteel geconcentreerd bij een klein aantal organisaties die beschikken over enorme rekenkracht en toegang tot grootschalige, hoogwaardige taaldatasets (voornamelijk Engels en Chinees). Dit creëert een barrière van "resource gatekeeping" voor soevereine settings—scenario's waarin nationale of regionale instituten de volledige controle moeten behouden over modelgewichten, trainingsdata en methodologieën, terwijl ze opereren onder strikte transparantiebeperkingen en beperkte computationele budgetten.

Bestaande soeverein-aangepaste basismodellen vertonen vaak sterke regionale kennis, maar blijven aanzienlijk achter op het gebied van algemene instructie-opvolging, toolgebruik en agentische gedragingen. Het standaard post-training recept om deze kloof te overbruggen—het opschalen van massale algemene instructie-corpora en complexe Reinforcement Fine-Tuning (RFT) pipelines—is vaak ontoegankelijk voor kleinere onderzoeksgroepen of nationale initiatieven vanwege de technische complexiteit en datavereisten.

Het paper identificeert twee kerneisen voor soevereine LLM's:

Adoptiviteit: Het vermogen om een basismodel te transformeren tot een algemene assistent die in staat is tot instructie-opvolging, wiskunde, codegeneratie en toolgebruik.
Soevereine Capaciteit: Het vermogen om hoogwaardige, regio-specifieke taken uit te voeren (bijv. lokale juridische redenering, culturele kennis) die ondervertegenwoordigd zijn in algemene pretraining-data.

De centrale onderzoeksvraag is: Welke post-training strategie kan competitieve prestaties mogelijk maken met de prestaties van frontier-modellen onder academische niveau resource-beperkingen?

2. Methodologie

De auteurs stellen Typhoon S voor, een minimaal en open post-training recept dat ontworpen is om bovenstaande eisen aan te pakken, waarbij Thais als een representatieve casestudy wordt gebruikt. De aanpak is verdeeld in twee afzonderlijke pipelines.

2.1 Pipeline voor Adoptiviteit (SFT + OPD)

Om basismodellen te transformeren naar instructie-getunede assistenten, maken de auteurs gebruik van een tweefasige pipeline:

Supervised Fine-Tuning (SFT):
- Data: Een verenigde corpus die open-source Engelse instructie-data (Tulu 3, Toucan Tool) combineert met een specifieke Thaise dataset. De Thaise dataset is geconstrueerd via "AutoIF", door real-user prompts (WildChat) te vertalen en bestaande Thaise instructies te aggregeren, aangevuld met willekeurige constraint-translatie en plaatsing om de robuustheid bij code-switching te verbeteren.
- Doel: Het basismodel uitrusten met basisvaardigheden voor instructie-opvolging en toolgebruik.
On-Policy Distillation (OPD):
- Mechanisme: Na SFT ondergaat het model Generalized Knowledge Distillation (GKD). In tegenstelling tot offline distillatie gebruikt OPD het student-model om trajecten te genereren (on-policy data) die vervolgens worden gecorrigeerd door een teacher-model.
- Implementatie: De auteurs implementeren een lichtgewicht framework met behulp van HuggingFace Transformers en TRL om full-logits distillatie mogelijk te maken op beperkte hardware (4–8 H100 GPU's) via dynamische model-swapping en CPU-offloading.
- Objectief: De divergentie tussen de student- en teacher-tokenverdelingen minimaliseren om de mismatch tussen training en inferentie te verminderen en de generalisatie te verbeteren.

2.2 Pipeline voor Soevereine Capaciteit (InK-GRPO)

Om domein-specifieke redenering en kennisinjectie te verbeteren, introduceren de auteurs Injected Knowledge GRPO (InK-GRPO), een uitbreiding van het Group Relative Policy Optimization (GRPO) algoritme.

De Uitdaging: Standaard RFT versterkt bestaande kennis, maar heeft moeite met het injecteren van nieuwe domein-specifieke feiten of het ondersteunen van complexe agentische gedragingen.
De Oplossing (InK-GRPO): De trainingsdoelstelling wordt uitgebreid met een stochastische cross-entropy (CE) loss, berekend op een aparte in-domain tekstcorpus (pretraining-stijl data).
- Formule: $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$ , waarbij $b \sim \text{Bernoulli}(\rho)$ .
- Mechanisme: Dit stelt het model in staat om te alterneren tussen taak-gerichte optimalisatie (GRPO) en domeinkennisverwerving (CE loss) binnen dezelfde trainingsstap.
Agentic RFT: Het framework wordt uitgebreid naar een agentische setting waarbij het model interacteert met een Retrieval-Augmented Generation (RAG) omgeving met behulp van search en read tools. Het model leert om redenering af te wisselen met tool-aanroepen om meerstaps-problemen op te lossen.

3. Belangrijkste Bijdragen

Definitie van Soevereine Vereisten: Het paper formaliseert de dubbele behoeften van adoptiviteit (algemene assistent-capaciteiten) en soevereine capaciteit (regio-specifieke hoogwaardige taken) voor resource-beperkte settings.
Minimaal Adoptiviteits-recept: Een gevalideerde pipeline die lichtgewicht SFT en On-Policy Distillation (OPD) combineert, wat soeverein-aangepaste basismodellen transformeert tot competitieve instructie-getunede assistenten zonder massale schaal.
InK-GRPO: Een nieuw algoritme dat GRPO aanvult met stochastische next-token voorspelling op in-domain data. Dit maakt gelijktijdige optimalisatie van taakprestaties en de injectie van nieuwe domeinkennis mogelijk, wat een belangrijke beperking van standaard RFT aanpakt.
Agentic RFT Extensie: Het demonstreren dat InK-GRPO effectief kan worden toegepast op multi-turn agentische redeneringsscenario's met extern toolgebruik.

4. Resultaten

De experimenten werden uitgevoerd met behulp van het Thais als primaire testcase, waarbij modellen variërend van 4B tot 8B parameters werden getraind op 4–8 H100 GPU's.

Adoptiviteitsresultaten

SFT vs. SFT+OPD: SFT alleen bleek onvoldoende voor robuuste prestaties, met name bij code-switching en toolgebruik. Het toevoegen van OPD verbeterde de gemiddelde benchmarkscore met +6,49 punten en verbeterde de robuustheid in Thaise code-switching taken aanzienlijk.
Full-Logits vs. Top-K: Full-logits distillatie bood superieure robuustheid in open-ended generatie en meertalige code-switching vergeleken met Top-K distillatie, hoewel Top-K voldoende was voor geconstreinde taken.
Base Model Adaptatie: Het recept transformeerde succesvol het soeverein-aangepaste basismodel ThaiLLM-8B naar Typhoon-S-8B Instruct. Dit model overtrof het algemene Qwen3-8B op strikte Thaise benchmarks (Chat, Code-Switching, OpenThaiEval), terwijl het competitieve prestaties behield op algemene Engelse taken.

Soevereine Capaciteitsresultaten

InK-GRPO Effectiviteit: Op NitiBench (Thaise juridische redenering) behaalde InK-GRPO een nauwkeurigheid van 19,30% vergeleken met 15,82% voor standaard GRPO. Op MIRAGE-Bench liet het ook consistente winsten zien.
Data Bron: Pretraining-stijl in-domain tekst bleek effectiever voor de CE loss component dan SFT-stijl instructie-data, waarschijnlijk omdat het voorkomt dat de policy te veel wordt beperkt.
Agentische Prestaties: In een multi-turn agentische RAG-setup behaalde de Typhoon-S-4B Legal Agent (getraind met Agentic InK-GRPO) een nauwkeurigheid van 78,02% op NitiBench, waarmee het zowel GRPO-only training (73,73%) als GPT-5 met vergelijkbare agentische setups (75,34%) versloeg.
Behoud van Algemene Capaciteit: Cruciaal is dat modellen getraind met InK-GRPO geen bewijs van ernstige catastrofale vergetelheid (catastrophic forgetting) vertoonden. Algemene capaciteitsscores bleven stabiel (binnen een smalle range van 48,08%–49,55%) over alle benchmarks, wat aangeeft dat domeinspecialisatie de algemene redenering of kennis niet heeft gedegradeerd.

5. Betekenis en Claims

Het paper betoogt dat zorgvuldige post-training design, in plaats van loutere schaal, de sleutel is tot praktische soevereine LLM's.

Resource Efficiëntie: De voorgestelde recepten bereiken hoogwaardige resultaten met academische-schaal resources (ongeveer twee dagen 8-GPU training voor adoptiviteit en één dag 4-GPU training voor soevereine capaciteit).
Transparantie en Controle: Door te vertrouwen op open datasets en transparante, minimale pipelines, biedt Typhoon S een levensvatbaar pad voor nationale instituten om modellen te ontwikkelen waar zij volledige controle over hebben, die zij begrijpen en die zij kunnen aanpassen aan lokale culturele en juridische contexten.
Generaliseerbaarheid: Hoewel de studie zich richt op het Thais, beweren de auteurs dat de methodologie niet gebonden is aan de specifieke dataset en generaliseerbaar is naar andere talen en culturele contexten.

De auteurs concluderen dat hun aanpak een "praktisch pad biedt naar hoogwaardige soevereine LLM's", en daarmee aantonen dat complexe, resource-zware pipelines niet strikt noodzakelijk zijn om competitieve prestaties te behalen in zowel algemene als regio-specifieke domeinen.