Bridging the Reasoning Gap in Vietnamese with Small Language Models via Test-Time Scaling

Titel: Het Overbruggen van de Redeneringskloof in het Vietnamees met Kleine Taalmodellen via Test-Time Scaling

1. Het Probleem

De democratisering van AI vereist geavanceerde redeneervermogen op apparaten met beperkte resources (edge devices), wat leidt tot de focus op Kleine Taalmodellen (SLMs) (minder dan 2 miljard parameters). Hoewel deze modellen vaak vloeiend taalgebruik en grammatica beheersen, kampen ze met een aanzienlijke "redeneringskloof", vooral in niet-Engelse talen zoals het Vietnamees.

• Specifieke uitdagingen: SLMs worstelen met multi-stap logische deductie, symbolische manipulatie en rekenkundige consistentie. In de context van Vietnamees wiskundeproblemen (elementair onderwijs) manifesteren zich dit als hallucinaties in tussenstappen of fouten die de hele oplossing ondermijnen.
• Taalbarrières: Het Vietnamees heeft unieke uitdagingen zoals complexe voornaamwoorden, toonafhankelijke semantiek en specifieke wiskundeterminologie (bijv. het gebruik van komma's als decimaalteken).
• Doel: Onderzoeken of "Test-Time Scaling" (meer tokens genereren om langer na te denken) en gerichte fine-tuning de redeneercapaciteiten van een 1,7B-parametermodel (Qwen3-1.7B) in het Vietnamees kunnen verbeteren.

2. Methodologie

Het onderzoek combineert geavanceerde datasetconstructie, fine-tuning en een uitgebreide evaluatie van prompt-strategieën.

• Model Architectuur: De studie gebruikt Qwen3-1.7B, een dense Transformer met 28 lagen en Grouped Query Attention (GQA), getraind op een enorme corpus van 36 biljoen tokens.
• Dataset Constructie (Vi-S1K):
  • In plaats van directe vertaling, werd een Gemini 2.5 Flash-Lite pipeline gebruikt om het "Simple Scaling S1K" dataset (oorspronkelijk Engels) te lokaliseren.
  • Drie fasen: Context-aware vertaling (behoud van logica en LaTeX), normalisatie van terminologie (bijv. "dấu phẩy" voor decimaalteken), en culturele aanpassing (valuta, eigennamen).
• Fine-Tuning: Het model werd gefine-tuned met LoRA (Low-Rank Adaptation, rank 64) op het Vi-S1K dataset om het model te leren hoe het redeneert in plaats van alleen het antwoord te geven.
• Evaluatie Benchmark (Vi-Elementary-Bench): Een testset van 1.010 problemen verdeeld over zes categorieën: logische puzzels, standaard woordproblemen, redeneringsvragen, wiskundige gedichten, vocabulaire en meerkeuzevragen.
• Prompting Strategieën: Vijf benaderingen werden getest:
  1. Zero-shot (baseline).
  2. Few-shot (3 en 5 voorbeelden).
  3. Chain-of-Thought (CoT) ("Denk stap voor stap").
  4. CoT met Self-Consistency (CoT-SC): Genereren van meerdere paden (k=3, k=5) en stemming voor het meest consistente antwoord.
  5. ReAct (Reasoning + Acting): Een gestructureerd framework met Thought, Action en Observation.
• Evaluatie Protocol: Gebruik van "LLM-as-a-Judge" met Gemini 2.5 Flash-Lite. De judge scoorde op een 5-puntsschaal op vijf dimensies: Nauwkeurigheid, Volledigheid, Kwaliteit van Uitleg, Logische Structuur en Culturele/Taalgeschiktheid.

3. Belangrijkste Bijdragen

1. Dubbele Vietnamese Benchmarks: Introductie van Vi-S1K (trainingsdataset) en Vi-Elementary-Bench (evaluatiedataset), de eerste systematische resources voor redeneren in het Vietnamees op SLM-niveau.
2. SFT als "Redenerings-Unlocker": Empirisch bewijs dat Supervised Fine-Tuning (SFT) het model transformeert van een "rekenmachine" naar een "pedagogische tutor". De grootste winst zat niet in het leren van wiskunde (de basis had al kennis), maar in het leren van de communicatieprotocollen (uitleggen van stappen).
3. Analyse van Prompting Trade-offs: Ontdekking van een "cognitieve belasting" (cognitive tax) bij het gebruik van complexe frameworks zoals ReAct op zeer kleine modellen (<2B parameters).

4. Resultaten

• Pre-Fine-tuning (Basis Model):
  • Het basismodel had een redelijke rekennauwkeurigheid (4,05/5) maar faalde in uitleg en structuur (gemiddeld ~2,6/5).
  • ReAct presteerde slecht (2,30/5) door formatfouten en hallucinaties.
• Post-Fine-tuning (Gefine-tuned Model):
  • Uitlegkwaliteit: Een enorme stijging van +2,00 punten (van 2,60 naar 4,60). Het model kon nu coherent redeneren in het Vietnamees.
  • Nauwkeurigheid: Een bescheiden stijging (+0,50), wat aangeeft dat de basisrekenkennis al aanwezig was.
  • Beste Strategie: CoT met Self-Consistency (k=5) behaalde de hoogste totale score (4,69/5).
  • ReAct Prestaties: Zelfs na fine-tuning presteerde ReAct slechter (4,11) dan pure CoT (4,59). De strikte structuur van ReAct (Thought/Action/Observation) consumeerde te veel van de beperkte "attention capacity" van het 1,7B-model, wat leidde tot verlies van focus op de wiskundige berekening zelf.

5. Betekenis en Conclusie

De studie biedt een cruciale blauwdruk voor het inzetten van SLMs op edge-apparaten in laag-resource talen:

• SFT is essentieel: Het is niet nodig om een model te "leren rekenen" als het al kennis heeft; het moet worden getraind om die kennis in een pedagogisch correct formaat te presenteren.
• Test-Time Scaling werkt: Het genereren van meerdere redeneerpaden (Self-Consistency) compenseert voor de stochasticiteit van kleine modellen en verbetert de betrouwbaarheid aanzienlijk.
• Architecturale Grenzen: Complexe agent-workflows (zoals ReAct) zijn niet ideaal voor modellen onder de 2 miljard parameters. Voor deze modellen is een vereenvoudigde Chain-of-Thought strategie superieur omdat deze minder "overhead" heeft.
• Toekomstperspectief: De resultaten suggereren dat SLMs, wanneer correct gefine-tuned en geëvalueerd, zeer geschikt zijn voor educatieve toepassingen en real-time tools in het Vietnamees, mits de juiste prompting-strategieën worden toegepast.

Samenvattend: Dit onderzoek bewijst dat de "redeneringskloof" in het Vietnamees voor kleine modellen kan worden overbrugd door een combinatie van hoogwaardige, gelokaliseerde datasets (Vi-S1K), Supervised Fine-Tuning en het gebruik van Self-Consistency, terwijl complexe agentische frameworks voor deze modelgrootte juist contraproductief blijken.