Technische Samenvatting: DuDi – Dual-Signal Distillatie met Cross-Linguale Verbalizer

Probleemstelling

Kleine taalmodellen (SLM's) bieden aanzienlijke voordelen op het gebied van efficiëntie, schaalbaarheid en implementatie op resource-beperkte edge-apparaten. Hun meertalige capaciteiten, met name voor Zuidoost-Aziatische (SEA) talen, verslechteren echter drastisch wanneer de modelgrootte onder de miljard parameters daalt. Standaard Supervised Fine-Tuning (SFT) resulteert vaak in scherpe prestatiedalingen voor sub-miljard modellen (bijv. Qwen2.5-0.5B) vergeleken met hun grotere tegenhangers. Hoewel Knowledge Distillation (KD) een gangbare strategie is om kennis over te dragen van grotere docenten naar kleinere studenten, zijn bestaande meertalige KD-benaderingen vaak beperkt tot taakspecifieke instellingen of falen ze om sequentie-niveau en token-niveau supervisie effectief te verenigen. Bovendien hebben standaard distillatiemethoden vaak moeite met de mismatch tussen training en inferentie en de inherente linguïstische diversiteit in SEA-talen, waar kwalitatief hoogwaardige trainingsdata schaars is.

Methodologie: Het DuDi-framework

De auteurs stellen DuDi voor (Dual-Signal Distillation met Cross-Linguale Verbalizer), een verenigd framework ontworpen om meertalige SLM's te verbeteren door drie kerncomponenten te integreren:

1. Sequentie-niveau Signaal

DuDi incorporeert een online sequentie-niveau objectief geïnspireerd door Self-Play Fine-Tuning (SPIN). In tegenstelling tot statische iteratieve methoden, samplet DuDi reacties ($y' \sim \pi_\theta(x)$) in real-time. Het model wordt getraind om zijn huidige beleid te differentiëren van de grondwaarheid door de relatieve waarschijnlijkheid van de grondwaarheid-reacties te maximaliseren. Dit stuurt het studentbeleid dynamisch richting de grondwaarheid.

2. Token-niveau Signalen (Dual-Signal)

Om de beperkingen van het vertrouwen op enkel door de student gegenereerde data of statische datasets aan te pakken, gebruikt DuDi een dual-signal benadering voor token-niveau supervisie:

• Off-Policy Signaal: Afgeleid van de trainingscorpus, gebruikt dit signaal docent-geleverde logits om ervoor te zorgen dat het supervisiesignaal strikt geworteld blijft in de grondwaarheid-distributie. Dit voorkomt dat het geleerde beleid afwijkt van de doel-distributie.
• On-Policy Signaal: Afgeleid van door de student gegenereerde reacties ($\tilde{y} \sim \pi_\theta(x)$), dit signaal stelt de docent in staat om de zelf-gegenereerde outputs van de student te verfijnen en fouten in real-time te corrigeren.

3. Cross-Linguale Verbalizer

Om de kennisoverdraagbaarheid in meertalige settings te verbeteren, introduceert DuDi een cross-linguale verbalizer. Deze component transformeert een input prompt ($x$), grondwaarheid ($y$), brontaal ($l$), en een gesamplede doeltaal ($l_z$) naar een gestructureerde geverbaliseerde prompt ($z$) voor de docent en een bijbehorende prompt ($p_z$) voor de student.

• Mechanisme: De docent ontvangt de prompt in de brontaal met de grondwaarheid als demonstratie. De student krijgt vervolgens de instructie om een reactie in de doeltaal te genereren (uniform gesampled uit de trainingsset, exclusief de brontaal, en inclusief Engels).
• Doel: Dit dwingt de student om zijn on-policy generatie af te stemmen op de begeleiding van de docent over taalgrenzen heen, wat zorgt voor rijkere leerprocessen.

Verenigd Objectief voor Training

Het uiteindelijke leerdoel ($L_{DuDi}$) is een gewogen som van:

1. Sequentie-niveau afstemming (SPIN-stijl).
2. Off-policy token-niveau distillatie (Grondwaarheid-gestuurd).
3. On-policy token-niveau distillatie (Docent-gestuurd via cross-linguale verbalizer).

Belangrijkste Bijdragen

1. DuDi Framework: Een algemeen bruikbaar meertalig distillatieframework dat sequentie-niveau objectieven en dual-signal (off-policy en on-policy) token-niveau supervisie gezamenlijk optimaliseert.
2. Cross-Linguale Verbalizer: Een nieuw mechanisme dat de feedback van de docent verfijnt door inputs en demonstraties om te zetten in prompts die de student begeleiden om reacties in verschillende doeltalen te genereren, waardoor de overdraagbaarheid wordt verbeteren.
3. Uitgebreide Analyse: Uitgebreide ablatie-studies en analyses die bevestigen dat sequentie-niveau optimalisatie, token-niveau supervisie en cross-linguale verbalisering complementaire en overdraagbare leersignalen bieden.

Experimentele Resultaten

De auteurs evalueerden DuDi met de SEA-HELM benchmark over zeven Zuidoost-Aziatische talen (Indonesisch, Vietnamees, Thais, Tamil, Tagalog, Maleis en Birmaans).

• Prestaties: DuDi presteerde consistent beter dan concurrerende baselines, inclusief SFT, DFT, SPIN, SDFT, SeqKD en GKD.
  • Op Qwen2.5-0.5B behaalde DuDi een gemiddelde score van 10.1, wat statistisch significant beter is dan de op één na beste baseline (DFT met 9.7) en SPIN (9.5).
  • DuDi demonstreerde robuustheid over verschillende modelfamilies (Qwen2.5, Qwen3, Llama3.2) en schalen (0.5B tot 1.5B studenten).
  • In de Qwen3-0.6B setting verbeterde DuDi de gemiddelde prestaties met 15.6% ten opzichte van de sterke GKD baseline.
• Ablatie-studies:
  • Het verwijderen van de off-policy KD veroorzaakte de grootste prestatiedaling (-24.6%), wat de cruciale rol ervan benadrukt bij het verankeren van het model in de doel-distributie.
  • Het verwijderen van de on-policy KD resulteerde in een daling van -6.6%.
  • Het verwijderen van de verbalizer veroorzaakte een daling van -5.0%.
  • Het verwijderen van Engels uit de doeltaalset in de verbalizer degradeerde de prestaties, wat suggereert dat Engels de cross-linguale overdracht faciliteert.
• Verbalizer Analyse: Een overlapratio-analyse toonde aan dat de cross-linguale verbalizer de hoogste overeenkomst bereikte tussen docent- en student-logits tijdens on-policy rollouts, wat bevestigt dat het de meest informatieve supervisiesignalen biedt.
• Initialisatie: De studie bevestigde dat "cold-start" SFT (initialiseren vanaf een model dat gefinetuned is op grondwaarheid-data) cruciaal is; initialiseren direct vanaf basismodellen of door de docent gegenereerde outputs resulteerde in aanzienlijk lagere prestaties.

Betekenis en Claims

Het artikel claimt dat DuDi de specifieke uitdaging aanpakt van het opschalen van meertalige capaciteiten door een verenigd framework te bieden dat complementaire leersignalen benut. De auteurs stellen dat:

• Gezamenlijke Optimalisatie Noodzakelijk is: De componenten (sequentie-signaal, dual token-signalen en verbalizer) zijn niet onafhankelijk effectief, maar vereisen gezamenlijke integratie om state-of-the-art resultaten te behalen in meertalige SLM's.
• Cross-Linguale Overdracht: De cross-linguale verbalizer is een belangrijke innovatie die de kennisoverdraagbaarheid van docent naar student verbetert, waarbij de beperkingen van Engels- of monolinguale verbalizers worden overwonnen.
• Robuustheid: Het framework is robuust over verschillende modelarchitecturen en schalen, wat het een levensvatbare oplossing maakt voor de implementatie van efficiënte SLM's in diverse, laag-resource linguïstische omgevingen zoals Zuidoost-Azië.

De auteurs concluderen dat DuDi een effectief fine-tuning framework biedt voor SLM's in meertalige omgevingen, waarbij alle artefacten (code, datasets, modellen) beschikbaar worden gesteld voor open onderzoek.