Optimizing Korean-Centric LLMs via Token Pruning

Titel: Optimalisatie van op Korea gerichte LLM's via Token-Pruning

Auteur: Hoyeol Kim en Hyeonwoo Kim (Georgia Institute of Technology & Independent Researcher)

1. Het Probleem

De snelle opkomst van massaal meertalige Large Language Models (LLM's) zoals LLaMA-3, Qwen en Gemma heeft de toegankelijkheid van geavanceerde NLP vergroot. Echter, voor specifieke toepassingen, zoals diensten die uitsluitend op het Koreaans gericht zijn, introduceert deze breedte een "vloek van meertaligheid":

• Overbodige Parameters: Een aanzienlijk deel van het model (vooral in de vocabulaire- en embedding-lagen) is toegewezen aan talen die voor de doeltoepassing irrelevant zijn.
• Inefficiëntie: Dit creëert onnodige geheugenoverhead en computerefficiëntieproblemen, wat de lokale implementatie van lichtgewicht modellen bemoeilijkt.
• Kwaliteitsverlies: Ondanks dat het Koreaans een taal met veel bronnen is, vormt het vaak slechts een kleine minderheid van de trainingsdata in Engelstalige of Chinees-gerichte modellen. Dit kan leiden tot het verdunnen van culturele nuances en taalkundige vaardigheden.

2. Methodologie

De auteurs presenteren een systematische benchmark van state-of-the-art meertalige LLM's die zijn geoptimaliseerd via token-pruning. Dit is een compressietechniek die tokens en embedding-parameters verwijdert die corresponderen met niet-doel-talen.

Experimenteel Opzet:

• Modellen: Een diverse reeks open-weight modellen, waaronder Qwen3 (0.6B tot 14B), Gemma-3 (270M tot 12B), Llama-3 (3.1-8B en 3.2-3B), en Aya.
• Configuraties: Elk model werd getest in drie configuraties:
  1. Original: Volledige meertalige vocabulaire.
  2. EnKo: Alleen tokens voor Engels en Koreaans.
  3. EnKoZh: Tokens voor Engels, Koreaans en Chinees.
• Pruning-procedure:
  • Taalbewuste filtering: Tokens worden gecategoriseerd op basis van Unicode-blokken (bijv. Hangul, Latijn, Hanzi).
  • Indexhermapping: Irrelevante tokens worden verwijderd en de overgebleven tokens worden gemapt naar een nieuwe, continue indexruimte.
  • Gewichtsreorganisatie: De embedding-matrix en de output-projectielaag worden fysiek herschikt om overeen te komen met de nieuwe indices, zonder de interne transformer-blokken of positionele encoding te wijzigen.

Benchmarks:
De prestaties werden gemeten aan de hand van vier categorieën:

1. Algemene bekwaamheid: KMMLU (algemene kennis en logisch redeneren).
2. Culturele en taalkundige competentie: HAERAE (culturele geletterdheid) en CLIcK (taalkundige nuance).
3. Opdrachtvolging (Instruction Following): LogicKor en KoMT-Bench.
4. Machinevertaling: WMT24++ (Koreaans-Engels), gescoord met XCOMET-XXL.

3. Belangrijkste Resultaten

• Generatiestabiliteit en Taalverwarring:
  Token-pruning leidt tot een aanzienlijke verbetering in de stabiliteit van de generatie. Door niet-doel-talen te elimineren, wordt taalverwarring (language confusion) drastisch verminderd.

  • Voorbeeld: Qwen3-4B verbeterde zijn woordniveau-pass rate (WPR) van 0.8882 naar 0.9923 (+0.1041).
  • Veel modellen bereikten na pruning een consistentie van >0.99.

• Machinevertaling:
  Gepruneerde configuraties presteerden consistent gelijk aan of beter dan de baselines.

  • Llama-3.1-8B-Inst vertoonde een forse stijging in COMET-score (van 0.5879 naar 0.6342).
  • Aya-expanse-8b steeg van 0.6957 naar 0.7496.
  • Conclusie: Het verwijderen van overbodige tokens regulariseert de output-distributie, wat hallucinaties in de verkeerde taal minimaliseert en het vertaalpad verbetert.

• Opdrachtvolging (Instruction Following):
  De resultaten waren architectuurgevoelig.

  • Bij de Qwen3-familie presteerde de configuratie met Chinese tokens (EnKoZh) vaak beter dan de strikte EnKo-configuratie. Dit suggereert dat deze modellen afhankelijk zijn van latente kruis-taalrepresentaties (specifiek Chinees) voor redeneerprestaties.
  • Bij grotere modellen zoals Llama-3.1-8B verbeterde de prestatie juist bij de EnKo-configuratie, wat suggereert dat vocabulaire-reductie de focus op instructies kan scherpen bij voldoende grote modellen.

• Algemene Bekwaamheid en Cultuur:
  Er was sprake van minimale prestatieverlies bij het verwijderen van tokens. In sommige gevallen (zoals bij Gemma-3-12b-it) was er zelfs een lichte verbetering in taalkundige vaardigheden, wat aangeeft dat de semantische structuren voor Koreaans redeneren intact blijven.

• Computatie en Latentie:
  Hoewel de vocabulaire-omvang aanzienlijk afnam (bijv. 36% reductie bij EnKo), was de verbetering in inferentielatentie bescheiden (ongeveer 0.89%). Dit bevestigt dat pruning vooral geheugenoverhead vermindert (embeddings), maar de rekentijd voor attention-mechanismen niet significant beïnvloedt.

4. Bijdragen en Significatie

• Validatie van Token-Pruning: Het paper bewijst dat token-pruning een effectieve strategie is voor het optimaliseren van domeinspecifieke LLM's zonder in te boeten aan prestaties. Het maakt het mogelijk om "soevereine AI"-modellen lichter en efficiënter te maken voor lokale implementatie.
• Architecturale Inzichten: Het onderzoek onthult dat de impact van pruning afhangt van de onderliggende architectuur en de trainingsdata. Voor sommige modellen (zoals Qwen) zijn bepaalde "niet-doel"-talen (zoals Chinees) nog steeds functioneel noodzakelijk voor redeneren, terwijl voor andere modellen (zoals Llama) een striktere pruning juist helpt.
• Praktische Toepassing: Voor organisaties die Koreaanse NLP-taken willen draaien op middelenbeperkte hardware, biedt deze techniek een manier om de modelgrootte en het geheugengebruik aanzienlijk te verlagen, terwijl de kwaliteit van de output (vooral vertaling en taalkundige consistentie) verbetert.

Conclusie:
Token-pruning is niet slechts een compressietechniek, maar een cruciale tool voor het deployen van stabiele, hoogpresterende en domeinspecifieke AI-modellen. Het elimineert de "vloek van meertaligheid" door irrelevante parameters te verwijderen, wat leidt tot scherpere, betrouwbaardere en efficiëntere modellen voor Koreaanse toepassingen.