Technische Samenvatting: Llamion en KEPT

Probleemstelling

Het open-source ecosysteem van Large Language Models (LLM's) is gefragmenteerd door uiteenlopende keuzes op architectuurniveau (bijvoorbeeld LayerNorm versus RMSNorm, multi-head versus grouped-query attention, absolute versus RoPE positionele encoding). Hoewel het vakgebied grotendeels is geconvergeerd naar een gestandaardiseerd "Llama-familie"-template (decoder-only, RoPE, RMSNorm, SwiGLU), maken veel bekwame voorgetrainde modellen gebruik van niet-standaard architecturen. Het converteren van deze modellen naar het standaardtemplate is noodzakelijk voor compatibiliteit met gangbare tooling en deployment-stacks (die vaak trust_remote_code=False afdwingen), maar dergelijke architecturale transformaties resulteren doorgaans in aanzienlijk kennisverlies.

De conventionele remedie, uptraining (vervolgtraining op een nieuw corpus), is kostbaar en data-intensief. Het vereist een corpus dat alle eerder geleerde kennis dekt om catastrofaal vergeten te voorkomen, een voorwaarde die vaak onmogelijk te vervullen is wanneer de oorspronkelijke voortrainingsdata privé is. Bovendien brengt uptraining een niet-triviale fractie van de oorspronkelijke voortrainingskosten met zich mee.

Methodologie: KEPT

De auteurs introduceren KEPT (Efficient Knowledge Preservation for Transformation), een recept in drie fasen voor het converteren van een bronmodel ($M_{src}$) met een niet-standaard architectuur naar een doelpmodel ($M_{tgt}$) met een gestandaardiseerde architectuur, zonder toegang tot het oorspronkelijke voortrainingscorpus. KEPT aligneert de outputs van het gewijzigde netwerk met die van het oorspronkelijke netwerk op elke redelijke inputverdeling.

Het proces bestaat uit:

1. Normal Parameter Mapping (NPM): Voor modules waarbij de berekening onveranderd blijft (bijvoorbeeld token-embeddings, attention-projecties, MLP's), worden parameters letterlijk van de bron naar het doel gekopieerd. Dit biedt een hoogwaardige initialisatie.
2. Optimized Parameter Mapping (OPM): Voor modules waarbij de berekening verandert maar een principiële initialisatie toelaat, wordt een trainingsvrije mapping toegepast. Het artikel focust op de overgang van LayerNorm naar RMSNorm. De auteurs bewijzen dat onder het regime van activaties met een bijna nul-gemiddelde, veroorzaakt door gewichtsdecay (veelvoorkomend in modellen getraind met AdamW), de optimale RMSNorm-weights simpelweg de LayerNorm-weights zijn ($\theta \leftarrow \gamma$), en de bias-term ($\beta$) kan worden verworpen. Deze analytische oplossing elimineert de noodzaak van training voor deze specifieke module.
3. Cross-architecture Knowledge Distillation (XKD): Een residual alignment-stap waarbij het doelpmodel (student) wordt getraind om de outputs van het bevroren bronmodel (leraar) te reproduceren. Leraar en student zijn even groot, wat dit onderscheidt van klassieke compressie-gebaseerde distillatie. De auteurs maken gebruik van twee doelstellingen:
   • Hidden-state doelstelling: Matcht de activaties van de residual stream laag voor laag.
   • Logit-doelstelling: Matcht de uiteindelijke LM-head output logits. De logit-doelstelling blijkt sneller te convergeren en levert marginaal betere resultaten op, waarschijnlijk omdat deze een zwakkere beperking oplegt aan interne trajecten die al goed zijn geinitialiseerd door NPM/OPM.

Belangrijkste Bijdragen

• Llamion Modelfamilie: De release van drie checkpoints van 14B parameters (Base, Chat, LongChat) afgeleid van Orion-14B (een model met LayerNorm en niet-standaard attention) geconverteerd naar het Llama-familie-template. Deze modellen kunnen worden geladen met trust_remote_code=False in de Hugging Face Transformers-bibliotheek.
• Theoretisch Bewijs voor OPM: Een gesloten-formule oplossing die aantoont dat optimale RMSNorm-weights die LayerNorm vervangen onder L2 output-alignment equivalent zijn aan de oorspronkelijke LayerNorm-weights in het regime met bijna nul-gemiddelde, waardoor de conversie van de normalisatielaag trainingsvrij wordt.
• Efficiënte Conversie: De methode herstelt het gedrag van het bronmodel met slechts ~123M tokens op één A100 GPU gedurende vier dagen, een fractie van de rekenkracht die voor uptraining nodig is.
• Behoud van Zero-Shot Capabiliteiten: De methode behoudt capaciteiten die volledig afwezig zijn in het transfer-corpus, specifiek Python-programmering en verwerking van 200K-token contexten, wat aantoont dat KEPT de inherente kennis van de leraar overdraagt in plaats van slechts het transfer-corpus opnieuw te leren.

Resultaten

De auteurs evalueerden Llamion tegen het oorspronkelijke Orion-14B en andere baselines op verschillende benchmarks:

• H6 Benchmark (Engels Few-Shot): Llamion-Base behaalde een gemiddelde score van 60,53 (met de logit-doelstelling), waardoor bijna alle prestaties van Orion (60,83) werden hersteld. Daarentegen daalde de prestatie bij alleen parameter mapping (OPM) naar 31,19, en bereikte uptraining (UT) zonder distillatie 57,77. De op logits gebaseerde XKD presteerde ~2,76 punten beter dan uptraining binnen hetzelfde rekenbudget.
• MT-Bench (Multi-turn Dialogue): Llamion-Chat behaalde een score van 7,034, wat Orion-Chat (7,116) binnen 0,1 punten benadert. Alleen uptraining (5,709) en alleen OPM (1,226) presteerden aanzienlijk slechter, wat de noodzaak van de distillatie-doelstelling voor generatieve coherentie onderstreept.
• KoMMLU (Koreaans MMLU): Llamion-Base scoorde 66,87%, meer dan 7,0 absolute punten boven de volgende beste inzending op de Open Ko LLM Leaderboard. Dit bevestigt het behoud van Orion's sterke Koreaanse taalcapaciteiten.
• Zero-Shot Transfer:
  • Programmering: Llamion-Chat genereerde bekwame Python-code ondanks dat het transfer-corpus (MIRACL) vrijwel geen programmeertekst bevatte.
  • Lange Context: Llamion-LongChat behield een lage perplexiteit op 200K-token sequenties, ondanks dat het transfer-corpus was beperkt tot 4K tokens. Dit werd toegeschreven aan het behoud van de RoPE-basis en het gedragsalignerende karakter van XKD.

Betekenis en Claims

Het artikel beweert dat KEPT architecturale keuze succesvol ontkoppelt van voortrainingsdata. Door een model te aligneren met een bevroren leraar in plaats van een data-verdeling, stelt de methode practitioners in staat om deployment-vriendelijke architecturen (zoals het Llama-template) aan te nemen zonder de "voortrainingstaks" te betalen of capaciteiten te verliezen die in het bronmodel aanwezig zijn.

De auteurs positioneren dit als een oplossing voor het probleem van "kennisverlies" bij architecturale transformatie. Zij benadrukken dat het behoud van capaciteiten in onzichtbare domeinen (programmering, lange context) direct bewijs levert dat de methode de geleerde kennis van de leraar overdraagt in plaats van het transfer-corpus opnieuw te leren. De release van Llamion biedt een praktisch, hoogpresterend, Koreaans-bekwam model dat compatibel is met standaard inference-stacks, waarmee een specifieke kloof in het Open Ko LLM-ecosysteem wordt gedicht.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat de empirische claims gebaseerd zijn op één enkel paar bron/doel (Orion-14B naar Llama) en dat generalisatie naar andere paren (bijvoorbeeld Gemma naar Qwen) nog niet is aangetoond. Zij merken ook op dat OPM momenteel specifiek is voor de overgang van LayerNorm naar RMSNorm.