💬 NLP

Llamion Technical Report

L'article présente Llamion, une famille de modèles à poids ouverts de 14 milliards de paramètres qui transforme avec succès l'architecture Orion-14B au format Llama grâce à une nouvelle recette appelée KEPT, atteignant des performances de pointe sur des benchmarks comme KoMMLU et préservant des capacités avancées telles que la gestion de contextes longs avec des ressources d'entraînement minimales.

Auteurs originaux : Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Déménager une Maison sans Perdre les Meubles

Imaginez que vous possédez une maison magnifique, entièrement meublée (un modèle d'IA puissant appelé Orion), construite sur une fondation unique et sur mesure. Elle fonctionne à merveille, mais les lois locales de zonage de la ville (la norme d'architecture Llama) n'autorisent que les maisons construites sur une fondation spécifique et standardisée.

Si vous essayez simplement de déplacer la maison vers la nouvelle fondation, la plomberie pourrait se briser, les portes pourraient ne pas s'adapter et les meubles pourraient se perdre. Habituellement, pour résoudre ce problème, il faudrait acheter une nouvelle maison et passer des années à la meubler à partir de zéro en utilisant les anciens plans (un processus appelé réentraînement). C'est coûteux, lent et cela nécessite de posséder les plans originaux, ce que vous n'avez souvent pas.

Llamion est le résultat d'une nouvelle stratégie de déménagement ingénieuse appelée KEPT. Au lieu de reconstruire la maison, l'équipe a réussi à déplacer exactement les mêmes meubles et exactement la même disposition sur la nouvelle fondation standardisée, en conservant la personnalité et les compétences de la maison intactes.

Comment ils l'ont fait : La Recette "KEPT"

L'équipe a utilisé une recette en trois étapes appelée KEPT (Préservation Efficace des Connaissances pour la Transformation) pour déplacer l'IA d'Orion vers le style Llama :

Mappage Normal des Paramètres (NPM) : "Le Déménagement Direct"
Pour les parties de l'IA qui fonctionnent de la même manière dans les deux maisons (comme le vocabulaire et les centres de logique), ils ont simplement pris les meubles et les ont placés exactement au même endroit dans la nouvelle maison. Aucun changement n'était nécessaire.
Mappage Optimisé des Paramètres (OPM) : "L'Adéquation Parfaite"
Certaines parties de l'ancienne maison utilisaient un type de charnière de porte différent (appelé LayerNorm) que la nouvelle maison (qui utilise RMSNorm). Au lieu de deviner comment les réparer, l'équipe a prouvé mathématiquement que si vous échangez simplement les charnières directement sans aucun travail supplémentaire, elles s'adaptent parfaitement. Cette étape a nécessité zéro entraînement et aucune donnée supplémentaire. C'est comme réaliser que votre vieux canapé s'adapte parfaitement au nouveau salon sans avoir besoin de le re-tapisser.
Distillation de Connaissances Inter-architectures (XKD) : "L'Observation"
Après avoir déplacé les meubles, la maison pourrait sembler légèrement "décalée". Pour corriger cela, ils ont utilisé l'IA originale (Orion) comme un enseignant figé. Ils ont demandé à la nouvelle IA (Llamion) d'observer l'enseignant répondre à des questions et de copier ses réponses exactement.
- Le Problème : Ils n'avaient pas besoin de la bibliothèque originale de livres sur laquelle l'enseignant avait été formé. Ils avaient juste besoin d'une petite pile de cartes de conversation aléatoires (environ 123 millions de mots) pour s'entraîner à copier le style de l'enseignant.

Les Résultats : Un Déménagement Miracle

Les résultats de ce "déménagement" ont été étonnamment réussis :

Vitesse et Coût : Ils ont réalisé cela sur une seule puce informatique puissante (un GPU A100) en seulement quatre jours. Habituellement, réentraîner un modèle de ce type prend des mois et coûte une fortune.
Performance : Le nouveau modèle, Llamion, parle coréen aussi bien que l'Orion original. En fait, lors d'un test de connaissances coréen (KoMMLU), il a obtenu 66,87 %, battant le modèle suivant de loin (plus de 7 points).
Le Transfert "Magique" : La partie la plus impressionnante est ce qu'ils n'ont pas enseigné au nouveau modèle pendant le déménagement.
- Codage : Les données d'entraînement contenaient presque aucun code informatique, pourtant Llamion peut toujours écrire du Python parfaitement.
- Mémoire Longue : Les données d'entraînement étaient courtes (4 000 mots), pourtant Llamion peut toujours se souvenir et traiter d'énormes documents (200 000 mots) tout comme l'original.

Pourquoi Cela Compte

Pensez-y ainsi : si vous enseignez à un étudiant à imiter le style de cuisine d'un chef maître en utilisant un petit livre de recettes, l'étudiant n'apprend généralement que ces recettes spécifiques. Mais parce que Llamion a été entraîné à imiter le cerveau du chef maître (la logique cachée) plutôt que de simplement mémoriser les recettes, il a hérité de la capacité du chef à cuisiner n'importe quoi, même des plats qui n'étaient pas dans le petit livre de recettes.

Résumé

Le document affirme que Llamion est un nouveau modèle d'IA qui prend une IA coréenne puissante mais "non standard" (Orion) et la transforme en format "Llama" standard de l'industrie. Ils ont fait cela en utilisant une méthode intelligente (KEPT) qui déplace directement les connaissances du modèle et utilise une infime quantité de données pour ajuster l'adéquation. Le résultat est un modèle compatible avec les outils standards, plus rapide à exécuter, et qui conserve toutes les compétences du modèle original — y compris le codage et la mémoire longue — sans avoir besoin d'être réentraîné à partir de zéro.

Résumé Technique : Llamion et KEPT

Énoncé du Problème

L'écosystème des modèles de langage à grande échelle (LLM) open-source est fragmenté par des choix architecturaux de bas niveau divergents (par exemple, LayerNorm vs RMSNorm, attention multi-têtes vs attention à requêtes groupées, encodages de position absolus vs RoPE). Bien que le domaine ait largement convergé vers un modèle standardisé de la « famille Llama » (décodage uniquement, RoPE, RMSNorm, SwiGLU), de nombreux modèles préentraînés compétents utilisent des architectures non standard. La conversion de ces modèles vers le modèle standard est nécessaire pour assurer la compatibilité avec les outils et les piles de déploiement grand public (qui imposent souvent trust_remote_code=False), mais de telles transformations architecturales entraînent généralement une perte significative de connaissances.

Le remède conventionnel, le surapprentissage (entraînement continu sur un nouveau corpus), est coûteux et gourmand en données. Il nécessite un corpus couvrant l'ensemble des connaissances précédemment acquises pour éviter l'oubli catastrophique, une condition souvent impossible à remplir lorsque les données d'entraînement originales sont privées. De plus, le surapprentissage engendre une fraction non négligeable du coût de calcul de l'entraînement initial.

Méthodologie : KEPT

Les auteurs introduisent KEPT (Efficient Knowledge Preservation for Transformation), une recette en trois étapes pour convertir un modèle source ( $M_{src}$ ) avec une architecture non standard en un modèle cible ( $M_{tgt}$ ) avec une architecture standardisée, sans nécessiter l'accès au corpus d'entraînement initial. KEPT aligne les sorties du réseau modifié avec celles du réseau original sur n'importe quelle distribution d'entrée raisonnable.

Le processus se compose de :

Mappage Normal des Paramètres (NPM) : Pour les modules où le calcul reste inchangé (par exemple, les embeddings de tokens, les projections d'attention, les MLP), les paramètres sont copiés à l'identique de la source vers la cible. Cela fournit une initialisation de haute qualité.
Mappage Optimisé des Paramètres (OPM) : Pour les modules où le calcul change mais admet une initialisation fondée sur des principes, un mappage sans entraînement est appliqué. L'article se concentre sur la transition LayerNorm vers RMSNorm. Les auteurs prouvent que, dans le régime d'activation proche de la moyenne nulle induit par la décroissance des poids (courant dans les modèles entraînés avec AdamW), les poids RMSNorm optimaux sont simplement les poids LayerNorm ( $\theta \leftarrow \gamma$ ), et le terme de biais ( $\beta$ ) peut être écarté. Cette solution analytique élimine le besoin d'entraînement pour ce module spécifique.
Distillation de Connaissances Cross-Architecture (XKD) : Une étape d'alignement résiduel où le modèle cible (élève) est entraîné pour reproduire les sorties du modèle source figé (enseignant). L'enseignant et l'élève sont de taille égale, ce qui distingue cette approche de la distillation classique basée sur la compression. Les auteurs utilisent deux objectifs :
- Objectif d'état caché : Correspond aux activations du flux résiduel couche par couche.
- Objectif de logit : Correspond aux logits de sortie finaux de la tête LM. L'objectif de logit s'avère converger plus rapidement et produire des résultats légèrement meilleurs, probablement parce qu'il impose une contrainte plus faible sur les trajectoires internes qui sont déjà bien initialisées par NPM/OPM.

Contributions Clés

Famille de Modèles Llamion : La publication de trois points de contrôle de 14 milliards de paramètres (Base, Chat, LongChat) dérivés d'Orion-14B (un modèle avec LayerNorm et une attention non standard) convertis vers le modèle de la famille Llama. Ces modèles se chargent avec trust_remote_code=False dans la bibliothèque Hugging Face Transformers.
Preuve Théorique pour OPM : Une solution en forme fermée démontrant que les poids RMSNorm optimaux remplaçant LayerNorm sous un alignement de sortie L2 sont équivalents aux poids LayerNorm originaux dans le régime de moyenne proche de zéro, rendant la conversion de la couche de normalisation sans entraînement.
Conversion Efficace : La méthode récupère le comportement du modèle source en utilisant uniquement ~123M de tokens sur un seul GPU A100 en quatre jours, soit une fraction du calcul requis pour le surapprentissage.
Préservation des Capacités Zero-Shot : La méthode préserve des capacités totalement absentes du corpus de transfert, spécifiquement la programmation en Python et la gestion de contextes de 200K tokens, démontrant que KEPT transfère les connaissances inhérentes de l'enseignant plutôt que de simplement réapprendre le corpus de transfert.

Résultats

Les auteurs ont évalué Llamion par rapport à Orion-14B original et à d'autres références sur plusieurs benchmarks :

Benchmark H6 (Few-Shot Anglais) : Llamion-Base a obtenu un score moyen de 60,53 (en utilisant l'objectif de logit), récupérant presque toute la performance d'Orion (60,83). À l'inverse, le mappage de paramètres seul (OPM) a fait chuter la performance à 31,19, et le surapprentissage (UT) sans distillation a atteint 57,77. Le XKD basé sur les logits a surpassé le surapprentissage d'environ 2,76 points sur le même budget de calcul.
MT-Bench (Dialogue Multi-tours) : Llamion-Chat a obtenu un score de 7,034, égalant Orion-Chat (7,116) à moins de 0,1 point. Le surapprentissage seul (5,709) et OPM seul (1,226) ont performé nettement moins bien, soulignant la nécessité de l'objectif de distillation pour la cohérence générative.
KoMMLU (MMLU Coréen) : Llamion-Base a obtenu 66,87%, dépassant la prochaine meilleure entrée du Open Ko LLM Leaderboard de >7,0 points absolus. Cela confirme la préservation des fortes capacités linguistiques coréennes d'Orion.
Transfert Zero-Shot :
- Programmation : Llamion-Chat a généré du code Python compétent malgré que le corpus de transfert (MIRACL) ne contienne essentiellement aucun texte de programmation.
- Long Contexte : Llamion-LongChat a maintenu une faible perplexité sur des séquences de 200K tokens, malgré que le corpus de transfert soit limité à 4K tokens. Cela a été attribué à la préservation de la base RoPE et à la nature d'alignement comportemental de XKD.

Importance et Revendications

L'article revendique que KEPT réussit à découpler le choix architectural des données d'entraînement. En alignant un modèle sur un enseignant figé plutôt que sur une distribution de données, la méthode permet aux praticiens d'adopter des architectures favorables au déploiement (comme le modèle Llama) sans payer la « taxe d'entraînement initial » ni perdre les capacités présentes dans le modèle source.

Les auteurs positionnent cela comme une solution au problème de la « perte de connaissances » dans la transformation architecturale. Ils soulignent que la préservation des capacités de domaines non vus (programmation, long contexte) sert de preuve directe que la méthode transfère les connaissances apprises par l'enseignant plutôt que de réapprendre à partir du corpus de transfert. La publication de Llamion fournit un modèle pratique, performant et compétent en coréen, compatible avec les piles d'inférence standard, comblant une lacune spécifique dans l'écosystème Open Ko LLM.

Les auteurs restent modestes quant à la portée, notant que les revendications empiriques sont basées sur une seule paire source/cible (Orion-14B vers Llama) et que la généralisation à d'autres paires (par exemple, Gemma vers Qwen) n'a pas encore été démontrée. Ils notent également que OPM est actuellement spécifique à la transition LayerNorm vers RMSNorm.