💬 NLP

Llamion Technical Report

El artículo presenta Llamion, una familia de modelos de pesos abiertos con 14 mil millones de parámetros que transforma con éxito la arquitectura Orion-14B al formato Llama mediante una receta novedosa llamada KEPT, logrando un rendimiento de vanguardia en pruebas como KoMMLU y preservando capacidades avanzadas como el manejo de contextos largos con recursos de entrenamiento mínimos.

Autores originales: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

Publicado 2026-05-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Mover una Casa sin Perder los Muebles

Imagina que tienes una casa magnífica, totalmente amueblada (un modelo de IA potente llamado Orion) construida sobre una cimentación única y personalizada. Funciona genial, pero las leyes de zonificación locales de la ciudad (el estándar de arquitectura Llama) solo permiten casas construidas sobre una cimentación específica y estandarizada.

Si intentas simplemente mover la casa a la nueva cimentación, la fontanería podría romperse, las puertas podrían no encajar y los muebles podrían perderse. Por lo general, para solucionar esto, tendrías que comprar una casa nueva y pasar años reamueblándola desde cero usando planos antiguos (un proceso llamado reentrenamiento). Esto es costoso, lento y requiere que tengas los planos originales, los cuales a menudo no posees.

Llamion es el resultado de una nueva y astuta estrategia de mudanza llamada KEPT. En lugar de reconstruir la casa, el equipo logró mover exactamente los mismos muebles y exactamente la misma distribución a la nueva cimentación estandarizada, manteniendo intacta la personalidad y las habilidades de la casa.

Cómo lo Hicieron: La Receta "KEPT"

El equipo utilizó una receta de tres pasos llamada KEPT (Preservación Eficiente del Conocimiento para la Transformación) para mover la IA de Orion al estilo Llama:

Mapeo de Parámetros Normal (NPM): "La Mudanza Directa"
Para las partes de la IA que funcionan de la misma manera en ambas casas (como el vocabulario y los centros de lógica), simplemente recogieron los muebles y los colocaron en el mismo lugar exacto de la nueva casa. No se necesitó ningún cambio.
Mapeo de Parámetros Optimizado (OPM): "El Ajuste Perfecto"
Algunas partes de la casa antigua utilizaban un tipo diferente de bisagra para las puertas (llamada LayerNorm) que la nueva casa (que utiliza RMSNorm). En lugar de adivinar cómo arreglarlas, el equipo demostró matemáticamente que si simplemente cambias las bisagras directamente sin ningún trabajo extra, encajan perfectamente. Este paso requirió cero entrenamiento y ningún dato adicional. Es como darte cuenta de que tu viejo sofá encaja perfectamente en la nueva sala de estar sin necesidad de volver a tapizarlo.
Destilación de Conocimiento Transarquitectónico (XKD): "La Sombra"
Después de mover los muebles, la casa podría sentirse ligeramente "rara". Para solucionar esto, utilizaron la IA original (Orion) como un profesor congelado. Pidieron a la nueva IA (Llamion) que observara al profesor responder preguntas y copiara sus respuestas exactamente.
- El Truco: No necesitaban la biblioteca original de libros en la que se entrenó el profesor. Solo necesitaban una pequeña pila de tarjetas de conversación aleatorias (aproximadamente 123 millones de palabras) para practicar copiar el estilo del profesor.

Los Resultados: Una Mudanza Milagrosa

Los resultados de esta "mudanza" fueron sorprendentemente exitosos:

Velocidad y Costo: Lo hicieron en una sola placa de computadora potente (una GPU A100) en solo cuatro días. Por lo general, reentrenar un modelo así toma meses y cuesta una fortuna.
Rendimiento: El nuevo modelo, Llamion, habla coreano tan bien como el Orion original. De hecho, en una prueba de conocimiento coreano (KoMMLU), obtuvo una puntuación del 66.87%, superando al siguiente mejor modelo por un margen enorme (más de 7 puntos).
La Transferencia "Mágica": La parte más impresionante es lo que no enseñaron al nuevo modelo durante la mudanza.
- Programación: Los datos de entrenamiento tenían casi ningún código informático, sin embargo, Llamion aún puede escribir Python perfectamente.
- Memoria Larga: Los datos de entrenamiento eran cortos (4,000 palabras), sin embargo, Llamion aún puede recordar y procesar documentos enormes (200,000 palabras) al igual que el original.

Por Qué Esto Importa

Piénsalo así: Si enseñas a un estudiante a imitar el estilo de cocina de un chef maestro usando un pequeño libro de recetas, el estudiante generalmente solo aprende esas recetas específicas. Pero como Llamion fue entrenado para imitar el cerebro del chef maestro (la lógica oculta) en lugar de simplemente memorizar las recetas, heredó la capacidad del chef para cocinar cualquier cosa, incluso platos que no estaban en el pequeño libro de recetas.

Resumen

El documento afirma que Llamion es un nuevo modelo de IA que toma una IA coreana potente pero "no estándar" (Orion) y la transforma al formato estándar de la industria "Llama". Lo hicieron utilizando un método inteligente (KEPT) que mueve el conocimiento del modelo directamente y utiliza una cantidad mínima de datos para ajustar el ajuste. El resultado es un modelo compatible con herramientas estándar, que se ejecuta más rápido y mantiene todas las habilidades del modelo original, incluida la programación y la memoria larga, sin necesidad de ser reentrenado desde cero.

Resumen Técnico: Llamion y KEPT

Enunciado del Problema

El ecosistema de Modelos de Lenguaje Grandes (LLM) de código abierto está fragmentado por elecciones arquitectónicas de bajo nivel divergentes (por ejemplo, LayerNorm frente a RMSNorm, atención multi-cabeza frente a atención de consulta agrupada, codificaciones posicionales absolutas frente a RoPE). Aunque el campo ha convergido en gran medida en una plantilla estandarizada de la "familia Llama" (solo decodificador, RoPE, RMSNorm, SwiGLU), muchos modelos preentrenados competentes utilizan arquitecturas no estándar. Convertir estos modelos a la plantilla estándar es necesario para la compatibilidad con herramientas y pilas de despliegue convencionales (que a menudo imponen trust_remote_code=False), pero tales transformaciones arquitectónicas suelen resultar en una pérdida significativa de conocimiento.

El remedio convencional, el reentrenamiento (entrenamiento continuo en un nuevo corpus), es costoso e intensivo en datos. Requiere un corpus que cubra todo el conocimiento previamente aprendido para evitar el olvido catastrófico, una condición a menudo imposible de cumplir cuando los datos de preentrenamiento originales son privados. Además, el reentrenamiento incurre en una fracción no trivial del costo computacional del preentrenamiento original.

Metodología: KEPT

Los autores introducen KEPT (Preservación Eficiente de Conocimiento para Transformación), una receta de tres etapas para convertir un modelo fuente ( $M_{src}$ ) con una arquitectura no estándar en un modelo objetivo ( $M_{tgt}$ ) con una arquitectura estandarizada sin requerir acceso al corpus de preentrenamiento original. KEPT alinea las salidas de la red modificada con la red original en cualquier distribución de entrada razonable.

El proceso consiste en:

Mapeo de Parámetros Normal (NPM): Para módulos donde el cálculo permanece sin cambios (por ejemplo, incrustaciones de tokens, proyecciones de atención, MLP), los parámetros se copian literalmente de la fuente al objetivo. Esto proporciona una inicialización de alta calidad.
Mapeo de Parámetros Optimizado (OPM): Para módulos donde el cálculo cambia pero admite una inicialización fundamentada, se aplica un mapeo sin entrenamiento. El artículo se centra en la transición LayerNorm-a-RMSNorm. Los autores demuestran que, bajo el régimen de activación de media casi cero inducido por la decadencia de pesos (común en modelos entrenados con AdamW), los pesos óptimos de RMSNorm son simplemente los pesos de LayerNorm ( $\theta \leftarrow \gamma$ ), y el término de sesgo ( $\beta$ ) puede descartarse. Esta solución analítica elimina la necesidad de entrenamiento en este módulo específico.
Destilación de Conocimiento Cross-arquitectura (XKD): Un paso de alineación residual donde el modelo objetivo (estudiante) se entrena para reproducir las salidas del modelo fuente congelado (profesor). El profesor y el estudiante son del mismo tamaño, lo que distingue esto de la destilación basada en compresión clásica. Los autores utilizan dos objetivos:
- Objetivo de estado oculto: Coincide con las activaciones del flujo residual capa por capa.
- Objetivo de logit: Coincide con los logits de salida finales del LM-head. Se encuentra que el objetivo de logit converge más rápido y produce resultados marginalmente mejores, probablemente porque impone una restricción más débil en las trayectorias internas que ya están bien inicializadas por NPM/OPM.

Contribuciones Clave

Familia de Modelos Llamion: El lanzamiento de tres puntos de control de 14 mil millones de parámetros (Base, Chat, LongChat) derivados de Orion-14B (un modelo con LayerNorm y atención no estándar) convertidos a la plantilla de la familia Llama. Estos modelos se cargan con trust_remote_code=False en la biblioteca Hugging Face Transformers.
Prueba Teórica para OPM: Una solución de forma cerrada que demuestra que los pesos óptimos de RMSNorm que reemplazan a LayerNorm bajo alineación de salida L2 son equivalentes a los pesos originales de LayerNorm en el régimen de media casi cero, haciendo que la conversión de la capa de normalización sea libre de entrenamiento.
Conversión Eficiente: El método recupera el comportamiento del modelo fuente utilizando solo ~123 millones de tokens en una sola GPU A100 durante cuatro días, una fracción de la computación requerida para el reentrenamiento.
Preservación de Capacidad Zero-Shot: El método preserva capacidades completamente ausentes del corpus de transferencia, específicamente programación en Python y manejo de contextos de 200 mil tokens, demostrando que KEPT transfiere el conocimiento inherente del profesor en lugar de simplemente reaprender el corpus de transferencia.

Resultados

Los autores evaluaron Llamion frente al Orion-14B original y otras líneas base en varias pruebas:

Prueba H6 (Few-Shot en Inglés): Llamion-Base logró una puntuación promedio de 60.53 (utilizando el objetivo de logit), recuperando casi todo el rendimiento de Orion (60.83). En contraste, el mapeo de parámetros por sí solo (OPM) redujo el rendimiento a 31.19, y el reentrenamiento (UT) sin destilación alcanzó 57.77. El XKD basado en logit superó al reentrenamiento en ~2.76 puntos con el mismo presupuesto computacional.
MT-Bench (Diálogo de múltiples turnos): Llamion-Chat logró una puntuación de 7.034, igualando a Orion-Chat (7.116) dentro de 0.1 puntos. El reentrenamiento por sí solo (5.709) y OPM por sí solo (1.226) tuvieron un rendimiento significativamente peor, destacando la necesidad del objetivo de destilación para la coherencia generativa.
KoMMLU (MMLU en Coreano): Llamion-Base obtuvo 66.87%, superando a la siguiente mejor entrada en el Open Ko LLM Leaderboard en >7.0 puntos absolutos. Esto confirma la preservación de las fuertes capacidades de idioma coreano de Orion.
Transferencia Zero-Shot:
- Programación: Llamion-Chat generó código Python competente a pesar de que el corpus de transferencia (MIRACL) contenía esencialmente ningún texto de programación.
- Contexto Largo: Llamion-LongChat mantuvo una perplejidad baja en secuencias de 200 mil tokens, a pesar de que el corpus de transferencia estaba limitado a 4 mil tokens. Esto se atribuyó a la preservación de la base RoPE y a la naturaleza de alineación de comportamiento de XKD.

Significado y Afirmaciones

El artículo afirma que KEPT desacopla exitosamente la elección arquitectónica de los datos de preentrenamiento. Al alinear un modelo con un profesor congelado en lugar de una distribución de datos, el método permite a los practicantes adoptar arquitecturas amigables para el despliegue (como la plantilla Llama) sin pagar el "impuesto de preentrenamiento" ni perder capacidades presentes en el modelo fuente.

Los autores posicionan esto como una solución al problema de la "pérdida de conocimiento" en la transformación arquitectónica. Enfatizan que la preservación de capacidades en dominios no vistos (programación, contexto largo) sirve como evidencia directa de que el método transfiere el conocimiento aprendido del profesor en lugar de reaprender del corpus de transferencia. El lanzamiento de Llamion proporciona un modelo práctico, de alto rendimiento y competente en coreano que es compatible con pilas de inferencia estándar, abordando una brecha específica en el ecosistema Open Ko LLM.

Los autores permanecen modestos respecto al alcance, señalando que las afirmaciones empíricas se basan en un único par fuente/objetivo (Orion-14B a Llama) y que la generalización a otros pares (por ejemplo, Gemma a Qwen) aún no se ha demostrado. También notan que OPM es actualmente específico para la transición LayerNorm-a-RMSNorm.