Resumen Técnico: Mi:dm 2.0 – Modelos de Lenguaje Extensos Bilingües Centrados en Corea

Planteamiento del Problema

A pesar de la proliferación de Modelos de Lenguaje Extensos (LLMs) que admiten el idioma coreano, persiste una brecha significativa en modelos que estén verdaderamente arraigados en las realidades de la sociedad coreana. Los modelos existentes suelen sufrir de datos de entrenamiento en coreano insuficientes o de baja calidad, lo que deriva en un rendimiento lingüístico limitado y una falta de alineación con las sensibilidades culturales coreanas. Esto resulta en respuestas antinaturales, incongruencia emocional o incluso cambios de idioma desde la perspectiva de los usuarios coreanos. Además, los conjuntos de datos coreanos existentes están estructuralmente desequilibrados, con un fuerte sesgo hacia las humanidades y las ciencias sociales, careciendo de representación en STEM, ciencias aplicadas y diversos formatos estructurales (por ejemplo, razonamiento de formato largo, código). El desafío radica en desarrollar un modelo que no solo procese texto en coreano, sino que también internalice los valores únicos, los marcos cognitivos y el razonamiento de sentido común inherentes a la cultura coreana, todo ello operando eficientemente dentro de restricciones de recursos.

Metodología

1. Ingeniería y Curación de Datos

El desarrollo de Mi:dm 2.0 prioriza la calidad de los datos sobre la cantidad, empleando un riguroso pipeline multi-etapa para abordar la escasez de corpora coreanos de alta calidad.

• Clasificación de Datos: Un marco multidimensional categoriza los datos por idioma, dominio (Humanidades, STEM, Ciencias Aplicadas, etc.), fuente (Orgánica vs. Sintética) y estilo lingüístico (Formal/Informal, Escrito/Hablado).
• Pipeline de Filtrado: Se aplica un proceso de filtrado de 8 etapas a los datos web en coreano, que incluye deduplicación de documentos, filtrado heurístico, filtrado de perplejidad, corrección de documentos rotos, filtrado de calidad basado en modelos, eliminación de contenido tóxico, deduplicación a nivel de línea y anonimización de PII (Información de Identificación Personal).
• Generación de Datos Sintéticos: Para compensar los desequilibrios de dominio (particularmente en STEM y ciencias aplicadas) y la diversidad estructural, los autores generan datos sintéticos de alta fidelidad. Las estrategias incluyen:
  • Equilibrio de Dominio: Conversión de conceptos semilla en explicaciones de estilo libro de texto y narrativas basadas en escenarios para dominios subrepresentados.
  • Reconstrucción: Reescritura de documentos de Common Crawl de baja calidad pero temáticamente relevantes que fueron filtrados para recuperar tokens utilizables.
  • Aumentación Cross-lingual: Reescritura de documentos web en inglés hacia formatos naturales en coreano (por ejemplo, convirtiendo el contenido en preguntas de exámenes de ingreso universitario) para introducir diversidad estructural sin depender de la traducción directa.
  • Datos de Razonamiento: Construcción de conjuntos de datos de Cadena de Pensamiento Larga (Long Chain-of-Thought o LongCoT) para razonamiento matemático y de código.
• Tokenizer: Se diseñó un tokenizer personalizado específicamente para la estructura morfológica del coreano para mejorar la compresión de tokens y la eficiencia computacional.

2. Arquitectura del Modelo y Estrategias de Entrenamiento

Mi:dm 2.0 se lanza en dos configuraciones: Base (11.5 mil millones de parámetros) y Mini (2.3 mil millones de parámetros). Ambos utilizan una arquitectura Transformer de solo decodificador con Atención de Consulta Agrupada (GQA) y activación SiLU.

• Mi:dm 2.0 Base (Escalamiento de Profundidad - Depth-up Scaling):

  • Etapa 1: Un modelo de 8 mil millones de parámetros es pre-entrenado desde cero en un corpus curado.
  • Etapa 2: El modelo se expande a 11.5 mil millones de parámetros utilizando una estrategia de Depth-up Scaling (DuS). Se identifican capas con alta similitud de coseno en los cambios de embedding (que indican una preservación estable de la información) y se duplican para aumentar la profundidad de 32 a 48 capas sin cambios arquitectónicos complejos.
  • Extensión de Contexto Largo: La frecuencia base del Posicionamiento Rotatorio (Rotary Position Embedding - RoPE) se ajusta para extender la longitud del contexto de 8K a 32K tokens.

• Mi:dm 2.0 Mini (Poda y Destilación):

  • Derivado del modelo Base mediante un proceso multi-etapa para optimizarlo para entornos con restricciones de recursos.
  • Etapa 1: La poda de ancho reduce el modelo a un modelo intermedio "Base-half" de 5 mil millones.
  • Etapa 2: Se realiza la destilación de conocimiento utilizando tanto el modelo intermedio como el modelo Base completo como maestros. El modelo estudiante se poda posteriormente a 2.3 mil millones de parámetros, utilizando el intercambio de pesos para los embeddings.

3. Post-Entrenamiento (Alineación)

La fase de post-entrenamiento se centra en seis capacidades clave: Seguimiento de Instrucciones (IF), Razonamiento, Generación Aumentada por Recuperación (RAG), Capacidad de Agente, Seguridad y Manejo de Contexto Largo.

• Ajuste Fino Supervisado (SFT): Se entrenan múltiples modelos SFT en conjuntos de datos diversos (Chat General, IF, Razonamiento, RAG, Uso de Herramientas, Seguridad) y sus pesos se fusionan para unificar capacidades.
• Optimización de Preferencias (RL): Se aplica el Aprendizaje por Refuerzo utilizando preferencias humanas y de IA para alinear el modelo con la seguridad, la fiabilidad y la intención del usuario.
• Entrenamiento de Seguridad: Se construyen extensos conjuntos de datos para manejar la inocuidad, la honestidad y la consistencia de rol, incluyendo el manejo específico de consultas límite.

Contribuciones Clave

• Definición de IA Centrada en Corea: El artículo establece un marco para la "IA centrada en Corea", enfatizando la internalización de los valores socioculturales, las normas y los patrones de razonamiento coreanos, más allá de la mera competencia lingüística.
• Innovación Centrada en los Datos: La introducción de un pipeline de limpieza de datos propietario y multi-etapa, junto con la generación estratégica de datos sintéticos diseñada específicamente para corregir los desequilibrios de dominio (por ejemplo, la subrepresentación de STEM) en los corpora coreanos.
• Técnicas de Escalamiento Eficientes: La aplicación exitosa de Depth-up Scaling (DuS) para expandir la capacidad del modelo y la poda/destilación multi-etapa para crear un modelo de 2.3 mil millones de alto rendimiento, demostrando resultados competitivos con una carga computacional significativamente menor.
• Suite de Evaluación Integral: El desarrollo de benchmarks propietarios específicos para Corea (K-Pragmatics, K-Referential, Ko-Sovereign) y evaluaciones de IA Responsable (RAI) adaptadas al contexto coreano, yendo más allá de las métricas centradas en el inglés.

Resultados

• Benchmarks Coreanos: Mi:dm 2.0 Base logra un rendimiento de vanguardia en benchmarks específicos de Corea. Supera la línea base nacional (Exaone-3.5-7.8B) en un 9.6% en razonamiento y un 8.7% en conocimiento general. Notablemente, muestra una ventaja del 17.1% sobre Exaone-3.5-7.8B en el benchmark K-Referential-hard y lidera en el benchmark HAERAE para la comprensión cultural.
• Benchmarks Generales: En benchmarks de inglés (MMLU, GSM8K, etc.), Mi:dm 2.0 Base demuestra un rendimiento competitivo, particularmente en el seguimiento de instrucciones y matemáticas, superando a menudo a modelos globales de tamaño similar.
• Eficiencia: Mi:dm 2.0 Mini (2.3B) logra un rendimiento comparable o superior al modelo Exaone de 2.4B en el seguimiento de instrucciones y tareas de sociedad/cultura coreana, a pesar de tener menos parámetros.
• Seguridad y Robustez: En las evaluaciones de RAI, Mi:dm 2.0 Base logra una "Tasa de No Inseguridad" del 97.75% en seguridad de contenido, superando a Llama-3.1-8B. En escenarios de red teaming, demuestra la Tasa de Éxito de Ataque más baja (36.72%) entre modelos comparables.

Significado y Reivindicaciones

El artículo afirma que Mi:dm 2.0 establece un nuevo estándar para una IA genuinamente centrada en Corea al ir más allá del procesamiento lingüístico para encarnar los matices culturales y los valores sociales. Los autores argumentan que su enfoque —priorizando la curación rigurosa de datos, la aumentación sintética estratégica y las técnicas de escalamiento eficiente— permite el desarrollo de modelos de alto rendimiento incluso con recursos computacionales limitados y corpora de entrenamiento más pequeños en comparación con sus contrapartes globales.

Al lanzar tanto el modelo Base como el Mini bajo la licencia MIT, KT busca acelerar la adopción de la IA en las industrias, servicios públicos y educación de Corea. Los modelos se posicionan como elementos fundamentales de la "K-inteligencia", destinados a fortalecer la comunidad de desarrolladores de IA coreana y proporcionar herramientas fiables y culturalmente apropiadas para aplicaciones del mundo real. El artículo concluye que el éxito de Mi:dm 2.0 valida el papel crítico de la composición precisa de los datos y las estrategias de entrenamiento eficiente para mejorar el rendimiento del modelo, ofreciendo un plano para desarrollar LLMs especializados y de alta calidad en entornos con recursos limitados o lingüísticamente específicos.