Resumen Técnico: Typhoon-S: Post-entrenamiento Mínimo y Abierto para Modelos de Lenguaje de Gran Escala Soberanos

1. Planteamiento del Problema

El desarrollo de Modelos de Lenguaje de Gran Escala (LLMs) de vanguardia está actualmente concentrado en un pequeño número de organizaciones que poseen masivos recursos computacionales y acceso a conjuntos de datos de alto recurso y gran escala (principalmente inglés y chino). Esto crea una barrera de "control de recursos" para los entornos soberanos: escenarios donde las instituciones nacionales o regionales deben mantener el control total sobre los pesos del modelo, los datos de entrenamiento y las metodologías, operando bajo estrictas restricciones de transparencia y presupuestos computacionales limitados.

Los modelos base existentes adaptados a la soberanía suelen exhibir un fuerte conocimiento regional, pero presentan un rezago significativo en el seguimiento de instrucciones generales, el uso de herramientas y los comportos agénticos. La receta estándar de post-entrenamiento para cerrar esta brecha —escalar masivos corpus de instrucción de propósito general y complejos flujos de trabajo de Refuerzo de Ajuste Fino (RFT)— suele ser inaccesible para grupos de investigación más pequeños o iniciativas nacionales debido a la complejidad de ingeniería y los requisitos de datos.

El documento identifica dos requisitos fundamentales para los LLMs soberanos:

1. Adoptabilidad: La capacidad de transformar un modelo base en un asistente de propósito general capaz de seguir instrucciones, realizar tareas matemáticas, generar código y utilizar herramientas.
2. Capacidad Soberana: La capacidad de realizar tareas de alto riesgo y específicas de la región (por ejemplo, razonamiento legal local, conocimiento cultural) que están subrepresentadas en los datos de preentrenamiento general.

La pregunta central de investigación es: ¿Qué estrategia de post-entrenamiento puede permitir un rendimiento competitivo con modelos de vanguardia bajo restricciones de recursos de nivel académico?

2. Metodología

Los autores proponen Typhoon S, una receta de post-entrenamiento mínima y abierta diseñada para abordar los requisitos anteriores utilizando el tailandés como caso de estudio representativo. El enfoque se divide en dos procesos distintos.

2.1 Proceso para la Adoptabilidad (SFT + OPD)

Para transformar los modelos base en asistentes ajustados a instrucciones, los autores utilizan un proceso de dos etapas:

1. Ajuste Fino Supervisado (SFT):
   • Datos: Un corpus unificado que combina datos de instrucción en inglés de código abierto (Tulu 3, Toucan Tool) con un conjunto de datos dedicado en tailandés. El conjunto de datos en tailandés se construye mediante "AutoIF", traduciendo prompts de usuarios reales (WildChat) y agregando instrucciones existentes en tailandés, aumentadas con la traducción y colocación de restricciones aleatorias para mejorar la robustez del cambio de código (code-switching).
   • Objetivo: Dotar al modelo base con capacidades básicas de seguimiento de instrucciones y uso de herramientas.
2. Destilación On-Policy (OPD):
   • Mecanismo: Tras el SFT, el modelo se somete a una Destilación de Conocimiento Generalizada (GKD). A diferencia de la destilación offline, la OPD utiliza al modelo estudiante para generar trayectorias (datos on-policy) que luego son corregidas por un modelo profesor.
   • Implementación: Los autores implementan un marco ligero utilizando HuggingFace Transformers y TRL para permitir la destilación de logit completo (full-logits distillation) en hardware limitado (4–8 GPUs H100) mediante el intercambio dinámico de modelos y el volcado a CPU (CPU offloading).
   • Objetivo: Minimizar la divergencia entre las distribuciones de tokens del estudiante y del profesor para reducir el desajuste entre entrenamiento e inferencia y mejorar la generalización.

2.2 Proceso para la Capacidad Soberana (InK-GRPO)

Para mejorar el razonamiento específico del dominio y la inyección de conocimiento, los autores introducen Injected Knowledge GRPO (InK-GRPO), una extensión del algoritmo de Optimización de Política Relativa de Grupo (GRPO).

• El Desafío: El RFT estándar amplifica el conocimiento existente, pero tiene dificultades para inyectar nuevos hechos específicos del dominio o para soportar comportamientos agénticos complejos.
• La Solución (InK-GRPO): El objetivo de entrenamiento se aumenta con una pérdida de entropía cruzada (CE) estocástica calculada sobre un corpus de texto separado del dominio (datos de estilo preentrenamiento).
  • Fórmula: $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$, donde $b \sim \text{Bernoulli}(\rho)$.
  • Mecanismo: Esto permite que el modelo alterne entre la optimización enfocada en la tarea (GRPO) y la adquisición de conocimiento de dominio (pérdida CE) dentro del mismo paso de entrenamiento.
• RFT Agéntico: El marco se extiende a un entorno agéntico donde el modelo interactúa con un entorno de Generación Aumentada por Recuperación (RAG) utilizando herramientas de search (búsqueda) y read (lectura). El modelo aprende a intercalar el razonamiento con llamadas a herramientas para resolver problemas de múltiples pasos.

3. Contribuciones Clave

1. Definición de Requisitos Soberanos: El documento formaliza las necesidades duales de adoptabilidad (capacidades de asistente general) y capacidad soberana (tareas de alto riesgo específicas de la región) para entornos con restricciones de recursos.
2. Receta de Adoptabilidad Mínima: Un proceso validado que combina SFT ligero y Destilación On-Policy (OPD) que transforma modelos base adaptados a la soberanía en asistentes ajustados a instrucciones competitivos sin necesidad de una escala masiva.
3. InK-GRPO: Un algoritmo novedoso que aumenta GRPO con la predicción estocástica del siguiente token en datos del dominio. Esto permite la optimización simultánea del rendimiento de la tarea y la inyección de nuevo conocimiento de dominio, abordando una limitación clave del RFT estándar.
4. Extensión de RFT Agéntico: Demostración de que InK-GRPO puede aplicarse eficazmente en escenarios de razonamiento agéntico de múltiples turnos con uso de herramientas externas.

4. Resultados

Los experimentos se realizaron utilizando el tailandés como caso de prueba principal, utilizando modelos que van desde 4B hasta 8B de parámetros entrenados en 4–8 GPUs H100.

Resultados de Adoptabilidad

• SFT vs. SFT+OPD: Se encontró que el SFT por sí solo era insuficiente para un rendimiento robusto, particularmente en el cambio de código y el uso de herramientas. Añadir OPD mejoró la puntuación promedio de los benchmarks en +6.49 puntos y mejoró significativamente la robustez en tareas de cambio de código en tailandés.
• Full-Logits vs. Top-K: La destilación de logit completo proporcionó una robustez superior en la generación de texto abierto y en el cambio de código multilingüe en comparación con la destilación Top-K, aunque Top-K fue suficiente para tareas con restricciones.
• Adaptación del Modelo Base: La receta transformó con éxito el modelo base adaptado a la soberanía ThaiLLM-8B en Typhoon-S-8B Instruct. Este modelo superó al Qwen3-8B de propósito general en benchmarks estrictos de tailandés (Chat, Code-Switching, OpenThaiEval), manteniendo al mismo tiempo un rendimiento competitivo en tareas generales de inglés.

Resultados de Capacidad Soberana

• Eficacia de InK-GRPO: En NitiBench (razonamiento legal tailandés), InK-GRPO alcanzó una precisión del 19.30% en comparación con el 15.82% del GRPO estándar. En MIRAGE-Bench, también mostró ganancias consistentes.
• Fuente de Datos: Se encontró que el texto del dominio con estilo de preentrenamiento era más efectivo para el componente de pérdida CE que los datos de instrucción tipo SFT, probablemente porque evita sobre-restringir la política.
• Desempeño Agéntico: En una configuración agéntica RAG de múltiples turnos, el Typhoon-S-4B Legal Agent (entrenado con Agentic InK-GRPO) alcanzó una precisión del 78.02% en NitiBench, superando tanto al entrenamiento solo con GRPO (73.73%) como a GPT-5 con configuraciones agénticas comparables (75.34%).
• Retención de Capacidad General: Crucialmente, los modelos entrenados con InK-GRPO no mostraron evidencia de olvido catastrófico severo. Las puntuaciones de capacidad general se mantuvieron estables (dentro de un rango estrecho de 48.08%–49.55%) en todos los benchmarks, lo que indica que la especialización de dominio no degradó el razonamiento o el conocimiento general.

5. Significación y Reivindicaciones

El documento argumenta que el diseño cuidadoso del post-entrenamiento, en lugar de la mera escala, es la clave para los LLMs soberanos prácticos.

• Eficiencia de Recursos: Las recetas propuestas logran resultados de alta calidad con recursos de escala académica (aproximadamente dos días de entrenamiento con 8 GPUs para la adoptabilidad y un día de entrenamiento con 4 GPUs para la capacidad soberana).
• Transparencia y Control: Al depender de conjuntos de datos abiertos y procesos mínimos y transparentes, Typhoon S proporciona un camino viable para que las instituciones nacionales desarrollen modelos que controlen plenamente, comprendan y puedan adaptar a sus contextos culturales y legales locales.
• Generalizabilidad: Aunque el estudio se centra en el tailandés, los autores afirman que la metodología no está ligada al conjunto de datos específico y es generalizable a otros idiomas y contextos culturales.

Los autores concluyen que su enfoque ofrece un "camino práctico hacia LLMs soberanos de alta calidad", demostrando que no es estrictamente necesario contar con procesos complejos y pesados en recursos para lograr un rendimiento competitivo tanto en dominios generales como específicos de una región.