Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

Este estudio presenta un método general para construir conjuntos de datos sintéticos de alta calidad a partir de vocabulario específico, demostrando su eficacia al mejorar el razonamiento de modelos de lenguaje en el dominio financiero japonés mediante un dataset masivo con trazas de pensamiento encadenado.

Lo esencial

Imagina que quieres entrenar a un chef de élite (la Inteligencia Artificial) para que no solo sepa cocinar platos genéricos, sino que sea un experto mundial en la cocina financiera japonesa.

El problema es que, aunque el chef ya sabe cocinar (tiene conocimientos generales), si le das un libro de recetas de finanzas, solo aprenderá qué ingredientes existen, pero no sabrá cómo combinarlos para resolver problemas complejos como predecir el futuro de una empresa o detectar fraudes. Necesita aprender a pensar paso a paso antes de servir el plato.

Aquí te explico cómo lo hicieron estos investigadores, usando una analogía sencilla:

1. El Problema: El Chef que sabe, pero no piensa

Antes, los expertos entrenaban a las IAs simplemente dándoles más libros de finanzas (lo que se llama "entrenamiento continuo"). Esto hacía que la IA supiera mucho vocabulario financiero, pero seguía siendo torpe para razonar. Era como tener un chef que conoce el nombre de todos los pescados, pero no sabe cómo preparar un sushi perfecto si le pides que lo haga rápido.

2. La Solución: La Fábrica de Recetas Sintéticas

Los autores crearon un método automático para fabricar miles de millones de "ejercicios de cocina" (datos de instrucción) específicamente para finanzas en japonés.

• El Semillero: Empezaron con palabras clave (como "seguros", "bolsa", "planificación financiera").
• El Expansor: Usaron una IA muy inteligente para que, a partir de esas palabras, inventara millones de preguntas y situaciones diferentes.
• El Entrenamiento del Razonamiento (La Cadena de Pensamiento): Aquí está la magia. No solo le pidieron a la IA la respuesta final. Le obligaron a escribir todo su proceso de pensamiento antes de dar la solución.
  • Analogía: En lugar de que el chef te diga solo "Aquí tienes el sushi", le obligaron a escribir: "Primero, elijo el salmón fresco. Luego, reviso la temperatura del arroz. Si está muy caliente, espero un minuto. Finalmente, lo presento".
• El Filtro de Calidad: Usaron otra IA como un "juez de cocina" para revisar que las recetas no estuvieran mal escritas, que fueran únicas y que el razonamiento tuviera sentido.

El resultado fue una biblioteca gigante de 9.500 millones de palabras (tokens) llena de ejercicios financieros con sus pasos de razonamiento detallados.

3. El Resultado: El Chef se vuelve Maestro

Entrenaron a sus modelos con esta nueva biblioteca y los pusieron a prueba en exámenes financieros reales japoneses.

• El éxito: Los modelos entrenados con este método superaron a los modelos oficiales que ya existían.
• La lección: Al igual que un estudiante que aprende mejor cuando ve cómo se resuelve un problema matemático (no solo la respuesta), la IA aprendió a razonar mejor en finanzas porque vio millones de ejemplos de "pensamiento paso a paso".

4. El Hallazgo Curioso: ¿Más razonamiento es siempre mejor?

Los investigadores se preguntaron: "¿Qué pasa si obligamos a la IA a pensar más tiempo?".

• El punto dulce: Descubrieron que dejar que la IA piense alrededor de 1024 palabras (un razonamiento de longitud media) mejoraba mucho sus resultados.
• El punto de saturación: Si les obligaban a pensar más allá de eso (2048 o 4096 palabras), empeoraban.
  • ¿Por qué? La IA empezaba a dar vueltas en círculos o a decir cosas obvias solo para llenar el espacio, como un estudiante que escribe mucho para llenar la hoja de examen pero no añade valor. A veces, incluso se "atascaba" en bucles de repetición.

En Resumen

Este estudio es como haber creado una escuela de finanzas de alta tecnología donde la IA no solo memoriza datos, sino que practica pensar como un analista experto.

• Lo que lograron: Crearon un método que se puede usar para cualquier campo (no solo finanzas) para enseñar a las IAs a razonar.
• Lo que aprendieron: Pensar un poco más ayuda, pero pensar demasiado sin dirección clara solo confunde a la máquina.
• El regalo: Han hecho público todo el código y los datos para que cualquiera pueda usarlos y crear sus propios "chef expertos" en cualquier tema.

Es un paso gigante para que la Inteligencia Artificial deje de ser un simple buscador de respuestas y se convierta en un verdadero asistente lógico capaz de resolver problemas complejos en el mundo real.

Resumen técnico

Resumen Técnico: Construcción de Conjuntos de Datos Sintéticos para Mejorar el Razonamiento en LLMs de Dominio Específico

1. El Problema

La adaptación de los Modelos de Lenguaje Grandes (LLMs) a dominios de alta especialización, como las finanzas y el derecho, enfrenta un desafío crítico: lograr simultáneamente expertise de dominio y capacidad de razonamiento lógico.

• Limitación actual: Aunque el Pre-entrenamiento Continuo (CPT) es efectivo para adquirir conocimiento de dominio, a menudo carece de la capacidad de realizar tareas complejas que requieren análisis lógico (como detección de fraude o predicción de ganancias).
• Brecha en datos: Existen conjuntos de datos generales con trazas de razonamiento (Chain-of-Thought, CoT), pero faltan métodos robustos para construir datos a gran escala que sean específicos de un dominio (particularmente en japonés) e incluyan trazas de razonamiento de alta calidad.

2. Metodología Propuesta

Los autores proponen un pipeline general para la construcción de datos sintéticos de instrucciones, optimizado para dominios específicos. El proceso se ilustra en la Figura 1 del artículo y consta de las siguientes etapas:

1. Selección de Palabras Clave de Tópicos:
   • Se seleccionan palabras semilla que cubran el dominio objetivo (ej. sectores industriales, productos financieros).
   • Para evitar el "olvido catastrófico" de capacidades generales, se mezclan palabras de otros dominios y se generan sub-temas relacionados.
2. Generación de Instrucciones:
   • Un LLM genera prompts de usuario basados en las palabras clave.
   • Se asegura la diversidad mediante cuatro tipos de tareas: preguntas abiertas, razonamiento matemático, escritura creativa y preguntas de opción múltiple.
3. Expansión y Modificación:
   • Se varían los prompts añadiendo contexto, cambiando formatos, elaborando casos específicos y reescribiendo para temas relacionados.
4. Filtrado y Deduplicación:
   • Se aplica filtrado basado en n-gramas y longitud de palabras.
   • Se utiliza MinHash y LSH para la deduplicación difusa, eliminando datos redundantes.
5. Generación de Conversaciones Multi-turno:
   • Se crean diálogos interactivos donde el modelo alterna entre prompts de usuario y respuestas con trazas de razonamiento (CoT).
6. Filtrado de Calidad (LLM-as-a-Judge):
   • Se utiliza un LLM (gpt-oss-120b) como juez para evaluar la precisión del conocimiento de dominio y la lógica, descartando datos de baja calidad.
7. Integración de Datos Públicos:
   • Se incorporan conjuntos de datos públicos (ej. NuminaMath-CoT) para reforzar habilidades matemáticas y de seguimiento de instrucciones, aplicando el mismo pipeline de filtrado.

Escala del Dataset: El resultado final es un conjunto de datos de aproximadamente 1.44 millones de muestras y 9.5 mil millones de tokens, centrado en el sector financiero japonés.

3. Contribuciones Clave

• Pipeline Generalizado: Se establece un método reproducible para sintetizar y filtrar datos de instrucción con trazas de razonamiento, partiendo de palabras clave de dominio, aplicable más allá de las finanzas.
• Dataset Financiero Japonés a Gran Escala: Se construyó y liberó un dataset masivo (9.5B tokens) con trazas CoT, llenando un vacío en la investigación de LLMs en japonés para dominios especializados.
• Análisis de la Longitud de la Traza de Razonamiento: Se investiga empíricamente cómo la longitud de la traza de razonamiento afecta el rendimiento en tareas de dominio específico, un área previamente poco explorada fuera de las matemáticas.
• Código y Datos Abiertos: Los modelos y datasets se han hecho públicos en HuggingFace.

4. Resultados Experimentales

Los modelos se entrenaron utilizando Continued Pre-Training (CPT) en corpus financieros y Supervised Fine-Tuning (SFT) con el dataset sintético propuesto. Se evaluaron modelos base como Qwen3-14B y gpt-oss-20b.

• Rendimiento en Benchmarks Financieros:
  • Los modelos entrenados con el pipeline propuesto superaron a los modelos de instrucción oficial en benchmarks japoneses (japanese-lm-fin-harness y pfmt-bench-fin-ja).
  • El modelo gpt-oss-20b + CPT + SFT logró el mejor rendimiento, superando a la versión oficial en todas las sub-tareas.
  • La inferencia con trazas de razonamiento (CoT) mejoró el rendimiento entre 4.5 y 5.7 puntos en tareas de conocimiento financiero y 0.4 puntos en tareas de diálogo.
• Impacto de la Longitud de la Traza de Razonamiento:
  • Mejora Óptima: El rendimiento aumentó al extender la longitud de la traza hasta 1024 tokens.
  • Rendimientos Decrecientes: Longitudes superiores a 2048 tokens no mostraron mejoras significativas.
  • Fenómenos Observados:
    • Terminación prematura: El modelo a veces concluía el razonamiento inmediatamente después de un marcador de espera ("Wait").
    • Bucles de salida: En longitudes muy altas (4096+), el modelo repetía confirmaciones de conclusión sin realizar razonamiento sustancial.
    • Degradación por forzado: Forzar la terminación de la traza artificialmente causó una caída de varios puntos en el rendimiento, sugiriendo que el método de terminación natural es crucial.

5. Significado e Implicaciones

• Eficacia de los Datos Sintéticos: Demuestra que la generación de datos sintéticos basada en palabras clave de dominio es una estrategia altamente efectiva para la adaptación de LLMs, permitiendo inyectar tanto conocimiento como capacidades de razonamiento.
• Límites del Razonamiento Profundo: Proporciona evidencia empírica de que, en tareas de dominio específico, existe un punto de saturación (alrededor de 1024 tokens) donde aumentar la longitud del razonamiento no mejora el rendimiento y puede incluso introducir ruido o bucles.
• Reproducibilidad: Al abrir los datos y modelos, el estudio facilita la creación de LLMs especializados en otros campos de alta experticia (legal, médico, técnico), estableciendo un nuevo estándar para la construcción de datasets de razonamiento en idiomas distintos al inglés.

En conclusión, este trabajo valida que la combinación de CPT para conocimiento y SFT con datos sintéticos de razonamiento es la vía óptima para desarrollar LLMs competentes en dominios especializados, ofreciendo además directrices prácticas sobre la gestión de la longitud del razonamiento.