Bridging the Reasoning Gap in Vietnamese with Small Language Models via Test-Time Scaling

Título: Superando la Brecha de Razonamiento en Modelos de Lenguaje Pequeños (SLM) en Vietnamita mediante Escalado en Tiempo de Prueba

1. El Problema

La democratización de la IA en dispositivos con recursos limitados (bordes) depende de la capacidad de desplegar modelos de lenguaje pequeños (SLM, generalmente <7B parámetros) con capacidades de razonamiento avanzadas. Sin embargo, los SLMs enfrentan una "brecha de razonamiento", especialmente en idiomas de recursos medios o bajos como el vietnamita.

• Desafío Principal: Aunque los SLMs pueden ser fluidos gramaticalmente, a menudo fallan en la deducción lógica multi-paso, la manipulación simbólica y la consistencia aritmética.
• Contexto Específico: En matemáticas elementales vietnamitas, los modelos base tienden a producir cálculos correctos pero carecen de una "cadena de pensamiento" coherente, sufren de errores de formato y no se alinean con los estándares pedagógicos locales (ej. terminología matemática específica, uso de comas como separadores decimales).
• Limitación de Estrategias Actuales: Se desconoce si las técnicas de escalado en tiempo de prueba (como Chain-of-Thought o ReAct) desarrolladas para modelos grandes son efectivas en modelos micro (sub-2B parámetros) en idiomas no ingleses.

2. Metodología

Los autores investigaron el modelo Qwen3-1.7B (un modelo denso de 1.7 mil millones de parámetros) utilizando una combinación de ajuste fino supervisado (SFT) y estrategias de prompting avanzadas.

• Construcción de Datos (Vi-S1K):
  • Crearon un conjunto de datos de entrenamiento de alta fidelidad localizando el dataset Simple Scaling S1K (originalmente en inglés) al vietnamita.
  • Utilizaron una tubería automatizada con Gemini 2.5 Flash-Lite para realizar traducciones conscientes del contexto, preservando la lógica matemática y normalizando la terminología (ej. "dấu phẩy" para decimales) según el currículo educativo vietnamita.
• Ajuste Fino (SFT):
  • Se aplicó LoRA (Low-Rank Adaptation) al modelo Qwen3-1.7B utilizando el dataset Vi-S1K.
  • Objetivo: Transformar al modelo de una "calculadora latente" a un "tutor coherente" capaz de generar explicaciones paso a paso.
• Estrategias de Prompting Evaluadas:
  Se compararon cinco estrategias en un entorno de prueba con 1,010 problemas matemáticos (Vi-Elementary-Bench):
  1. Zero-shot (Base).
  2. Few-shot (Aprendizaje en contexto).
  3. Chain-of-Thought (CoT): Instrucción explícita de "pensar paso a paso".
  4. CoT con Autoconsistencia (CoT-SC): Generación de múltiples rutas de razonamiento (k=3, k=5) y votación mayoritaria.
  5. ReAct: Interleaving de Pensamiento, Acción y Observación (adaptado para razonamiento interno sin herramientas externas).
• Protocolo de Evaluación (LLM-as-a-Judge):
  • Se utilizó Gemini 2.5 Flash-Lite como juez único para evaluar las respuestas.
  • Métricas: Precisión, Completitud, Calidad de la Explicación, Estructura Lógica y Adecuación Cultural/Lingüística (escala 1-5).

3. Contribuciones Clave

1. Desarrollo de Benchmarks Duales en Vietnamita:
   • Vi-S1K: Un dataset de entrenamiento de alta fidelidad generado mediante una tubería de IA consciente del contexto.
   • Vi-Elementary-Bench: Una suite de evaluación robusta con 1,010 problemas clasificados en 6 categorías (desde acertijos lógicos hasta poemas matemáticos tradicionales vietnamitas).
2. Demostración del SFT como "Desbloqueador de Razonamiento":
   • Evidencia empírica de que el SFT no solo mejora la precisión numérica, sino que transforma fundamentalmente la capacidad del modelo para comunicar el razonamiento, actuando como un puente entre el cálculo bruto y la coherencia pedagógica.
3. Análisis de la "Tasa Cognitiva" en Modelos Pequeños:
   • Descubrimiento crítico de que los marcos estructurados complejos como ReAct imponen una carga cognitiva excesiva en modelos de 1.7B parámetros, degradando el rendimiento en comparación con enfoques más simples como CoT puro.

4. Resultados

• Rendimiento Base (Pre-SFT): El modelo base tenía una buena capacidad de cálculo latente (Precisión ~4.05/5 con CoT), pero fallaba estrepitosamente en la explicación y completitud (puntuaciones ~2.60), a menudo omitiendo pasos o usando terminología incorrecta.
• Impacto del SFT (Post-SFT):
  • Mejora en Explicación: Un aumento masivo del 77% en la calidad de la explicación (de ~2.60 a ~4.60).
  • Mejora en Precisión: Un aumento moderado pero sólido en la precisión (+0.50 puntos).
  • Estrategia Óptima: La combinación de CoT con Autoconsistencia (k=5) obtuvo la puntuación global más alta (4.69/5), superando a todas las demás estrategias.
• Fallo de ReAct: El enfoque ReAct tuvo el peor rendimiento incluso después del ajuste fino (4.11 vs 4.59 de CoT). El análisis cualitativo mostró que el formato estricto de ReAct causaba "alucinaciones de formato" y agotaba la capacidad de atención del modelo, impidiéndole concentrarse en la resolución del problema matemático.

5. Significado e Implicaciones

• Jerarquía de Despliegue para SLMs: El estudio establece que para dispositivos de borde y modelos pequeños (<2B parámetros), la estrategia óptima es SFT + CoT simplificado (o Autoconsistencia), evitando marcos de agentes complejos como ReAct que consumen demasiados recursos de atención.
• Validación del "Razonamiento Latente": Confirma que los modelos pequeños ya poseen conocimientos matemáticos profundos gracias a su pre-entrenamiento masivo, pero carecen del "protocolo" para expresarlos. El SFT actúa como la llave para desbloquear esta capacidad.
• Impacto en Idiomas de Recursos Medios: Proporciona una hoja de ruta replicable para adaptar modelos de razonamiento avanzados a idiomas como el vietnamita, demostrando que la localización requiere más que traducción; requiere adaptación cultural y pedagógica profunda.
• Eficiencia en el Borde: Demuestra que es posible desplegar asistentes educativos inteligentes en dispositivos móviles sin depender de modelos masivos en la nube, siempre que se utilicen las estrategias de inferencia correctas.

En conclusión, el artículo demuestra que la combinación de un ajuste fino dirigido con datos localizados y una estrategia de inferencia simplificada (CoT) es superior a las arquitecturas de agentes complejas para habilitar el razonamiento matemático robusto en modelos de lenguaje pequeños para el mercado vietnamita.