💬 NLP

Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts

El artículo presenta Nanbeige4.1-3B, un modelo de lenguaje generalista de código abierto con solo 3 mil millones de parámetros que, mediante técnicas avanzadas de alineación y aprendizaje por refuerzo, logra un rendimiento superior en razonamiento, generación de código y ejecución de herramientas, superando a modelos anteriores de su escala e incluso a otros significativamente más grandes.

Autores originales: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Publicado 2026-02-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Imagina que tienes un chef de cocina que pesa apenas 3 kilogramos (un modelo pequeño de 3 mil millones de parámetros), pero que es capaz de hacer lo que normalmente solo hacen chefs gigantes de 100 kilogramos (modelos de 100 mil millones de parámetros).

Ese es Nanbeige4.1-3B.

Aquí te explico cómo funciona este "chef" tan especial, usando analogías sencillas:

1. El Problema: Los Especialistas vs. Los Generales

Antes de este modelo, los cerebros pequeños de la IA tenían un problema: eran como estudiantes universitarios.

Si eras muy bueno en matemáticas, eras malo escribiendo poemas.
Si eras un experto en buscar información en internet, te costaba mucho escribir código de programación.
Si intentabas hacer de todo a la vez, te mareabas y cometías errores.

La pregunta que se hicieron los creadores fue: ¿Podemos entrenar a un estudiante pequeño para que sea un genio en todo a la vez?

2. La Solución: El Entrenamiento de "Olimpiadas"

Para crear a Nanbeige4.1-3B, los investigadores no solo le dieron libros para leer (datos), sino que le hicieron un entrenamiento muy estricto en tres áreas clave:

A. El Entrenador de Lógica (Razonamiento y Preferencias)

Imagina que el modelo está escribiendo una respuesta.

Antes: A veces escribía cosas repetitivas o que no tenían sentido, como un alumno que se queda pensando demasiado y dice tonterías.
Ahora: Usaron dos tipos de entrenadores (recompensas):
1. El Juez Individual: Le dice "Esta respuesta es buena por sí sola".
2. El Juez Comparativo: Le dice "Esta respuesta es mejor que la otra".
- La analogía: Es como tener un profesor que te corrige tu tarea, y luego otro que compara tu tarea con la de tu mejor amigo para decirte quién lo hizo mejor. Esto obliga al modelo a ser más preciso y a decir lo que los humanos realmente prefieren.

B. El Programador Eficiente (Código)

Cuando el modelo escribe código, no le basta con que funcione.

Antes: Podía escribir un código que funcionaba, pero era lento, como un coche que llega a la meta pero gasta mucha gasolina.
Ahora: Le enseñaron a buscar la eficiencia. Si el código funciona, el modelo recibe una "medalla de oro" extra si lo hace rápido y con pocos recursos.
- La analogía: No solo le piden que llegue a la tienda, sino que lo haga en el menor tiempo posible y sin gastar dinero en gasolina extra.

C. El Explorador de Tesoros (Búsqueda Profunda)

Esta es la parte más impresionante. Muchos modelos pequeños se rinden después de hacer 2 o 3 preguntas.

El problema: Si le preguntas algo complejo, se cansa y dice "no sé".
La solución: Nanbeige4.1-3B está entrenado para perseguir. Puede hacer hasta 600 pasos de búsqueda (como abrir 600 ventanas en tu navegador) sin perder el hilo.
- La analogía: Imagina que buscas una aguja en un pajar. Un modelo normal se rinde después de mover 5 pajas. Nanbeige es como un detective que mueve paja tras paja, sigue pistas, consulta mapas y no descansa hasta encontrar la aguja, aunque le tome horas.

3. Los Resultados: El Pequeño Gigante

¿Qué pasó cuando pusieron a prueba a este modelo de 3B?

En matemáticas y código: Superó a modelos mucho más grandes (como los de 30B o 80B parámetros). Es como si un niño de 10 años ganara una carrera de ajedrez contra un maestro de 40 años.
En búsquedas complejas: Donde otros modelos pequeños fallaban estrepitosamente, Nanbeige4.1-3B resolvió problemas que normalmente requieren modelos gigantes.
En la vida real: Lo pusieron a competir en concursos de programación reales (LeetCode) y ganó el primer lugar en varias rondas, resolviendo problemas que incluso modelos más grandes no podían.

En Resumen

Nanbeige4.1-3B demuestra que no necesitas un cerebro gigante para ser inteligente. Con el entrenamiento correcto (mezclando lógica, eficiencia y paciencia para buscar), un modelo pequeño puede hacer de todo: programar, razonar, buscar en internet y escribir como un humano, todo mientras cabe en una computadora normal.

Es la prueba de que la calidad del entrenamiento es más importante que el tamaño del cerebro.

Resumen Técnico: Nanbeige4.1-3B

1. Planteamiento del Problema

Los modelos de lenguaje pequeños (SLM, por sus siglas en inglés) han demostrado capacidades impresionantes en tareas especializadas como razonamiento matemático o generación de código. Sin embargo, la mayoría de estos modelos presentan capacidades fragmentadas:

Los modelos enfocados en razonamiento suelen fallar en interacciones a largo plazo (como búsquedas profundas o "deep search").
Los modelos especializados en agentes o código carecen de un razonamiento general robusto (escritura creativa, alineación con preferencias humanas).

El desafío abierto es construir un modelo generalista unificado a escala de 3 mil millones de parámetros (3B) que no sacrifique sus fortalezas existentes al integrar capacidades diversas. La pregunta clave es: ¿Hasta qué punto se puede empujar un modelo de 3B para que actúe como un agente generalista competente sin comprometer su rendimiento?

2. Metodología

Nanbeige4.1-3B se construye sobre la base de Nanbeige4-3B y utiliza una estrategia de entrenamiento post-entrenamiento estructurada que combina SFT (Ajuste Fino Supervisado) y Aprendizaje por Refuerzo (RL) en múltiples etapas.

A. Mejoras en Capacidades Generales (Razonamiento y Alineación):

SFT Avanzado: Se rediseñó la mezcla de datos, aumentando la proporción de código y problemas desafiantes en matemáticas y dominios generales. Se extendió la longitud de contexto a 256k tokens (tres etapas curriculares) para soportar escenarios de razonamiento a largo plazo.
RL Puntual (Point-wise RL): Se introduce una etapa de RL para mitigar problemas como la repetición y el pensamiento redundante. Se utiliza un modelo de recompensa general entrenado con preferencias humanas para evaluar respuestas individuales, suprimiendo respuestas de baja calidad.
RL Pareado (Pair-wise RL): Para superar la limitación de datos de preferencia, se entrena un modelo de recompensa que compara pares de respuestas (modelo fuerte vs. modelo débil). Se utiliza un regularizador de consistencia de intercambio para mitigar el sesgo de posición, refinando la alineación en diálogos de múltiples vueltas.

B. Capacidad de Búsqueda Profunda (Deep Search):

Construcción de Datos: Se generó un dataset masivo de preguntas de múltiples saltos (multi-hop) derivadas de gráficos de entidades de Wikipedia, utilizando caminatas aleatorias condicionadas y síntesis de trayectorias.
Supervisión a Nivel de Turno: Se implementó un mecanismo de juicio estricto donde un modelo crítico evalúa cada paso de la interacción (razonamiento lógico, precisión de la llamada a herramientas y ganancia de información). Solo las trayectorias que cumplen con estos criterios se utilizan para el entrenamiento, permitiendo al modelo aprender a planificar hasta 600 llamadas a herramientas.

C. Capacidad de Codificación:

Sistema de Juez Unificado: Se desarrolló un sistema que combina la ejecución en un "sandbox" para verificar la corrección funcional y un modelo de instrucción especializado para evaluar la complejidad temporal.
Entrenamiento por Etapas (Two-Stage Code RL):
1. Etapa 1 (Corrección): Se optimiza la tasa de aprobación (pass-rate) de los casos de prueba.
2. Etapa 2 (Eficiencia): Se introduce una recompensa de complejidad temporal condicionada (activada solo si la solución es 100% correcta). Esto incentiva al modelo a no solo resolver el problema, sino a hacerlo de manera computacionalmente eficiente.

D. Mezcla de Datos y Entrenamiento:
Se emplea una mezcla cuidadosa de datos SFT y un proceso de RL en cascada (General RL -> RL de Código -> RL Agente) para mantener el equilibrio entre dominios específicos y la capacidad generalista bajo restricciones estrictas de capacidad.

3. Contribuciones Clave

Primer Modelo SLM Versátil: Nanbeige4.1-3B es, según los autores, el primer modelo de lenguaje pequeño de código abierto que logra simultáneamente un comportamiento agéntico fuerte, generación de código de alta calidad y razonamiento general.
Arquitectura de Recompensas Híbrida: La combinación de modelado de recompensas puntual y pareada, junto con recompensas condicionadas por complejidad temporal en la codificación, establece un nuevo estándar para la alineación y eficiencia en modelos pequeños.
Capacidad de Búsqueda Profunda en Modelos Pequeños: Demuestra que un modelo de 3B puede realizar búsquedas profundas y planificación a largo plazo (hasta 600 turnos) comparable a modelos especializados de decenas de miles de millones de parámetros.
Optimización de Eficiencia en Código: El enfoque de recompensas condicionadas logra soluciones que no solo son correctas, sino que pertenecen a la clase de complejidad temporal óptima (ej. pasar de $O(N \log N)$ a $O(N)$ ).

4. Resultados Experimentales

Los resultados muestran que Nanbeige4.1-3B supera consistentemente a modelos anteriores de su misma escala y compite favorablemente con modelos mucho más grandes:

Rendimiento General: Supera significativamente a Nanbeige4-3B-2511 y a Qwen3-4B en benchmarks de código (LiveCodeBench), matemáticas (HMMT, IMO) y alineación (Arena-Hard V2).
Comparativa de Escala: Logra un rendimiento superior a modelos de 30B y 32B parámetros (como Qwen3-30B-A3B) en la mayoría de las tareas, y es competitivo con el modelo de 80B en benchmarks de codificación y alineación.
Búsqueda Profunda: En tareas de búsqueda profunda (GAIA, xBench-DeepSearch), el modelo alcanza puntuaciones de 69.90 en GAIA y 75.00 en xBench-DeepSearch-05, superando a modelos especializados de 30B y rivalizando con modelos fundacionales masivos de más de 100B parámetros (como Minimax-M2 o DeepSeek-V3.2).
Desafíos del Mundo Real: En los concursos semanales de LeetCode (484-488), Nanbeige4.1-3B alcanzó una tasa de aprobación del 85.0% (17/20 problemas), superando a modelos Qwen de 4B, 32B y 30B, y logrando el primer lugar en el concurso 487.

5. Significado e Impacto

Este trabajo redefine el potencial de los modelos de lenguaje pequeños. Demuestra que, mediante una ingeniería de entrenamiento precisa (mezcla de datos, asignación de crédito en RL y objetivos de recompensa especializados), es posible lograr competencia amplia y especialización fuerte simultáneamente en un modelo de solo 3 mil millones de parámetros.

Esto tiene implicaciones importantes para:

Eficiencia de Recursos: Reduce la necesidad de desplegar modelos masivos para tareas complejas de agentes y razonamiento.
Investigación: Abre la puerta a investigar cómo entrenar conjuntamente razonamiento, codificación y comportamiento agéntico bajo restricciones de capacidad estrictas.
Aplicaciones Prácticas: Facilita la implementación de agentes autónomos robustos en entornos con limitaciones de hardware o latencia.

El modelo y los datos sintéticos generados para la búsqueda profunda están disponibles de código abierto en Hugging Face, fomentando la investigación comunitaria en modelos de lenguaje eficientes y capaces de actuar como agentes.