💻 computer science

Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning

El artículo presenta a Aryabhata 2, un modelo de lenguaje entrenado mediante aprendizaje por refuerzo basado en GPT-OSS-20B que logra un rendimiento superior y una mayor eficiencia de tokens en exámenes competitivos de STEM como JEE y NEET, aprovechando un currículo de alta calidad y una exploración mediante implementación progresiva.

Autores originales: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Publicado 2026-05-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante brillante pero ligeramente disperso llamado GPT-OSS-20B. Este estudiante ha leído una biblioteca masiva de libros y conoce muchos hechos, pero cuando le pides que resuelva un problema complicado de matemáticas o ciencias con múltiples pasos (como los que se encuentran en los exámenes de acceso a la universidad más difíciles de la India), a veces divaga, se confunde o tarda una eternidad en escribir la respuesta. Podría obtener la respuesta correcta, pero utiliza mucha "tinta" (tokens informáticos) para hacerlo, lo cual es costoso y lento.

Los autores de este artículo querían convertir a este estudiante en un campeón en la resolución de problemas sin comprar un cerebro más grande (un modelo más grande). Crearon un nuevo estudiante llamado Aryabhata 2.

Así es como lo hicieron, explicado mediante analogías sencillas:

1. El Campo de Entrenamiento: Un Entrenador Estricto

En lugar de simplemente dejar que el estudiante lea más libros (que es lo que hace el entrenamiento estándar), los investigadores actuaron como un entrenador estricto utilizando Aprendizaje por Refuerzo.

El Sistema de Recompensas: Imagina un videojuego donde solo obtienes puntos si resuelves un acertijo correctamente Y lo explicas claramente. Si el estudiante obtiene la respuesta incorrecta, recibe cero puntos. Si obtiene la respuesta correcta pero escribe un ensayo de 10 páginas cuando una explicación de un párrafo sería suficiente, recibe una puntuación más baja.
El "Juez": El entrenador no solo confiaba en la palabra del estudiante. Utilizaron un "Juez" superinteligente (otra IA) para verificar cada paso. Si las matemáticas no cuadraban o la lógica era defectuosa, la respuesta se rechazaba inmediatamente.

2. El Plan de Estudios: De Fácil a Imposible

Los investigadores no lanzaron al estudiante a la parte profunda de inmediato. Construyeron un campo de entrenamiento de tres niveles:

Nivel 1 (Formato): Primero, enseñaron al estudiante cómo sostener correctamente el bolígrafo. Se centraron en asegurarse de que la respuesta se viera ordenada y siguiera una estructura específica.
Nivel 2 (El Esfuerzo): Luego, dieron al estudiante miles de problemas de práctica. A medida que el estudiante mejoraba, el entrenador hacía los problemas más difíciles. Si el estudiante seguía acertando el 70%, el entrenador sustituía las preguntas por otras aún más complicadas.
Nivel 3 (La Comodín): Finalmente, permitieron que el estudiante intentara muchas formas diferentes de resolver el mismo problema difícil a la vez. Imagina pedirle al estudiante que intente 128 caminos diferentes para resolver un laberinto simultáneamente. Esto les ayudó a descubrir atajos inteligentes que no habían visto antes.

3. El Secreto: "Exploración Ampliada"

Por lo general, al entrenar una IA, podrías pedirle que resuelva un problema una sola vez. Aryabhata 2 fue entrenado para generar muchos intentos diferentes para cada pregunta.

La Analogía: Piensa en un detective resolviendo un crimen. En lugar de seguir una sola pista, el detective envía a 128 equipos diferentes a buscar pistas. Si incluso un equipo encuentra la pista correcta, el caso está resuelto. Este método ayudó al modelo a encontrar el "camino dorado" hacia la respuesta mucho más rápido y de manera más fiable.

4. Los Resultados: Más Rápido, Más Inteligente y Más Ligero

Cuando probaron a Aryabhata 2 en exámenes reales (como JEE y NEET) e incluso en competiciones de matemáticas superdifíciles (como AIME), los resultados fueron impresionantes:

Mejor Precisión: Resolvió más problemas correctamente que su modelo "padre" (GPT-OSS-20B) e incluso superó a algunos modelos mucho más grandes y costosos.
El Ahorro de "Tokens": Esta es la mayor victoria. El modelo original a menudo escribía explicaciones largas y tortuosas. Aryabhata 2 aprendió a ser conciso. Utilizó hasta un 64% menos de palabras (tokens) para obtener el mismo resultado (o mejor).
- Analogía: Si el modelo antiguo era como un turista que toma 100 fotos para encontrar la toma perfecta, Aryabhata 2 es como un fotógrafo profesional que captura la toma perfecta en un solo clic.

La Conclusión

El artículo afirma que, al utilizar un conjunto muy específico y de alta calidad de preguntas de práctica y un método de entrenamiento inteligente y multifase, convirtieron una IA estándar de 20 mil millones de parámetros en un experto especializado en razonamiento STEM. No necesitaba ser un modelo gigante para ser inteligente; solo necesitaba el tipo correcto de práctica y un entrenador que supiera exactamente cómo recompensar el buen comportamiento.

Lo que no afirmaron:
El artículo no afirma que esta IA pueda reemplazar a los profesores humanos, diagnosticar condiciones médicas o utilizarse para conversaciones generales. Está construida específicamente para resolver problemas de ciencias, matemáticas e ingeniería encontrados en exámenes competitivos, actuando como un tutor altamente eficiente para esas materias específicas.

Resumen Técnico: Aryabhata 2 – Escalado del Aprendizaje por Refuerzo para el Razonamiento Avanzado en STEM

1. Enunciado del Problema

Los exámenes competitivos de STEM, específicamente la Prueba de Entrada Conjunta (JEE) y la Prueba de Elegibilidad Nacional y Admisión (NEET) en la India, presentan un desafío único para los Modelos de Lenguaje Grande (LLM). Estos exámenes requieren razonamiento simbólico de múltiples pasos, cálculo numérico preciso y una comprensión conceptual profunda en física, química y matemáticas. A diferencia de los puntos de referencia estándar, estos problemas están cuidadosamente construidos para probar la profundidad conceptual bajo restricciones estrictas.

Aunque los LLM recientes demuestran un rendimiento sólido en puntos de referencia de razonamiento general, enfrentan obstáculos significativos en la implementación educativa en el mundo real:

Escalabilidad: Desplegar modelos de vanguardia a gran escala para manejar millones de dudas de estudiantes es prohibitivo en costos debido a los altos costos de inferencia y la fijación de precios por token.
Eficiencia: Los modelos de código abierto a menudo requieren grandes conteos de parámetros y generan cadenas de pensamiento excesivamente largas, lo que conduce a una alta latencia y consumo de tokens.
Especificidad de Dominio: Los modelos generales a menudo carecen de la cobertura específica del plan de estudios y la alineación paso a paso requerida para las estrategias de exámenes competitivos.

Los autores identifican una brecha entre modelos de alto rendimiento pero costosos y soluciones eficientes y específicas de dominio capaces de proporcionar explicaciones precisas, concisas y estructuradas para las dudas de los estudiantes.

2. Metodología

El documento introduce Aryabhata 2, un modelo de lenguaje centrado en el razonamiento entrenado mediante post-entrenamiento de aprendizaje por refuerzo (RL). La metodología se basa en una pipeline unificada, exclusivamente de RL, diseñada para maximizar las capacidades de razonamiento bajo recursos de computación limitados.

2.1 Modelo Base y Arquitectura

Modelo Base: El sistema se construye sobre GPT-OSS-20B, un modelo de código abierto de Mezcla de Expertos (MoE) con 20 mil millones de parámetros y 3.6 mil millones de parámetros activos.
Ajuste Fino Eficiente en Parámetros (PEFT): Para gestionar las restricciones de memoria (utilizando dos GPUs NVIDIA H100 NVL), los autores emplean Adaptación de Bajo Rango (LoRA). Se insertan adaptadores en las capas de proyección de atención ( $q, k, v, o$ ) y en la capa de incrustación de tokens. Esto resulta en que solo el ~0.15% de los parámetros sean entrenables (31.8M de 20.9B), reduciendo significativamente la huella de memoria mientras se preserva la capacidad de adaptación.

2.2 Curación y Verificación de Datos

El corpus de entrenamiento se deriva de los bancos de preguntas internos de PhysicsWallah, que inicialmente contenían 1.78 millones de preguntas.

Pipeline de Limpieza: Una pipeline determinista elimina artefactos HTML (específicamente etiquetas <img>), valida la sintaxis LaTeX usando pdflatex, filtra preguntas incompletas mediante un clasificador LLM y elimina contenido no STEM. Esto reduce el conjunto de datos a 1.25 millones de preguntas de alta calidad.
Verificación de Respuestas: Para asegurar señales de recompensa confiables, se emplea una pipeline de verificación automatizada que utiliza un Modelo de Política (GPT-OSS-120B) y un Modelo Juez (Qwen/Qwen3-30B-A3B-Thinking).
- Muestreo de Múltiples Pasadas: Las preguntas se verifican en etapas (1, 4 o 16 muestras). Una pregunta se acepta si cualquiera de las soluciones generadas es juzgada correcta, asegurando que el plan de estudios contenga trayectorias de razonamiento válidas.
Construcción del Plan de Estudios: Las preguntas se categorizan por dificultad (Trivial, Aprendible, Desafiante) basándose en la tasa de éxito de generación del modelo base. Las preguntas de química se sobremuestrean para abordar los desequilibrios iniciales de rendimiento.

2.3 Marco de Aprendizaje por Refuerzo

El entrenamiento utiliza Optimización de Política Relativa de Grupo (GRPO) con modificaciones específicas para adaptarse a las restricciones de hardware y tarea:

Entrenamiento sin KL: Se omiten los modelos de referencia para ahorrar memoria de GPU; se elimina la regularización KL.
Objetivo: Se utiliza un objetivo recortado estilo DAPO con un umbral de recorte superior asimétrico.
Función de Recompensa: Se emplea una recompensa multiplicativa $R = R_{precisión} \times R_{formato}$ $R = R_{p r ec i s i \overset{o}{ˊ} n} \times R_{f or ma t o}$ :
- Recompensa de Precisión ( $R_{precisión}$ ): Calculada mediante una cascada de coincidencia de cadenas, coincidencia de tolerancia numérica y equivalencia simbólica (usando math-verify). Se otorga crédito parcial (0.5) por el texto de la opción correcta en preguntas de opción múltiple de respuesta única incluso si la etiqueta es incorrecta.
- Recompensa de Formato ( $R_{formato}$ ): Fomenta respuestas finales suficientemente detalladas ( $S_{len}$ ) y una relación equilibrada entre la longitud del razonamiento y la solución ( $S_{ratio}$ ), evitando salidas demasiado breves o excesivamente largas.

2.4 Fases de Entrenamiento

El entrenamiento procede en tres fases secuenciales para equilibrar la estabilidad y la exploración:

Fase 1 (Alineación de Formato): 300 pasos con un tamaño de grupo de 8. Se centra en alinear el modelo con la estructura de salida deseada usando una mezcla de preguntas triviales y aprendibles.
Fase 2 (RL Prolongado): ~5,000 pasos. El tamaño de grupo aumenta de 8 a 16. El plan de estudios cambia adaptativamente hacia preguntas más difíciles a medida que mejora la precisión. Se utiliza la fusión de puntos de control basada en EMA para estabilizar el entrenamiento cuando las recompensas se estancan.
Fase 3 (RL Ampliado): ~700 pasos. El tamaño de grupo se expande significativamente (de 64 a 128) para ampliar la exploración de trayectorias de razonamiento y descubrir estrategias de solución alternativas.

3. Contribuciones Clave

Modelo Aryabhata 2: Un modelo de 20 mil millones de parámetros optimizado específicamente para el razonamiento STEM competitivo, demostrando que el RL dirigido en planes de estudio específicos de dominio puede superar a modelos base significativamente más grandes.
Pipeline Unificada de RL: Una estrategia de entrenamiento novedosa que combina una verificación rigurosa de datos, construcción de planes de estudio conscientes de la dificultad y RL por fases (optimización prolongada + exploración ampliada) que opera eficazmente en hardware limitado (2x H100).
Ganancias de Eficiencia: El modelo logra un rendimiento de vanguardia entre modelos de código abierto mientras genera sustancialmente menos tokens (hasta un 64% menos que el modelo base), abordando la barrera de costos para la implementación educativa a gran escala.
Evaluación Exhaustiva: Validación en exámenes competitivos de distribución interna (JEE Main/Advanced, NEET) y puntos de referencia de razonamiento de distribución externa (AIME, HMMT, MMLU-Pro, GPQA).

4. Resultados

4.1 Rendimiento en Distribución Interna

En los puntos de referencia de exámenes competitivos (JEE Main 2025/2026, JEE Advanced 2025, NEET 2025), Aryabhata 2 logra un Pass@1 promedio de 88.95%, superando al GPT-OSS-20B base (83.00%) y rivalizando con modelos mucho más grandes como GPT-OSS-120B (88.28%) y Qwen3-30B-A3B (88.55%).

Eficiencia de Tokens: Aryabhata 2 reduce los tokens de salida en un 52–64% en comparación con GPT-OSS-20B.
Precisión por Token: Logra 42.31 Acc./1K tokens, significativamente más alto que GPT-OSS-20B (15.68) y GPT-OSS-120B (26.66).

4.2 Rendimiento en Distribución Externa

En puntos de referencia de razonamiento general (AIME, HMMT, GPQA, MMLU-Pro, MMLU-Redux 2.0), Aryabhata 2 logra un Pass@1 promedio de 87.64%.

Mejora sobre GPT-OSS-20B (84.95%) y Nemotron 3 Nano (83.48%).
Muestra ganancias significativas en HMMT (+1.54 sobre la base) y GPQA (+4.35 sobre la base).
Aunque permanece por debajo de los modelos propietarios de vanguardia (por ejemplo, GPT-5 Mini, Gemini 2.5 Flash), demuestra una fuerte generalización para un modelo de 20 mil millones de parámetros.

4.3 Comparación de Eficiencia

En todos los puntos de referencia de Distribución Externa (OOD), Aryabhata 2 reduce los tokens de salida en un 24–71% en comparación con GPT-OSS-20B, logrando una precisión OOD de 39.58 Acc./1K tokens.

5. Significado y Afirmaciones

El documento afirma que el aprendizaje por refuerzo dirigido en planes de estudio específicos de dominio es una estrategia efectiva para escalar sistemas prácticos de razonamiento STEM. El significado del trabajo radica en demostrar que:

Especialización sobre Escala: Un modelo más pequeño y eficientemente entrenado puede superar a modelos base más grandes en tareas específicas de razonamiento de alto riesgo.
Viabilidad de Implementación: Al combinar una curación rigurosa de datos con RL por fases, es posible entrenar modelos de razonamiento de alta calidad en hardware limitado (2x H100), haciendo viable la tutoría avanzada con IA para sistemas educativos a gran escala con millones de usuarios.
Eficiencia de Tokens: El enfoque no solo mejora la precisión, sino que reduce drásticamente los costos de inferencia al generar cadenas de razonamiento más concisas y estructuradas, abordando directamente las barreras económicas para desplegar LLM en la educación.

Los autores concluyen que su pipeline permite un entrenamiento estable bajo restricciones de computación mientras preserva una alta calidad de razonamiento, ofreciendo una vía viable para cargas de trabajo educativas en el mundo real.