💻 computer science

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

Este artículo presenta L20-Edu-135M, un estudio de caso auditable de un modelo de lenguaje de 135 millones de parámetros entrenado íntegramente en una sola GPU NVIDIA L20 con 13 mil millones de tokens, demostrando que, si bien queda por detrás de modelos a mayor escala como SmolLM2, logra un rendimiento competitivo en relación con su mínimo presupuesto de tokens y destaca modos de falla específicos de RLVR en entornos con restricciones de recursos.

Autores originales: Yin Li

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yin Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Un Chef, Una Cocina, Una Receta

Imagina el mundo de la Inteligencia Artificial (IA) como una enorme competencia culinaria. Por lo general, los ganadores son restaurantes gigantes con 64 chefs de primer nivel (GPUs) e ingredientes ilimitados (datos), cocinando durante millones de horas. Ellos crean "Modelos de Lenguaje Pequeños" (cerebros de IA diminutos) que son increíblemente inteligentes.

Este artículo plantea una pregunta diferente: "¿Puede un solo chef estándar, trabajando en una sola cocina modesta, crear un cerebro de IA diminuto que sea competitivo, y qué sucede cuando lo intentamos?"

El autor, Yin Li, aceptó este desafío usando solo una tarjeta gráfica NVIDIA L20 (un chip de computadora potente pero individual). El resultado es un modelo llamado L20-Edu-135M. Es un cerebro de "135 millones de parámetros", que es pequeño en el mundo de la IA, pero el objetivo era ver qué tan lejos se puede llegar con recursos limitados.

Los Ingredientes: Cocinando con Cuidado

En el mundo de la IA, los "datos" son la comida. La mayoría de los modelos grandes comen billones de palabras. Este modelo solo comió unos 13 mil millones de palabras. Para compensar la porción más pequeña, el chef fue extremadamente exigente con la calidad de la comida.

El Menú: El modelo fue alimentado con una mezcla específica de "FineWeb-Edu" (texto educativo de la web de alta calidad) y una "mezcla" especial de matemáticas, código y acertijos de razonamiento.
El Control de Calidad (El Colador): Antes de cocinar, el chef tuvo que filtrar los malos ingredientes. Utilizaron un colador digital para eliminar:
- Duplicados: Si la misma frase aparecía en tres libros diferentes, solo conservaban una.
- Basura: Texto que fuera demasiado corto, lleno de números o simplemente disparates.
- Contaminación: Se aseguraron de que el modelo no "memorizara" accidentalmente las preguntas de las pruebas en las que sería evaluado más tarde.
- Analogía: Imagina que estás haciendo una sopa. En lugar de verter un océano entero de agua, seleccionas cuidadosamente los mejores vegetales, los lavas minuciosamente y eliminas cualquiera que esté podrido o que se parezca a los que usarás después para la guarnición.

El Proceso de Cocción: Tres Etapas

El entrenamiento ocurrió en tres fases distintas:

El Plato Principal (Preentrenamiento): El modelo leyó 10 mil millones de palabras de texto educativo para aprender cómo funciona el lenguaje. Esto tomó unas 72 horas en el chip único.
El Curso Especializado (Preentrenamiento Continuo): El modelo leyó otros 3 mil millones de palabras, enfocándose específicamente en matemáticas, programación y razonamiento para agudizar sus habilidades.
El Pulido Final (Ajuste de Instrucciones): Se le enseñó al modelo cómo seguir instrucciones (como un chatbot). Sin embargo, el autor notó que enseñarle a charlar lo hacía ligeramente peor en sus habilidades lingüísticas originales.
- La Solución: Utilizaron una técnica llamada Interpolación de Pesos. Imagina tomar a un "experto puro en lenguaje" y a un "experto en chat", y mezclar sus cerebros. Descubrieron que mantener el 87.5% del experto en lenguaje y el 12.5% del experto en chat creaba el equilibrio ideal.

Los Resultados: ¿Cómo le fue?

El modelo fue probado en seis acertijos diferentes (como comprensión lectora y problemas de lógica).

La Puntuación: Obtuvo un 0.4150 (de un máximo de 1.0).
La Comparación:
- Superó a modelos antiguos de tamaño similar de hace pocos años.
- No superó a los "Súper Modelos" modernos (SmolLM-135M y SmolLM2-135M) que fueron entrenados por equipos con 64 supercomputadoras.
- El Detalle: Los Súper Modelos comieron de 46 a 154 veces más datos que este modelo de un solo chip.
- La Conclusión: Este modelo de un solo chip logró el 87% del rendimiento de los Súper Modelos utilizando solo el 2% de su presupuesto de datos. No es el ganador de la competencia, pero es un segundo lugar muy impresionante para un chef solitario.

El Momento del "Error": El Experimento Matemático

El autor intentó enseñar al modelo a mejorar en matemáticas (específicamente en la prueba GSM8K) usando una técnica llamada RLVR (Aprendizaje por Refuerzo con Recompensas Verificables).

La Idea: Darle al modelo una recompensa cada vez que acierta una respuesta matemática, con la esperanza de que aprenda a pensar con más profundidad.
El Resultado: Falló. El modelo en realidad se volvió peor en matemáticas.
¿Por qué? El modelo ya era tan malo en matemáticas que rara vez recibía una "recompensa". Sin retroalimentación positiva, simplemente se confundía.
Analogía: Intentar enseñarle a un niño pequeño a resolver cálculo dándole una estrella dorada solo cuando acierta. Si nunca acierta, nunca recibe una estrella dorada, y deja de intentarlo o se frustra. El artículo concluye que para modelos pequeños, necesitas un "calentamiento" (mejores habilidades iniciales) antes de poder usar este método de entrenamiento avanzado.

¿Por qué es esto importante?

Este artículo no pretende haber construido la IA más inteligente del mundo. En su lugar, es un informe de transparencia y una prueba de concepto.

Es Auditable: Debido a que se hizo en una sola máquina con una sola persona, sabemos exactamente qué sucedió. Conocemos los datos, la configuración y los errores.
Es Accesible: Demuestra que los investigadores independientes no necesitan un presupuesto de mil millones de dólares para realizar investigaciones serias de modelos pequeños. Puedes hacerlo en una sola laptop o servidor potente.
Establece Límites: Nos muestra exactamente dónde están los límites. Nos dice: "Puedes llegar hasta aquí con una sola GPU, pero si quieres ir más allá, sí necesitas más datos y más potencia de cómputo".

Resumen

Piensa en L20-Edu-135M como una comida casera muy bien organizada y altamente eficiente. No ganará una estrella Michelin contra un banquete de 64 chefs, pero demuestra que con los ingredientes adecuados, una limpieza cuidadosa y técnicas inteligentes, una sola persona puede cocinar una comida que es sorprendentemente deliciosa y nutritiva en comparación con lo que era posible hace solo unos pocos años. Es una victoria para la eficiencia y la honestidad en la investigación de la IA.

Resumen Técnico: L20-Edu-135M

Planteamiento del Problema
Si bien los modelos de lenguaje pequeños (SLM) son atractivos para el despliegue local debido a sus bajos costos de inferencia, lograr un rendimiento competitivo en la clase de los 135 millones de parámetros suele requerir recursos computacionales masivos. Modelos de vanguardia como SmolLM y SmolLM2 utilizan cientos de miles de millones a billones de tokens entrenados en grandes clústeres de GPUs (por ejemplo, 64 H100), lo que hace que sus procesos de entrenamiento sean inaccesibles para investigadores independientes. Este documento aborda una pregunta específica y con restricciones de recursos: ¿Puede ejecutarse un ciclo completo, auditable y competitivo de preentrenamiento y post-entrenamiento de la clase de los 135M en una sola GPU de centro de datos comercial (NVIDIA L20), y cuáles son los modos de falla y las compensaciones específicas en tal régimen?

Metodología
El estudio se centra en L20-Edu-135M, un transformador de solo decodificador de 134.5 millones de parámetros entrenado desde cero en una sola NVIDIA L20 (48GB). La metodología se estructura en torno a tres preguntas de investigación sobre viabilidad, control de regresión y aprendizaje por refuerzo a pequeña escala.

Arquitectura: El modelo adopta un diseño tipo Llama "profundo-delgado" (30 capas, 576 de tamaño oculto, 9 cabezales de consulta/3 de clave-valor) con incrustaciones (embeddings) ligadas y Atención de Consulta Agrupada (GQA), diferenciándose de las bases más antiguas de tipo "superficial-ancha".
Pipeline de Entrenamiento:
- Etapa 1 (Preentrenamiento): Entrenado en ~10 mil millones de tokens de FineWeb-Edu con una tasa de aprendizaje pico de $4 \times 10^{-4}$ , precisión bfloat16 y PyTorch SDPA.
- Etapa 4 (Preentrenamiento Continuado): Una mezcla curada de 3 mil millones de tokens enfocada en educación, código, matemáticas y razonamiento. Las fuentes incluyen DCLC, Dolmino y FineMath.
- Gobernanza de Datos: Se implementó un estricto "control de datos de la Etapa 4", que presenta deduplicación MinHash/LSH entre fuentes, limpieza a nivel de segmento, filtrado de calidad y verificaciones de contaminación de benchmarks (usando coincidencia de 13-gramas y rechazo por superposición de LCS) contra benchmarks estándar (ARC, HellaSwag, etc.).
- Post-Entrenamiento: El modelo fue sometido a Ajuste Fino Supervisado (SFT) en datos de instrucción. Para mitigar la regresión de rendimiento en los benchmarks base, los autores emplearon interpolación de pesos entre el modelo base de la Etapa 4 y el checkpoint de SFT ( $\theta_\alpha = (1-\alpha)\theta_{base} + \alpha\theta_{SFT}$ ).
- RLVR: Se llevó a cabo un experimento de Aprendizaje por Refuerzo con Recompensas Verificables Directas (RLVR) utilizando optimización de estilo GRPO sobre GSM8K.

Contribuciones Clave
El documento proporciona cinco contribuciones concretas, enmarcadas como un estudio de caso de sistemas y eficiencia de datos en lugar de una afirmación de estado del arte:

Receta de GPU Única: Documentación de un ciclo de entrenamiento completo para un modelo de 135M en una sola GPU L20, logrando un rendimiento de ~49k tokens/segundo con configuraciones optimizadas.
Controles de Datos Estrictos: Implementación de un riguroso control de la Etapa 4 que combina la deduplicación entre fuentes, la limpieza de segmentos y la descontaminación explícita de benchmarks, registrando los conteos de rechazo para su auditabilidad.
Control de Regresión mediante Interpolación: Evaluación de la interpolación de pesos de SFT como un mecanismo para preservar el rendimiento del modelo base. La versión seleccionada para el lanzamiento utiliza un factor de interpolación de $\alpha=0.875$ (87.5% de pesos de SFT, 12.5% de pesos base).
Benchmarking Controlado: Evaluación zero-shot en un harness de seis tareas (ARC-Challenge/Easy, HellaSwag, LAMBADA, PIQA, WinoGrande) utilizando el mismo protocolo para todos los modelos para asegurar una comparación justa.
Resultado Negativo de RLVR: Un caso de falla documentado donde el RLVR directo de estilo GRPO en GSM8K disminuyó la precisión de coincidencia exacta para el modelo de 135M, lo que sugiere que las recompensas verificables por sí solas son insuficientes sin capacidades de arranque en frío (cold-start) más fuertes.

Resultados

Rendimiento en Benchmarks: L20-Edu-135M logró una puntuación media de 0.4150 en el harness de seis tareas. Esto supera a las bases anteriores de 100M–160M (por ejemplo, GPT-2 Small, OPT-125M, Pythia-160M), pero queda significativamente por detrás de los modelos modernos centrados en datos: SmolLM-135M (0.4767) y SmolLM2-135M (0.4917).
Contexto de Eficiencia de Tokens: El modelo alcanzó el 87.1% del rendimiento de SmolLM-135M utilizando solo 13B de tokens, lo que es aproximadamente el 2.17% del presupuesto de tokens reportado para SmolLM-135M (600B de tokens). Los autores señalan que esta relación es descriptiva, no evidencia de una ley de escala superior.
Eficacia de la Interpolación: El SFT completo degradó ligeramente la media del benchmark base (0.4137 vs. 0.4141). La interpolación en $\alpha=0.875$ recuperó la media a 0.4150, sirviendo como un control de regresión práctico.
Resultado de RLVR: El RLVR directo en GSM8K redujo la precisión de coincidencia exacta de una línea base de 1.82% a 1.59% (completaciones de 192 tokens) y a 1.21% (completaciones de 320 tokens). Los autores atribuyen esto a un problema de arranque en frío de recompensa dispersa donde el modelo carece de la capacidad inicial de razonamiento suficiente para beneficiarse de las recompensas relativas al grupo.

Significancia y Reivindicaciones
El documento posiciona explícitamente a L20-Edu-135M como un estudio de caso auditable con recursos restringidos, no como un logro de estado del arte. Su principal significancia radica en:

Demostración de Viabilidad: Probar que un ciclo de investigación completo y competitivo de SLM (preentrenamiento, curación, SFT, evaluación) es ejecutable en una sola GPU de 48GB.
Higiene de Datos a Pequeña Escala: Resaltar que, para presupuestos de tokens pequeños, la deduplicación rigurosa y el control de contaminación son críticos para evitar el desperdicio de señales de aprendizaje limitadas.
Compensaciones de Post-Entrenamiento: Demostrar que el ajuste de instrucción en modelos pequeños requiere estrategias de control de regresión (como la interpolación) para mantener las capacidades base.
Limitaciones de RLVR: Proporcionar un criterio concreto de "parar/continuar" que indica que el RLVR directo es probablemente ineficaz para modelos de 135M sin datos de arranque en frío de razonamiento más fuertes o una mayor capacidad del modelo.

Los autores concluyen que, si bien el modelo no iguala a los sistemas modernos de 135M entrenados con 46x a 154x más tokens, establece un punto de operación significativo para investigadores enfocados en ganancias marginales por hora-GPU accesible, separando lo que es alcanzable mediante ingeniería cuidadosa de lo que estrictamente requiere escala.