🤖 machine learning

MinT: Managed Infrastructure for Training and Serving Millions of LLMs

MinT es un sistema de infraestructura gestionada que permite el entrenamiento y la inferencia eficientes de millones de políticas de LLM basadas en LoRA, manteniendo un único modelo base grande residente mientras gestiona dinámicamente revisiones de adaptadores ligeros, logrando así mejoras significativas en escalabilidad, eficiencia de memoria y velocidad de despliegue en arquitecturas densas y MoE.

Autores originales: Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que gestionas una biblioteca masiva e increíblemente costosa de libros (el Modelo Base). Estos libros son enormes, ocupan una habitación entera y son muy difíciles de mover.

En la forma antigua de hacer las cosas, si querías enseñarle a un libro un nuevo truco —como resolver problemas matemáticos o redactar contratos legales— tenías que fotocopiar el libro completo, escribir las nuevas notas en los márgenes y luego mover esa copia nueva y pesada a otra habitación para mostrarla a la gente. Si querías enseñar 1.000 trucos diferentes, necesitarías 1.000 copias pesadas del libro, ocupando una cantidad masiva de espacio y tiempo para ser reorganizadas.

MinT (MindLab Toolkit) cambia el juego. En lugar de mover el libro entero, MinT dice: "Mantengamos el libro pesado exactamente donde está, bloqueado en la biblioteca. Solo escribiremos los nuevos trucos en notas adhesivas pequeñas y ligeras (llamadas adaptadores LoRA)."

Así es como funciona MinT, desglosado en tres ideas simples:

1. El sistema de "Notas Adhesivas" (Escalar hacia abajo)

En lugar de mover una enciclopedia de 100 libras, solo mueves una nota adhesiva de 1 onza.

La forma antigua: Para actualizar un modelo, fusionas las notas de nuevo en el libro, creando un archivo pesado nuevo. Esto tarda una eternidad en guardarse y moverse.
La forma MinT: Mantienes el libro pesado (el Modelo Base) sentado en la memoria de la computadora. Cuando entrenas una nueva habilidad, solo guardas la pequeña nota adhesiva.
El resultado: Mover la "actualización" es increíblemente rápido. El estudio encontró que mover solo la nota adhesiva fue 18 veces más rápido para un modelo de tamaño medio y casi 3 veces más rápido para un modelo gigante en comparación con mover el libro entero. Es como enviar un mensaje de texto en lugar de enviar un ladrillo por correo.

2. Las "Estaciones de Cambio" (Escalar hacia arriba)

Imagina que tienes una máquina gigante y compleja (una supercomputadora) que solo puede contener un libro pesado a la vez.

El problema: Por lo general, si quieres entrenar 5 versiones diferentes de una política (por ejemplo, una para matemáticas, una para programación, una para leyes), necesitas 5 máquinas diferentes, cada una conteniendo una copia del libro pesado. Eso es un desperdicio de dinero.
La solución MinT: MinT actúa como una centralita inteligente. Mantiene el libro pesado cargado en la máquina. Cuando es hora de entrenar la versión "Matemáticas", cambia la nota adhesiva de "Matemáticas". Cuando es hora de "Programación", cambia esa nota y pone la nota de "Programación".
El resultado: Puedes entrenar muchas "políticas" diferentes en la misma máquina sin necesitar más computadoras. El estudio mostró que esto hizo el entrenamiento 1,77 veces más rápido para un modelo de 4 mil millones de parámetros y 1,45 veces más rápido para un modelo de 30 mil millones de parámetros, todo sin necesitar memoria extra.

3. El "Catálogo Inteligente" (Escalar hacia afuera)

Imagina una biblioteca con un millón de notas adhesivas diferentes, pero tu escritorio de lectura solo tiene espacio para unas pocas a la vez.

El problema: Si un usuario pide una nota adhesiva específica y no está en el escritorio, tienes que ir al almacén, encontrarla y traerla de vuelta. Si 1.000 personas piden 1.000 notas diferentes a la vez, el almacén se satura y todos esperan en una larga fila.
La solución MinT: MinT organiza esto como un servicio de entrega inteligente.
- El Catálogo: Puede rastrear un millón de notas adhesivas diferentes (políticas).
- La Caché: Mantiene las notas más populares en un estante cerca del escritorio (caché de CPU) para que estén listas instantáneamente.
- El truco de "Empaquetado": A veces, una nota adhesiva está hecha en realidad de miles de pedacitos diminutos (como un rompecabezas). MinT pega estas piezas juntas en un solo paquete ordenado antes de enviarlas al escritorio. Esto hace que la entrega sea 8,5 veces más rápida porque el camión de reparto no tiene que detenerse 37.000 veces para recoger pedacitos de rompecabezas; solo recoge una caja.

El panorama general

MinT es esencialmente un gerente para el entrenamiento de IA. Evita que desperdicies tiempo y dinero moviendo archivos gigantes. En su lugar, mantiene el "cerebro" pesado (el Modelo Base) en un solo lugar y gestiona las miles de pequeñas "habilidades" (Adaptadores) que se adjuntan a él.

Para el Entrenamiento: Te permite cambiar entre diferentes habilidades rápidamente sin recargar todo el cerebro.
Para el Servicio: Te permite ofrecer millones de habilidades diferentes a los usuarios, cargando solo las específicas necesarias en ese momento exacto, y haciéndolo de una manera que no satura el sistema.

En resumen: No muevas al elefante; solo mueve al ratón. MinT hace posible ejecutar millones de personalidades de IA diferentes sobre una base compartida y costosa sin que la base tenga que moverse nunca.

Resumen Técnico: MinT (Kit de Herramientas MindLab)

Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) evolucionan hacia parámetros a escala de billones y el aprendizaje continuo a partir de la experiencia, la infraestructura requerida para el entrenamiento posterior se ha convertido en un cuello de botella crítico. Los flujos de trabajo tradicionales dependen de materializar puntos de control completos con ajuste fino para cada variante de modelo, rama de tarea o adaptación específica del inquilino. Este enfoque crea desafíos significativos de escalabilidad:

Ineficiencia de Recursos: Copiar o servir puntos de control completos para cada variante de política consume almacenamiento y memoria excesivos, lo que dificulta el entrenamiento continuo y la implementación de capacidades de agentes.
Desajuste entre Entrenamiento y Servicio: Mover modelos completos entre motores de entrenamiento e inferencia introduce latencia y complejidad, particularmente al gestionar el control de versiones, puntos de reversión y poblaciones diversas de políticas sobre modelos base compartidos.
Límites de Escalabilidad: A medida que los modelos crecen hasta 1T+ de parámetros (densos y Mezcla de Expertos/MoE), la sobrecarga de gestionar puntos de control completos para miles de políticas LoRA (Adaptación de Bajo Rango) se vuelve prohibitiva.

Metodología: El Marco MinT

El Kit de Herramientas MindLab (MinT) propone un sistema de infraestructura gestionada que trata las revisiones de adaptadores LoRA exportadas como la unidad fundamental de gestión de políticas, en lugar de los puntos de control completos del modelo. El sistema está diseñado alrededor de una arquitectura de "base residente" donde el modelo base permanece cargado en memoria, mientras que los comportamientos de tarea, las ramas de producto y las versiones experimentales se representan mediante revisiones de adaptadores livianas.

Arquitectura Central

MinT separa el registro de política (estado del ciclo de vida propiedad del servicio) de la revisión del adaptador (la carga útil ejecutable).

Ciclo de Vida Centrado en Adaptadores: En lugar de fusionar los adaptadores de nuevo en el modelo base, MinT exporta los parámetros LoRA entrenados como revisiones compatibles con el servicio. Estas revisiones se verifican en busca de compatibilidad con la base residente y se cargan directamente en motores de inferencia (por ejemplo, vLLM) que ya contienen los pesos base.
Entrenamiento por Particiones de Tiempo: MinT soporta entrenamiento multi-LoRA en bases residentes compartidas. Un solo entrenador puede cambiar entre diferentes registros de política intercambiando únicamente los tensores LoRA, los estados del optimizador y los registros de despliegue, manteniendo el modelo base congelado residente en la memoria de la GPU. Esto soporta tanto rutas de PEFT de un solo trabajador como rutas de entrenamiento distribuido Megatron.
Caché de Servicio de Tres Niveles: Para gestionar grandes poblaciones de políticas, MinT separa la direccionabilidad de la residencia:
- Catálogo Direccionable: Un almacén duradero de todas las revisiones de adaptadores exportadas (hasta una escala de $10^6$ ).
- Caché de CPU: Local a un actor de servicio, que mantiene cientos de adaptadores para una promoción rápida.
- Lote de GPU: El conjunto activo de adaptadores residentes en los espacios de inferencia para el paso de decodificación actual.
Carga en Frío como Trabajo de Servicio: Las cargas de adaptadores de primer contacto se tratan como trabajo de servicio programado. MinT deduplica las solicitudes de carga para la misma política faltante y utiliza tensores LoRA MoE empaquetados para reducir la dispersión de objetos, acelerando significativamente la carga del motor en vivo.

Ejes de Escalabilidad

MinT escala esta ruta de revisión de adaptadores a lo largo de tres dimensiones:

Escalar hacia Arriba: Soporta RL LoRA en arquitecturas densas y MoE de vanguardia (validado hasta 1T de parámetros). Maneja el entrenamiento paralelo de modelos (Paralelismo de Tensores/Expertos), consistencia de enrutamiento disperso (reproducción de enrutador MoE) y correcciones de atención dispersa dinámica (DSA).
Escalar hacia Abajo: Minimiza el traspaso entre entrenamiento y servicio moviendo solo el adaptador (a menudo <1% del tamaño del modelo base). Esto elimina por completo la materialización de puntos de control completos.
Escalar hacia Afuera: Expande el espacio de nombres de políticas mientras delimita la ejecución local del motor. Desacopla la direccionabilidad duradera de las políticas de los conjuntos de trabajo activos, permitiendo catálogos grandes sin requerir que todos los adaptadores estén residentes simultáneamente.

Contribuciones Clave

Gestión del Ciclo de Vida del Adaptador: MinT define un ciclo de vida completo desde la actualización hasta el servicio, incluyendo la conversión de fragmentos a servicio, verificaciones de compatibilidad, registros de despliegue y capacidades de reversión. La revisión del adaptador se convierte en el comportamiento fijo seleccionado por el sistema.
Entrenamiento RL Multi-LoRA a Gran Escala: El sistema demuestra RL LoRA de extremo a extremo en implementaciones grandes densas y MoE, incluido el entrenamiento a escala 235B-A22B y una ruta de tarea de cuenta regresiva de clase 1T MoE, soportando tanto entrenamiento de un solo trabajador como entrenamiento distribuido Megatron.
Servicio de Población de Políticas: MinT sirve adaptadores exportados a través de motores vLLM de base compartida, separando la direccionabilidad duradera de los conjuntos activos de CPU/GPU. Introduce representaciones LoRA MoE empaquetadas que reducen la dispersión de objetos pequeños, mejorando las velocidades de carga del motor en vivo.
Reproducibilidad Pública: MinT proporciona una API compatible con Tinker y utiliza recetas "mint-cookbook" para reproducir ejemplos de SFT, optimización de preferencias (DPO), RL basado en despliegue (GRPO) y AutoResearch a través del mismo ciclo de vida del adaptador.

Resultados Experimentales

El artículo valida las capacidades de MinT mediante mediciones extensas en los modelos Qwen3 (4B, 30B, 235B) y Kimi K2 (1T):

Eficiencia de Traspaso (Escalar hacia Abajo):
- El traspaso solo de adaptadores reduce el paso de traspaso medido en 18.3× en un modelo denso de 4B y en 2.85× en un modelo MoE de 30B en comparación con la fusión de puntos de control completos.
- El GRPO multi-política concurrente acorta el tiempo real en 1.77× (4B) y 1.45× (30B) sin aumentar la memoria pico.
Rendimiento de Entrenamiento:
- MinT entrenó exitosamente políticas LoRA en un modelo MoE 235B-A22B y en un modelo Kimi K2 de 1.04T de parámetros, manteniendo la consistencia en la reproducción del enrutador MoE y la corrección DSA.
- Las trazas de aprendizaje muestran que el ciclo de vida del adaptador soporta los paradigmas SFT, DPO y GRPO con un rendimiento comparable a los baselines de ajuste fino completo (por ejemplo, la precisión de GRPO aumentando de 0.11 a 0.47 en AIME24).
Escalabilidad del Servicio (Escalar hacia Afuera):
- El sistema soporta catálogos direccionables de hasta 100,000 entradas en barridos de motor único, con soporte extrapolado para $10^6$ políticas a nivel de flota.
- Optimización de Carga en Frío: Los tensores LoRA MoE empaquetados redujeron los objetos tensoriales de 37,248 a 672, resultando en una aceleración de 8.5–8.7× en la carga del motor en vivo (mediana <0.2s) en comparación con cargas desempaquetadas.
- Las cachés de CPU mantuvieron con éxito cientos de adaptadores (por ejemplo, 550 adaptadores cargados bajo localidad débil), mientras que los lotes de GPU se delimitaron a ~64 adaptadores distintos por paso.

Significado y Afirmaciones

El artículo afirma que MinT hace de los servicios de entrenamiento multi-tenant una realidad práctica para el entrenamiento posterior a gran escala. Al cambiar la unidad gestionada de los puntos de control completos a las revisiones de adaptadores, MinT permite:

Reducción de Costos: Eliminar la materialización de puntos de control completos y reducir la sobrecarga del movimiento de datos.
Reproducibilidad: Proporcionar una interfaz consistente a nivel de servicio para entrenamiento, evaluación y servicio que oculta la complejidad distribuida.
Escalabilidad: Habilitar la gestión de catálogos de políticas LoRA a escala de millones sobre modelos base compartidos de clase 1T sin requerir que cada política sea un servidor de modelo completo.

Los autores posicionan a MinT no como un nuevo algoritmo de entrenamiento, sino como una capa de infraestructura que hace utilizable la "ruta de revisión de adaptadores" para arquitecturas densas y MoE de vanguardia, abordando los desafíos específicos de los sistemas de entrenamiento continuo, implementación y aprendizaje por refuerzo de agentes.