🤖 machine learning

MinT: Managed Infrastructure for Training and Serving Millions of LLMs

MinT é um sistema de infraestrutura gerenciada que permite o treinamento e a inferência eficientes de milhões de políticas de LLM baseadas em LoRA, mantendo um único modelo base grande residente enquanto gerencia dinamicamente revisões de adaptadores leves, alcançando assim melhorias significativas em escalabilidade, eficiência de memória e velocidade de implantação em arquiteturas densas e MoE.

Autores originais: Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você administra uma biblioteca massiva e incrivelmente cara de livros (o Modelo Base). Esses livros são enormes, ocupam uma sala inteira e são muito difíceis de mover.

Na antiga maneira de fazer as coisas, se você quisesse ensinar um livro um novo truque — como resolver problemas de matemática ou redigir contratos jurídicos —, você teria que fotocopiar o livro inteiro, escrever as novas anotações nas margens e, em seguida, mover aquela nova cópia inteira e pesada para uma sala diferente para mostrar às pessoas. Se você quisesse ensinar 1.000 truques diferentes, precisaria de 1.000 cópias pesadas do livro, ocupando uma quantidade massiva de espaço e tempo para serem arrumadas.

MinT (MindLab Toolkit) muda o jogo. Em vez de mover o livro inteiro, o MinT diz: "Vamos manter o livro pesado exatamente onde está, trancado na biblioteca. Vamos apenas escrever os novos truques em pequenos e leves post-its (chamados adaptadores LoRA)."

Veja como o MinT funciona, dividido em três ideias simples:

1. O Sistema de "Post-it" (Reduzir a Escala)

Em vez de mover uma enciclopédia de 45 quilos, você só move um post-it de 28 gramas.

A Antiga Maneira: Para atualizar um modelo, você mescla as anotações de volta ao livro, criando um novo arquivo pesado. Isso leva uma eternidade para salvar e mover.
A Maneira MinT: Você mantém o livro pesado (o Modelo Base) sentado na memória do computador. Quando você treina uma nova habilidade, você apenas salva o minúsculo post-it.
O Resultado: Mover a "atualização" é incrivelmente rápido. O artigo descobriu que mover apenas o post-it foi 18 vezes mais rápido para um modelo de tamanho médio e quase 3 vezes mais rápido para um modelo gigante, comparado a mover o livro inteiro. É como enviar uma mensagem de texto em vez de enviar um tijolo pelo correio.

2. As "Estações de Troca" (Aumentar a Escala)

Imagine que você tem uma máquina gigante e complexa (um supercomputador) que só pode segurar um livro pesado por vez.

O Problema: Geralmente, se você quiser treinar 5 versões diferentes de uma política (por exemplo, uma para matemática, uma para programação, uma para direito), você precisa de 5 máquinas diferentes, cada uma segurando uma cópia do livro pesado. Isso é um desperdício de dinheiro.
A Solução MinT: O MinT age como uma central telefônica inteligente. Ele mantém o livro pesado carregado na máquina. Quando é hora de treinar a versão "Matemática", ele troca pelo post-it de "Matemática". Quando é hora de "Programação", ele troca esse post-it e coloca o post-it de "Programação".
O Resultado: Você pode treinar muitas políticas diferentes na mesma máquina sem precisar de mais computadores. O artigo mostrou que isso tornou o treinamento 1,77 vezes mais rápido para um modelo de 4 bilhões de parâmetros e 1,45 vezes mais rápido para um modelo de 30 bilhões de parâmetros, tudo sem precisar de memória extra.

3. O "Catálogo Inteligente" (Expandir a Escala)

Imagine uma biblioteca com um milhão de post-its diferentes, mas sua mesa de leitura só tem espaço para alguns de cada vez.

O Problema: Se um usuário pedir um post-it específico e ele não estiver na mesa, você tem que ir ao depósito, encontrá-lo e trazê-lo de volta. Se 1.000 pessoas pedirem 1.000 post-its diferentes ao mesmo tempo, o depósito fica congestionado e todos esperam em uma longa fila.
A Solução MinT: O MinT organiza isso como um serviço de entrega inteligente.
- O Catálogo: Ele pode rastrear um milhão de post-its diferentes (políticas).
- O Cache: Ele mantém os post-its mais populares em uma prateleira perto da mesa (cache da CPU) para que estejam prontos instantaneamente.
- O Truque de "Embalagem": Às vezes, um post-it é na verdade feito de milhares de pedacinhos minúsculos (como um quebra-cabeça). O MinT cola essas peças juntas em um único pacote organizado antes de enviá-las para a mesa. Isso torna a entrega 8,5 vezes mais rápida porque o caminhão de entrega não precisa parar 37.000 vezes para pegar pedacinhos de quebra-cabeça; ele apenas pega uma caixa.

O Quadro Geral

O MinT é essencialmente um gerente para o treinamento de IA. Ele impede que você desperdice tempo e dinheiro movendo arquivos gigantes. Em vez disso, ele mantém o "cérebro" pesado (o Modelo Base) em um só lugar e gerencia os milhares de pequenas "habilidades" (Adaptadores) que são anexadas a ele.

Para Treinamento: Permite que você alterne entre diferentes habilidades rapidamente sem recarregar todo o cérebro.
Para Atendimento: Permite que você atenda milhões de habilidades diferentes aos usuários, carregando apenas as específicas necessárias naquele exato momento, e faz isso de uma forma que não congestionar o sistema.

Em resumo: Não mova o elefante; mova apenas o rato. O MinT torna possível executar milhões de personalidades de IA diferentes em uma base compartilhada e cara, sem que a base precise se mover.

Resumo Técnico: MinT (MindLab Toolkit)

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) evoluem em direção a parâmetros na escala de trilhões e aprendizado contínuo a partir da experiência, a infraestrutura necessária para o pós-treinamento tornou-se um gargalo crítico. Os fluxos de trabalho tradicionais dependem da materialização de checkpoints completos de ajuste fino para cada variante de modelo, ramo de tarefa ou adaptação específica de inquilino. Essa abordagem cria desafios significativos de escalabilidade:

Ineficiência de Recursos: A cópia ou o serviço de checkpoints completos para cada variante de política consome armazenamento e memória excessivos, tornando difícil o treinamento contínuo e a implantação de capacidades agênticas.
Dessincronização entre Treinamento e Serviço: A movimentação de modelos completos entre motores de treinamento e inferência introduz latência e complexidade, particularmente ao gerenciar controle de versão, pontos de reversão e populações diversas de políticas sobre modelos base compartilhados.
Limites de Escalabilidade: À medida que os modelos crescem para 1T+ de parâmetros (densos e Mistura de Especialistas/MoE), a sobrecarga de gerenciar checkpoints completos para milhares de políticas LoRA (Adaptação de Baixo Rango) torna-se proibitiva.

Metodologia: O Framework MinT

O MindLab Toolkit (MinT) propõe um sistema de infraestrutura gerenciada que trata revisões de adaptador LoRA exportadas como a unidade fundamental de gerenciamento de políticas, em vez de checkpoints completos de modelo. O sistema é projetado em torno de uma arquitetura de "base residente", onde o modelo base permanece carregado na memória, enquanto comportamentos de tarefa, ramos de produto e versões experimentais são representados por revisões de adaptadores leves.

Arquitetura Central

O MinT separa o registro de política (estado do ciclo de vida de propriedade do serviço) da revisão de adaptador (a carga útil executável).

Ciclo de Vida Centrado no Adaptador: Em vez de mesclar adaptadores de volta ao modelo base, o MinT exporta parâmetros LoRA treinados como revisões compatíveis com serviço. Essas revisões são verificadas quanto à compatibilidade com a base residente e carregadas diretamente em motores de inferência (por exemplo, vLLM) que já possuem os pesos base.
Treinamento com Fenda de Tempo: O MinT suporta treinamento multi-LoRA em bases residentes compartilhadas. Um único treinador pode alternar entre diferentes registros de política trocando apenas tensores LoRA, estados de otimizador e registros de rollout, mantendo o modelo base congelado residente na memória da GPU. Isso suporta tanto caminhos de PEFT de trabalhador único quanto treinamento distribuído Megatron.
Cache de Serviço em Três Níveis: Para gerenciar grandes populações de políticas, o MinT separa a endereçabilidade da residência:
- Catálogo Endereçável: Um armazenamento durável de todas as revisões de adaptador exportadas (até escala de $10^6$ ).
- Cache de CPU: Local a um ator de serviço, mantendo centenas de adaptadores para promoção rápida.
- Lote de GPU: O conjunto ativo de adaptadores residentes em slots de inferência para a etapa de decodificação atual.
Carregamento Frio como Trabalho de Serviço: Os carregamentos de adaptador de primeiro contato são tratados como trabalho de serviço agendado. O MinT duplica solicitações de carregamento para a mesma política ausente e utiliza tensores LoRA MoE compactados para reduzir a ramificação de objetos, acelerando significativamente o carregamento do motor ao vivo.

Eixos de Escala

O MinT escala esse caminho de revisão de adaptador ao longo de três dimensões:

Escala Vertical (Scale Up): Suporta RL LoRA em arquiteturas densas e MoE de escala de fronteira (validado até 1T de parâmetros). Lida com treinamento paralelo de modelo (Paralelismo de Tensor/Especialista), consistência de roteamento esparsos (reprodução de roteador MoE) e correções de atenção esparsa dinâmica (DSA).
Escala Horizontal (Scale Down): Minimiza a transferência entre treinamento e serviço movendo apenas o adaptador (frequentemente <1% do tamanho do modelo base). Isso elimina completamente a materialização de checkpoints completos.
Escala Externa (Scale Out): Expande o namespace de políticas enquanto limita a execução local do motor. Desacopla a endereçabilidade durável de políticas de conjuntos de trabalho ativos, permitindo grandes catálogos sem exigir que todos os adaptadores estejam residentes simultaneamente.

Contribuições Principais

Gerenciamento do Ciclo de Vida do Adaptador: O MinT define um ciclo de vida completo desde a atualização até o serviço, incluindo conversão de particionamento para serviço, verificações de compatibilidade, registros de rollout e capacidades de reversão. A revisão de adaptador torna-se o comportamento fixo selecionado pelo sistema.
Treinamento RL Multi-LoRA em Grande Escala: O sistema demonstra RL LoRA ponta a ponta em implantações densas e MoE de grande porte, incluindo treinamento na escala de 235B-A22B e um caminho de tarefa de contagem de 1T-class MoE, suportando tanto treinamento de trabalhador único quanto treinamento distribuído Megatron.
Serviço de População de Políticas: O MinT serve adaptadores exportados através de motores vLLM de base compartilhada, separando a endereçabilidade durável dos conjuntos quentes de CPU/GPU. Introduz representações compactadas de LoRA MoE que reduzem a ramificação de objetos pequenos, melhorando as velocidades de carregamento do motor ao vivo.
Reprodutibilidade Pública: O MinT fornece uma API compatível com Tinker e utiliza receitas "mint-cookbook" para reproduzir exemplos de SFT, otimização de preferência (DPO), RL baseado em rollout (GRPO) e AutoResearch através do mesmo ciclo de vida de adaptador.

Resultados Experimentais

O artigo valida as capacidades do MinT através de medições extensivas nos modelos Qwen3 (4B, 30B, 235B) e Kimi K2 (1T):

Eficiência de Transferência (Escala Horizontal):
- A transferência apenas de adaptador reduz a etapa de transferência medida em 18,3× em um modelo denso de 4B e 2,85× em um modelo MoE de 30B comparado à mesclagem de checkpoints completos.
- GRPO multi-político concorrente encurta o tempo de parede em 1,77× (4B) e 1,45× (30B) sem aumentar a memória de pico.
Desempenho de Treinamento:
- O MinT treinou com sucesso políticas LoRA em um modelo MoE de 235B-A22B e um modelo Kimi K2 de 1,04T de parâmetros, mantendo consistência na reprodução de roteador MoE e correção DSA.
- Traços de aprendizado mostram que o ciclo de vida do adaptador suporta paradigmas SFT, DPO e GRPO com desempenho comparável a bases de ajuste fino completo (por exemplo, precisão do GRPO subindo de 0,11 para 0,47 no AIME24).
Escalabilidade de Serviço (Escala Externa):
- O sistema suporta catálogos endereçáveis de até 100.000 entradas em varreduras de motor único, com suporte extrapolado para $10^6$ políticas no nível da frota.
- Otimização de Carregamento Frio: Tensores LoRA MoE compactados reduziram objetos tensoriais de 37.248 para 672, resultando em uma aceleração de 8,5–8,7× no carregamento do motor ao vivo (mediana <0,2s) comparado a carregamentos descompactados.
- Caches de CPU mantiveram com sucesso centenas de adaptadores (por exemplo, 550 adaptadores carregados sob localidade fraca), enquanto lotes de GPU foram limitados a ~64 adaptadores distintos por etapa.

Significado e Alegações

O artigo alega que o MinT torna os serviços de treinamento multi-inquilino uma realidade prática para pós-treinamento em grande escala. Ao deslocar a unidade gerenciada de checkpoints completos para revisões de adaptador, o MinT permite:

Redução de Custos: Eliminar a materialização de checkpoints completos e reduzir a sobrecarga de movimentação de dados.
Reprodutibilidade: Fornecer uma interface consistente, ao nível do serviço, para treinamento, avaliação e serviço que oculta a complexidade distribuída.
Escalabilidade: Permitir o gerenciamento de catálogos de políticas LoRA na escala de milhões sobre modelos base compartilhados de classe 1T, sem exigir que cada política seja um servidor de modelo completo.

Os autores posicionam o MinT não como um novo algoritmo de treinamento, mas como uma camada de infraestrutura que torna o "caminho de revisão de adaptador" utilizável para arquiteturas densas e MoE de escala de fronteira, abordando os desafios específicos de sistemas de treinamento contínuo, implantação e aprendizado por reforço agêntico.