🤖 machine learning

Lakestream: A Consistent and Brokerless Data Plane for Large Foundation Model Training

Lakestream é um plano de dados nativo de armazenamento de objetos e sem corretora para treinamento de grandes modelos fundamentais que introduz Lotes Globais Transacionais e um algoritmo de Compromisso Adaptativo Descentralizado para fornecer consistência semelhante à ACID, isolamento de falhas e ingestão de alto throughput com latência inferior às soluções existentes de fila de mensagens ou co-localizadas.

Autores originais: Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

Publicado 2026-05-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô gigante e superinteligente (um Modelo de Fundação em Grande Escala) a entender o mundo. Para fazer isso, você precisa alimentá-lo com quantidades massivas de dados, como vídeos, imagens e texto, um "lote" de cada vez.

No passado, alimentar esse robô era como uma esteira rolante simples em uma fábrica. Os dados já vinham pré-embalados em caixas, e a esteira apenas os movia até o robô em um ritmo constante. Mas a IA moderna é diferente. Os dados são bagunçados, enormes e mudam de tamanho dependendo do que há dentro deles. Às vezes, um único arquivo de vídeo precisa ser descompactado e esticado para algo 1.000 vezes maior antes que o robô possa usá-lo.

As antigas esteiras rolantes (sistemas existentes) não conseguiam lidar com isso. Elas ficavam entupidas, ou, se um trabalhador derrubasse uma caixa, toda a fábrica parava.

Apresentamos o Lakestream: O Plano de Dados "Inteligente, sem Corretor".

Os autores deste artigo construíram um novo sistema chamado Lakestream. Pense nele como uma maneira revolucionária de organizar a entrega de dados para esses modelos gigantes de IA. Veja como funciona, usando analogias simples:

1. O Problema das Maneiras Antigas

O Problema "Colocado" (A Cozinha no Ginásio): Imagine que o robô (o treinador) está levantando pesos, e a pessoa que prepara sua comida (o carregador de dados) está parada bem ao lado dele, no mesmo quarto pequeno. Se a preparação da comida demorar muito, o robô tem que parar de levantar pesos. Se a pessoa que prepara a comida tropeçar e cair, o robô para para sempre. Eles estão muito emaranhados.
O Problema da "Fila de Mensagens" (O Carteiro Confuso): Imagine usar um correio central (como o Kafka) para entregar dados. O correio trata cada pedaço de papel como uma carta separada. Mas o robô precisa de uma refeição completa (um lote) de uma só vez. Se o correio entregar a parte do "frango" da refeição para um braço do robô e a parte do "arroz" para outro braço em momentos diferentes, o robô fica confuso e aprende as coisas erradas. Além disso, o correio é um único ponto de falha; se o carteiro chefe ficar doente, ninguém é alimentado.

2. A Solução Lakestream: Um Armazém Digital Compartilhado

O Lakestream elimina o correio central e a cozinha apertada. Em vez disso, usa um Armazenamento de Objetos massivo e compartilhado (como um armazém digital gigante e infinito, por exemplo, Amazon S3) e um Manifesto Versado (um livro-razão mestre).

Aqui estão os três truques mágicos que o Lakestream usa:

A. O "Lote Global Transacional" (A Refeição Perfeita)

Nos velhos tempos, os dados eram apenas um fluxo de registros individuais. O Lakestream trata um lote inteiro de dados como uma única unidade inquebrável chamada Lote Global Transacional (TGB).

A Analogia: Imagine um chef preparando um banquete completo. A comida é cozida e colocada na mesa, mas está coberta por uma tampa. A tampa está trancada. Ninguém pode ver a comida ainda.
A Magia: Quando o chef tem certeza de que todo o banquete está pronto, ele aciona um interruptor no livro-razão mestre (o Manifesto). De repente, a tampa se levanta, e cada braço do robô vê a refeição completa e perfeita exatamente no mesmo momento. Se o chef deixar cair um prato antes de acionar o interruptor, a tampa permanece fechada, e ninguém vê a bagunça. Isso garante que todos estejam sempre trabalhando com os mesmos dados.

B. O "Compromisso Adaptativo Descentralizado" (O Semáforo Inteligente)

Quando muitos chefs (produtores) tentam atualizar o livro-razão mestre ao mesmo tempo, eles podem tentar escrever na mesma página, causando um conflito.

A Maneira Antiga: Eles continuariam batendo na porta até que alguém os deixasse entrar, desperdiçando tempo.
A Maneira Lakestream (DAC): Os chefs têm um ritmo inteligente e autoaprendido. Eles observam o quão ocupado está o livro-razão. Se o livro-razão estiver ficando enorme e as atualizações estiverem lentas, eles automaticamente esperam um pouquinho mais antes de tentar escrever novamente. Se estiver tranquilo, eles escrevem mais rápido. Eles fazem isso sem conversar entre si, apenas olhando para o livro-razão. Isso mantém o tráfego fluindo suavemente, mesmo quando centenas de chefs estão trabalhando ao mesmo tempo.

C. O "Ciclo de Vida Alinhado a Pontos de Verificação" (O cofre de Viagem no Tempo)

Modelos de IA frequentemente precisam "salvar seu progresso" (ponto de verificação) e, às vezes, voltar a um salvamento anterior para tentar um caminho diferente.

O Problema: Em sistemas antigos, uma vez que os dados são consumidos, eles desaparecem. Se você precisar voltar, não pode.
A Maneira Lakestream: O sistema mantém um histórico de cada refeição servida, vinculado ao "ponto de salvamento" específico do robô. Quando o robô salva seu progresso, ele também escreve uma "marca d'água" (uma linha de segurança) no livro-razão. O sistema sabe manter todos os dados antes dessa linha seguros e salvos. Ele só exclui os dados antigos quando sabe que nenhum ponto de salvamento do robô precisa mais deles. Isso significa que você pode voltar no tempo perfeitamente sem perder seus dados, e não precisa pagar para armazenar dados que ninguém precisa.

3. Os Resultados

O artigo testou esse sistema em 64 GPUs poderosas com enormes conjuntos de dados de vídeo e imagem.

Velocidade: Foi 2,7 a 7,7 vezes mais rápido do que os melhores sistemas "colocados" existentes (onde a preparação de dados e o treinamento acontecem juntos).
Confiabilidade: Lidou muito melhor com falhas. Se um trabalhador de preparação de dados travasse, o robô continuava treinando sem parar.
Eficiência: Foi muito mais rápido do que usar uma fila de mensagens central (como Kafka), que lutava para acompanhar o tamanho e a complexidade dos dados.

Resumo

O Lakestream é como substituir uma estrada caótica de uma única faixa por um sistema de rodovias inteligente e descentralizado. Ele usa um armazém compartilhado e um livro-razão mestre para garantir que:

Todos recebam exatamente o mesmo "lote" de dados ao mesmo tempo.
O sistema continue movendo-se rápido mesmo quando o tráfego fica pesado.
Você possa voltar o processo de treinamento para qualquer ponto na história sem perder seus dados.

Ele alcança tudo isso sem precisar de um gerente central (corretor) para dizer a todos o que fazer, tornando-o mais rápido, mais barato e mais confiável para treinar os maiores modelos de IA do mundo.

Resumo Técnico: Lakestream

Declaração do Problema

O treinamento moderno de Modelos Fundamentais de Grande Escala (LFM) alterou fundamentalmente os requisitos para pipelines de dados. Diferentemente de cargas de trabalho de aprendizado profundo tradicionais que dependem de conjuntos de dados estáticos e pré-processados, o treinamento de LFM envolve geração de dados dinâmica e acoplada em tempo de execução. Essa mudança introduz três desafios críticos que os sistemas existentes não conseguem abordar:

Volume de Dados Imprevisível: No treinamento multimodal (por exemplo, vídeo, imagem-texto intercalado) e em aprendizado por reforço, as entradas brutas sofrem pré-processamento pesado em tempo de execução (decodificação, redimensionamento, empacotamento de tokens). Isso resulta em fatores de expansão de dados variando de 62× a mais de 9.000×, tornando inviável a alocação estática de recursos e o particionamento prévio.
Membro de Lote Dinâmico: Em cargas de trabalho que utilizam empacotamento de tokens online ou seleção de amostras dependente do modelo, a composição exata de um lote de treinamento é determinada apenas após a conclusão do pré-processamento. Esquemas de particionamento estático não conseguem capturar esses limites, exigindo um mecanismo para expor lotes completos de forma atômica a todas as ranks de treinamento.
Alinhamento de Checkpoint: Pipelines de LFM frequentemente intercalam pré-treinamento, ajuste fino e aprendizado por reforço, necessitando da capacidade de retornar a checkpoints específicos e reproduzir sequências exatas de lotes. Sistemas de entrega efêmeros não podem garantir a persistência e versionamento necessários para recuperação determinística.

As soluções existentes são insuficientes:

Dataloaders Colocados: Oferecem alinhamento semântico, mas carecem de isolamento de falhas. Uma falha no pré-processamento paralisa todo o trabalho, e recursos de CPU/memória compartilhados criam tetos de throughput.
Dataloaders Desagregados (Centralizados): Desacoplam o pré-processamento, mas dependem de entrega RPC efêmera. Carecem de histórico persistente, atomicidade em nível de lote e mecanismos para reproduzir lotes específicos após falhas.
Filas de Mensagens (por exemplo, Kafka): Operam sobre uma abstração de registro/offset em vez de semântica de lote. Elas ou forçam a entrega de shards fora de ordem (corrompendo a agregação de gradientes) ou exigem o download de lotes completos para cada rank (causando amplificação massiva de leitura).

Metodologia

Lakestream é um plano de dados de treinamento nativo de armazenamento de objetos e sem broker, projetado para resolver esses problemas ao adaptar princípios de arquitetura de lakehouse ao loop de treinamento. Sua filosofia de design central é que o armazenamento de objetos deve ser o único meio de coordenação, eliminando brokers, filas ou serviços centrais.

Abstração Central: Lote Global Transacional (TGB)

O sistema introduz o Lote Global Transacional (TGB), uma entidade persistente de primeira classe que trata cada lote de treinamento como uma unidade atômica com durabilidade e ordenação globalmente consistente.

Materialização: Os TGBs são escritos como objetos imutáveis no armazenamento de objetos.
Visibilidade Controlada por Manifesto: A escrita de objetos de dados não os torna visíveis. Um TGB torna-se visível aos consumidores apenas quando um manifesto confirmado e versionado o referencia. Isso garante que todas as ranks paralelas em dados observem um lote completo e consistente simultaneamente.
Layout: Os TGBs são organizados em fatias de dados correspondentes à malha de dispositivos (Paralelismo de Dados e Paralelismo de Contexto). Cada rank lê apenas sua fatia específica por meio de leituras de intervalo direcionadas, eliminando a amplificação de leitura.

Plano de Controle: Coordenação Descentralizada

Lakestream alcança coordenação sem um servidor central por meio de dois mecanismos-chave:

Controle de Concorrência Otimista (OCC) via Manifestos: Os produtores confirmam TGBs tentando uma escrita condicional (por exemplo, If-None-Match) de uma nova versão de manifesto. Se o nome da versão já estiver reivindicado, a escrita falha, e o produtor rebaseia seu estado local sobre o manifesto confirmado mais recente antes de tentar novamente. Isso lineariza a sequência global de lotes sem comunicação entre produtores.
Compromisso Adaptativo Descentralizado (DAC): Para sustentar alto throughput à medida que o manifesto cresce, Lakestream emprega o algoritmo DAC. Em vez de intervalos fixos, os produtores ajustam dinamicamente sua cadência de compromisso com base em estimativas em tempo real do tempo de I/O do manifesto e taxas de conflito. O DAC mantém um "orçamento de sobrecarga" e um "orçamento de conflito" explícitos, calculando uma lacuna de espera ótima entre tentativas de compromisso para maximizar a atualidade enquanto minimiza retentativas desperdiçadas.

Gerenciamento de Ciclo de Vida

Semântica Exatamente-Uma Vez: O estado do produtor (offsets de fluxo) é incorporado diretamente no mapa de estado por produtor do manifesto. Após reinício, um produtor pode recuperar sua posição exata sem reprocessar dados.
Recuperação Alinhada a Checkpoint: A retenção de dados está vinculada diretamente ao progresso do checkpoint distribuído. Uma marca d'água global ( $W_{global}$ ) é derivada da marca d'água mínima de todos os consumidores. Quaisquer TGBs ou versões de manifesto abaixo dessa marca d'água são elegíveis para exclusão, garantindo que os custos de armazenamento permaneçam limitados, ao mesmo tempo em que se assegura que os dados necessários para qualquer checkpoint ativo nunca sejam recuperados prematuramente.

Contribuições Principais

Arquitetura Nativa de Armazenamento de Objetos e sem Broker: O sistema estabelece o armazenamento de objetos como o único meio de coordenação. Não existem processos no lado do servidor no caminho crítico; uma nova execução de treinamento requer apenas um prefixo de namespace fresco.
Lote Global Transacional (TGB): Uma abstração inovadora que unifica a visibilidade de dados com a semântica de etapas de treinamento, fornecendo visibilidade atômica para todas as ranks, ordenação global e entrega exatamente-uma-vez inteiramente através de primitivas de armazenamento de objetos.
Compromisso Adaptativo Descentralizado (DAC): Um algoritmo que sustenta um throughput de ingestão estável à medida que o manifesto cresce, adaptando os intervalos de compromisso dinamicamente sem comunicação entre produtores.
Ciclo de Vida Alinhado a Checkpoint: Um mecanismo que vincula a retenção de dados ao progresso do checkpoint distribuído, permitindo rollbacks seguros e sobrecarga de armazenamento limitada sem um serviço de coordenação persistente.

Resultados de Avaliação

Os autores avaliaram o Lakestream em cargas de trabalho de pré-treinamento multimodal em grande escala e Ajuste Fino Supervisionado (SFT) usando até 64 GPUs (NVIDIA H200).

Throughput vs. Pipelines Colocados: O Lakestream superou pipelines colocados otimizados por especialistas em 2,68× a 7,73× no throughput de ponta a ponta. Esse ganho é atribuído à eliminação de contenção estrutural de recursos (compartilhamento de largura de banda de CPU/memória) entre pré-processamento e treinamento.
Throughput vs. Kafka: O Lakestream superou significativamente o Apache Kafka no throughput de ingestão do produtor, particularmente à medida que o número de produtores aumentava. O Kafka não conseguiu sustentar semânticas estritas de TGB para cargas úteis grandes (por exemplo, vídeo) devido a limites de tamanho de mensagem e contrapressão do broker.
Latência: O Lakestream alcançou menor latência de leitura do consumidor que o Kafka. Por exemplo, em cargas de trabalho de SFT de vídeo, o Lakestream reduziu a latência P95 de ~42,7s (Local) e ~9,5s (Kafka) para 367ms.
Escalabilidade: O algoritmo DAC manteve com sucesso altas taxas de sucesso de compromisso (96,3%) e throughput (431,9 MB/s) ao longo de execuções de 5 horas com 32 produtores, enquanto as linhas de base de intervalo fixo e heurísticas (AIMD, INCR) degradaram-se significativamente à medida que o manifesto crescia.
Amplificação de Leitura: O Lakestream alcançou amplificação de leitura próxima a 1×, independentemente do tamanho do mundo, pois cada rank lê apenas sua fatia de dados específica. Em contraste, o Kafka e as linhas de base de leitura densa exibiram amplificação escalando linearmente com o número de ranks (por exemplo, 128×).
Eficiência de Armazenamento: A recuperação orientada a checkpoint reduziu a capacidade de armazenamento de pico em 72,0% (de 34,85 GiB para 9,76 GiB) em comparação com execuções sem exclusão física, confirmando que as marcas d'água limitam efetivamente os custos de armazenamento.

Significância

O artigo afirma que o Lakestream demonstra que o armazenamento de objetos, quando combinado com metadados versionados e coordenação descentralizada, é um substrato suficiente para um plano de dados consciente de treinamento. Ao tratar o Lote Global como uma entidade persistente e transacional, em vez de um artefato de entrega efêmero, o Lakestream aborda os requisitos semânticos específicos do treinamento de LFM — membro de lote dinâmico, alinhamento de checkpoint e isolamento de falhas — que os sistemas de streaming baseados em registros existentes não podem satisfazer. O sistema prova que uma arquitetura sem broker pode sustentar entrega de dados de alto throughput e baixa latência para treinamento de modelos fundamentais em grande escala, sem a sobrecarga e os domínios de falha de serviços centralizados.