🤖 machine learning

Lakestream: A Consistent and Brokerless Data Plane for Large Foundation Model Training

Lakestream est un plan de données natif des magasins d'objets et sans intermédiaire, destiné à l'entraînement de grands modèles de base, qui introduit des lots globaux transactionnels et un algorithme de validation adaptatif décentralisé pour fournir une cohérence de type ACID, une isolation des défaillances et une ingestion à haut débit avec une latence inférieure à celle des solutions existantes de file d'attente de messages ou de colocalisation.

Auteurs originaux : Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot géant et ultra-intelligent (un Modèle Fondation de Grande Taille) comment comprendre le monde. Pour ce faire, vous devez lui fournir d'énormes quantités de données, telles que des vidéos, des images et du texte, un « lot » à la fois.

Par le passé, nourrir ce robot ressemblait à un simple convoyeur dans une usine. Les données étaient déjà préemballées dans des boîtes, et le convoyeur les déplaçait vers le robot à un rythme régulier. Mais l'IA moderne est différente. Les données sont désordonnées, gigantesques et leur taille varie en fonction de leur contenu. Parfois, un seul fichier vidéo doit être déballé et étiré pour devenir 1 000 fois plus grand avant que le robot ne puisse l'utiliser.

Les anciens convoyeurs (les systèmes existants) ne pouvaient pas gérer cela. Ils se bloquaient soit, soit, si un ouvrier laissait tomber une boîte, toute l'usine s'arrêtait.

Voici Lakestream : la couche de données « intelligente et sans courtier ».

Les auteurs de cet article ont construit un nouveau système appelé Lakestream. Imaginez-le comme une façon révolutionnaire d'organiser la livraison de données pour ces modèles d'IA géants. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le problème des anciennes méthodes

Le problème de la « colocalisation » (La cuisine dans la salle de sport) : Imaginez que le robot (l'entraîneur) soulève des poids, et que la personne qui prépare sa nourriture (le chargeur de données) se tient juste à côté de lui dans la même petite pièce. Si la préparation de la nourriture prend trop de temps, le robot doit arrêter de soulever. Si la personne qui prépare la nourriture trébuche et tombe, le robot s'arrête pour toujours. Ils sont trop emmêlés l'un dans l'autre.
Le problème de la « file d'attente de messages » (Le coursier confus) : Imaginez utiliser un bureau de poste central (comme Kafka) pour livrer des données. Le bureau de poste traite chaque morceau de papier comme une lettre séparée. Mais le robot a besoin d'un repas complet (un lot) tout d'un coup. Si le bureau de poste livre la partie « poulet » du repas à un bras du robot et la partie « riz » à un autre bras à des moments différents, le robot se confond et apprend les mauvaises choses. De plus, le bureau de poste est un point de défaillance unique ; si le directeur de la poste tombe malade, personne ne mange.

2. La solution Lakestream : un entrepôt numérique partagé

Lakestream élimine le bureau de poste central et la cuisine exigüe. Au lieu de cela, il utilise un Stockage Objet massif et partagé (comme un immense entrepôt numérique infini, par exemple Amazon S3) et un Manifeste versionné (un registre maître).

Voici les trois tours de magie que Lakestream utilise :

A. Le « Lot Global Transactionnel » (Le repas parfait)

Autrefois, les données n'étaient qu'un flux d'enregistrements individuels. Lakestream traite un « lot » entier de données comme une unité unique et insécable appelée Lot Global Transactionnel (TGB).

L'analogie : Imaginez un chef préparant un banquet complet. La nourriture est cuite et placée sur la table, mais elle est couverte d'un couvercle. Le couvercle est verrouillé. Personne ne peut voir la nourriture pour le moment.
La magie : Lorsque le chef est certain que tout le banquet est prêt, il actionne un interrupteur sur le registre maître (le Manifeste). Soudain, le couvercle se soulève, et chaque bras de robot voit le repas complet et parfait exactement au même moment. Si le chef laisse tomber une assiette avant d'actionner l'interrupteur, le couvercle reste baissé, et personne ne voit le désordre. Cela garantit que tout le monde travaille toujours avec les mêmes données.

B. Le « Commit Adaptatif Décentralisé » (Le feu de circulation intelligent)

Lorsque de nombreux chefs (producteurs) tentent de mettre à jour le registre maître en même temps, ils pourraient essayer d'écrire sur la même page, provoquant un conflit.

L'ancienne méthode : Ils continuaient simplement à frapper à la porte jusqu'à ce que quelqu'un les laisse entrer, perdant du temps.
La méthode Lakestream (DAC) : Les chefs ont un rythme intelligent et auto-appris. Ils observent à quel point le registre est occupé. Si le registre devient énorme et que les mises à jour sont lentes, ils attendent automatiquement un tout petit peu plus longtemps avant de réessayer d'écrire. S'il est calme, ils écrivent plus vite. Ils font cela sans se parler, simplement en regardant le registre. Cela maintient la circulation fluide même lorsque des centaines de chefs travaillent en même temps.

C. Le « Cycle de vie aligné sur les points de contrôle » (Le coffre-fort voyageant dans le temps)

Les modèles d'IA doivent souvent « sauvegarder leurs progrès » (point de contrôle) et parfois revenir à une sauvegarde précédente pour essayer un chemin différent.

Le problème : Dans les anciens systèmes, une fois les données mangées, elles sont parties. Si vous devez revenir en arrière, vous ne le pouvez pas.
La méthode Lakestream : Le système conserve l'historique de chaque repas servi, lié au « point de sauvegarde » spécifique du robot. Lorsque le robot sauvegarde ses progrès, il écrit également une « marque d'eau » (une ligne de sécurité) dans le registre. Le système sait conserver toutes les données avant cette ligne en toute sécurité. Il ne supprime les anciennes données que lorsqu'il sait qu'aucun point de sauvegarde de robot n'en a plus besoin. Cela signifie que vous pouvez remonter le temps parfaitement sans perdre vos données, et vous n'avez pas à payer pour stocker des données dont personne n'a besoin.

3. Les résultats

L'article a testé ce système sur 64 GPU puissants avec d'énormes ensembles de données vidéo et d'images.

Vitesse : Il était 2,7 à 7,7 fois plus rapide que les meilleurs systèmes « colocalisés » existants (où la préparation des données et l'entraînement se produisent ensemble).
Fiabilité : Il a géré les pannes beaucoup mieux. Si un ouvrier de préparation des données plantait, le robot continuait l'entraînement sans s'arrêter.
Efficacité : Il était beaucoup plus rapide que l'utilisation d'une file d'attente de messages centrale (comme Kafka), qui peinait à suivre la taille et la complexité des données.

Résumé

Lakestream revient à remplacer une route chaotique à une seule voie par un système d'autoroutes intelligent et décentralisé. Il utilise un entrepôt partagé et un registre maître pour garantir que :

Tout le monde reçoit exactement le même « lot » de données au même moment.
Le système continue de avancer rapidement même lorsque le trafic devient dense.
Vous pouvez revenir en arrière dans le processus d'entraînement à n'importe quel moment de l'histoire sans perdre vos données.

Il réalise tout cela sans avoir besoin d'un gestionnaire central (courtier) pour dire à tout le monde quoi faire, le rendant plus rapide, moins cher et plus fiable pour l'entraînement des plus grands modèles d'IA au monde.

Résumé technique : Lakestream

Énoncé du problème

L'entraînement moderne des grands modèles de base (LFM) a fondamentalement modifié les exigences des pipelines de données. Contrairement aux charges de travail d'apprentissage profond traditionnelles qui reposent sur des jeux de données statiques et prétraités, l'entraînement des LFM implique une génération de données dynamique et couplée à l'exécution. Ce changement introduit trois défis critiques que les systèmes existants ne parviennent pas à résoudre :

Volume de données imprévisible : Dans l'entraînement multimodal (par exemple, vidéo, images et texte entrelacés) et l'apprentissage par renforcement, les entrées brutes subissent un prétraitement intensif à l'exécution (décodage, redimensionnement, regroupement de tokens). Cela entraîne des facteurs d'expansion des données allant de 62× à plus de 9 000×, rendant l'allocation statique des ressources et le pré-partitionnement inapplicables.
Appartenance dynamique des lots : Dans les charges de travail utilisant le regroupement de tokens en ligne ou la sélection d'échantillons dépendante du modèle, la composition exacte d'un lot d'entraînement n'est déterminée qu'une fois le prétraitement terminé. Les schémas de partitionnement statique ne peuvent pas capturer ces limites, nécessitant un mécanisme pour exposer atomiquement des lots complets à tous les rangs d'entraînement.
Alignement des points de contrôle (checkpoints) : Les pipelines LFM intercalent souvent le pré-entraînement, le fine-tuning et l'apprentissage par renforcement, ce qui nécessite la capacité de revenir à des points de contrôle spécifiques et de rejouer des séquences de lots exactes. Les systèmes de livraison éphémères ne peuvent garantir la persistance et le versionnement requis pour une récupération déterministe.

Les solutions existantes sont insuffisantes :

Chargeurs de données colocalisés : Ils offrent un alignement sémantique mais manquent d'isolation des pannes. Un crash du prétraitement bloque l'ensemble du travail, et le partage des ressources CPU/mémoire crée des plafonds de débit.
Chargeurs de données disagrégés (centralisés) : Ils découplent le prétraitement mais reposent sur une livraison RPC éphémère. Ils manquent d'historique persistant, d'atomicité au niveau du lot et de mécanismes pour rejouer des lots spécifiques après des pannes.
Files d'attente de messages (par exemple, Kafka) : Elles fonctionnent sur une abstraction d'enregistrement/décalage plutôt que sur la sémantique des lots. Elles imposent soit une livraison de fragments hors ordre (corrompant l'agrégation des gradients), soit le téléchargement de lots complets pour chaque rang (provoquant une amplification massive des lectures).

Méthodologie

Lakestream est un plan de données d'entraînement natif du stockage objet et sans intermédiaire, conçu pour résoudre ces problèmes en adaptant les principes de l'architecture lakehouse à la boucle d'entraînement. Sa philosophie de conception centrale est que le stockage objet doit être le seul médium de coordination, éliminant les intermédiaires, les files d'attente ou les services centraux.

Abstraction centrale : Lot Global Transactionnel (TGB)

Le système introduit le Lot Global Transactionnel (TGB), une entité persistante de premier ordre qui traite chaque lot d'entraînement comme une unité atomique dotée de durabilité et d'un ordre globalement cohérent.

Matérialisation : Les TGB sont écrits sous forme d'objets immuables dans le stockage objet.
Visibilité contrôlée par manifeste : L'écriture d'objets de données ne les rend pas visibles. Un TGB ne devient visible pour les consommateurs que lorsqu'un manifeste validé et versionné y fait référence. Cela garantit que tous les rangs parallèles aux données observent un lot complet et cohérent simultanément.
Disposition : Les TGB sont organisés en tranches de données correspondant à la topologie des dispositifs (parallélisme des données et parallélisme du contexte). Chaque rang ne lit que sa tranche spécifique via des lectures de plage ciblées, éliminant ainsi l'amplification des lectures.

Plan de contrôle : Coordination décentralisée

Lakestream réalise la coordination sans serveur central grâce à deux mécanismes clés :

Contrôle de concurrence optimiste (OCC) via les manifestes : Les producteurs valident les TGB en tentant une écriture conditionnelle (par exemple, If-None-Match) d'une nouvelle version de manifeste. Si le nom de la version est déjà revendiqué, l'écriture échoue, et le producteur réajuste son état local sur le dernier manifeste validé avant de réessayer. Cela linéarise la séquence globale des lots sans communication inter-producteur.
Validation adaptative décentralisée (DAC) : Pour maintenir un débit élevé à mesure que le manifeste grandit, Lakestream emploie l'algorithme DAC. Au lieu d'intervalles fixes, les producteurs ajustent dynamiquement leur cadence de validation en fonction d'estimations en temps réel du temps d'E/S du manifeste et des taux de conflit. DAC maintient un « budget de surcharge » et un « budget de conflit » explicites, calculant un délai d'attente optimal entre les tentatives de validation pour maximiser la fraîcheur tout en minimisant les réessais gaspillés.

Gestion du cycle de vie

Sémantique exactement une fois : L'état du producteur (décalages du flux) est intégré directement dans la carte d'état par producteur du manifeste. Après un redémarrage, un producteur peut récupérer sa position exacte sans retraiter les données.
Récupération alignée sur les points de contrôle : La rétention des données est directement liée à la progression des points de contrôle distribués. Un filigrane global ( $W_{global}$ ) est dérivé du filigrane minimum de tous les consommateurs. Tout TGB ou version de manifeste en dessous de ce filigrane est éligible à la suppression, garantissant que les coûts de stockage restent bornés tout en assurant que les données requises pour tout point de contrôle actif ne sont jamais récupérées prématurément.

Contributions clés

Architecture native du stockage objet et sans intermédiaire : Le système établit le stockage objet comme le seul médium de coordination. Aucun processus côté serveur n'existe dans le chemin critique ; un nouvel entraînement nécessite uniquement un nouveau préfixe d'espace de noms.
Lot Global Transactionnel (TGB) : Une abstraction novatrice qui unifie la visibilité des données avec la sémantique des étapes d'entraînement, offrant une visibilité atomique à tous les rangs, un ordre global et une livraison exactement une fois, entièrement via des primitives du stockage objet.
Validation adaptative décentralisée (DAC) : Un algorithme qui maintient un débit d'ingestion stable à mesure que le manifeste grandit, adaptant dynamiquement les intervalles de validation sans communication inter-producteur.
Cycle de vie aligné sur les points de contrôle : Un mécanisme qui lie la rétention des données à la progression des points de contrôle distribués, permettant des retours en arrière sûrs et des frais de stockage bornés sans service de coordination persistant.

Résultats de l'évaluation

Les auteurs ont évalué Lakestream sur des charges de travail de pré-entraînement multimodal à grande échelle et de fine-tuning supervisé (SFT) utilisant jusqu'à 64 GPU (NVIDIA H200).

Débit par rapport aux pipelines colocalisés : Lakestream a surpassé les pipelines colocalisés optimisés par des experts d'un facteur de 2,68× à 7,73× en débit de bout en bout. Ce gain est attribué à l'élimination des contentions de ressources structurelles (partage de la bande passante CPU/mémoire) entre le prétraitement et l'entraînement.
Débit par rapport à Kafka : Lakestream a considérablement surpassé Apache Kafka en débit d'ingestion des producteurs, en particulier lorsque le nombre de producteurs augmentait. Kafka n'a pas pu maintenir une sémantique stricte de TGB pour des charges utiles importantes (par exemple, vidéo) en raison des limites de taille des messages et de la contre-pression des intermédiaires.
Latence : Lakestream a atteint une latence de lecture des consommateurs inférieure à celle de Kafka. Par exemple, dans les charges de travail SFT vidéo, Lakestream a réduit la latence P95 de ~42,7 s (Local) et ~9,5 s (Kafka) à 367 ms.
Évolutivité : L'algorithme DAC a maintenu avec succès des taux de réussite de validation élevés (96,3 %) et un débit (431,9 Mo/s) sur des exécutions de 5 heures avec 32 producteurs, tandis que les lignes de base à intervalle fixe et heuristiques (AIMD, INCR) se sont dégradées de manière significative à mesure que le manifeste grandissait.
Amplification des lectures : Lakestream a atteint une amplification des lectures proche de 1× indépendamment de la taille du monde, car chaque rang ne lit que sa tranche de données spécifique. En revanche, Kafka et les lignes de base à lecture dense ont présenté une amplification évoluant linéairement avec le nombre de rangs (par exemple, 128×).
Efficacité du stockage : La récupération pilotée par les points de contrôle a réduit la capacité de stockage maximale de 72,0 % (de 34,85 GiB à 9,76 GiB) par rapport aux exécutions sans suppression physique, confirmant que les filigranes bornent efficacement les coûts de stockage.

Importance

L'article affirme que Lakestream démontre que le stockage objet, lorsqu'il est combiné à des métadonnées versionnées et à une coordination décentralisée, constitue un substrat suffisant pour un plan de données conscient de l'entraînement. En traitant le Lot Global comme une entité persistante et transactionnelle plutôt que comme un artefact de livraison éphémère, Lakestream répond aux exigences sémantiques spécifiques de l'entraînement des LFM — appartenance dynamique des lots, alignement des points de contrôle et isolation des pannes — que les systèmes de streaming basés sur des enregistrements existants ne peuvent satisfaire. Le système prouve qu'une architecture sans intermédiaire peut soutenir une livraison de données à haut débit et faible latence pour l'entraînement de grands modèles de base, sans les surcharges et les domaines de défaillance des services centralisés.