🤖 AI

OpenURMA: A Clean-Room Open Implementation of the Unified Bus Protocol

Ce papier présente OpenURMA, la première implémentation open-source en chambre blanche du protocole Unified Bus de Huawei, qui démontre, par le biais de simulations RTL, SystemC et gem5, que le découplage de l'état par application de l'état de transport réduit la latence de récupération distante de 64 octets d'un facteur 4,37 et augmente le débit d'un facteur 2,80 par rapport aux bases traditionnelles RoCEv2.

Auteurs originaux : Bojie Li

Publié 2026-05-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bojie Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Goulot d'Étranglement des « Périphériques »

Imaginez un centre de données moderne comme un immense immeuble de bureaux où des milliers d'employés (les applications) doivent communiquer instantanément entre eux.

Actuellement, la façon standard dont ils communiquent est la suivante :

Le Problème des Périphériques : La carte réseau (NIC) est traitée comme un périphérique, similaire à une imprimante ou une souris branchées à un ordinateur. Elle se trouve « à l'extérieur » du cerveau principal (le CPU).
Le Système de File d'Attente : Pour envoyer un message, un employé doit écrire un mot (une « demande de travail » ou « Work Request »), le porter jusqu'à la boîte aux lettres de la carte réseau (la « sonnette » ou « Doorbell »), et attendre. La carte réseau le récupère ensuite, le traite, et écrit un mot « Terminé » de retour dans la boîte aux lettres.
L'Embouteillage : Parce que la carte réseau est « à l'extérieur », chaque mot doit traverser une autoroute bondée (le bus PCIe) quatre fois juste pour être envoyé et confirmé.
La Crise de Mémoire : La carte réseau doit conserver un dossier personnel pour chaque paire d'employés qui communiquent entre eux. Si vous avez 1 000 employés parlant à 1 000 autres, la carte a besoin de 1 million de dossiers. Elle manque d'espace de bureau (mémoire sur puce) et doit commencer à courir vers l'armoire à dossiers au sous-sol (la RAM de l'hôte) pour saisir des fichiers. Cela ralentit tout à une allure de tortue.

Le Résultat : Même si les câbles internet (le « fil ») sont incroyablement rapides, tout le système est bloqué dans les embouteillages à cause de la façon dont la carte réseau est connectée et organisée.

La Solution : Le Bus Unifié (UB) de Huawei

Huawei a proposé une nouvelle conception appelée Bus Unifié (UB) (dans leur puce Ascend 950) pour résoudre ce problème. Ils n'ont pas simplement réparé l'ancien système ; ils ont changé les règles de la route.

1. Déplacer le Bureau à l'Intérieur de l'Immeuble
Au lieu que la carte réseau soit un périphérique à l'extérieur de l'immeuble, UB place le contrôleur réseau à l'intérieur de l'immeuble dans le couloir principal (le bus sur puce).

Analogie : Au lieu de marcher jusqu'au hall pour envoyer une lettre, vous pouvez maintenant simplement la remettre à un collègue qui se tient juste à côté de votre bureau. Vous n'avez pas besoin de traverser l'autoroute quatre fois ; vous faites juste un pas.

2. Diviser le Système de Classement
L'ancien système conservait un seul énorme dossier pour chaque paire de personnes qui communiquent. UB divise cela :

Jetty : Une petite carte pour votre côté de la conversation.
Canal TP : Une carte partagée pour le côté de l'autre personne.
Analogie : Au lieu d'avoir besoin d'un dossier unique pour chaque paire de personnes (ce qui explose en taille), vous avez juste besoin d'une carte pour vous-même et d'une carte partagée pour la personne à qui vous parlez. Le nombre total de dossiers croît lentement (de manière additive) au lieu d'exploser (de manière multiplicative). Cela empêche l'espace de bureau de la carte réseau de déborder.

3. Le Raccourci « Chargement/Stockage » (Load/Store)
Parce que le contrôleur est maintenant à l'intérieur de l'immeuble, le CPU peut lui parler directement en utilisant des instructions standard (comme LOAD ou STORE), exactement comme lire une variable dans un programme.

Analogie : Vous n'avez pas besoin de remplir un formulaire, de marcher jusqu'à la boîte aux lettres et d'attendre un reçu. Vous saisissez simplement les données dont vous avez besoin instantanément.

4. Règles Optionnelles (Tri par Adhésion / Opt-in Ordering)
L'ancien système imposait des règles strictes : « Vous devez recevoir les messages dans l'ordre exact où ils ont été envoyés, peu importe ce qui se passe. » C'est lent et inutile pour de nombreuses tâches.

Analogie : UB dit : « Nous pouvons livrer les messages aussi vite que possible. Si vous avez vraiment besoin qu'ils soient dans l'ordre, levez simplement la main et nous ralentirons pour les trier. Si cela ne vous importe pas, nous les déposerons simplement dans votre boîte de réception à mesure qu'ils arrivent. » Cela économise du temps pour tous ceux qui n'ont pas besoin d'un ordre strict.

Ce Que OpenURMA a Fait

La puce de Huawei existe, mais c'est une « boîte noire ». Personne ne peut voir comment elle fonctionne à l'intérieur, la mesurer ou construire dessus.

OpenURMA est la première implémentation open-source en chambre blanche de ce nouveau système.

« Chambre blanche » signifie qu'ils l'ont construite à partir de zéro en utilisant uniquement le manuel de règles public (la spécification), sans regarder le code secret de Huawei.
Ils ont construit trois versions pour le tester :
1. RTL : Le plan réel pour les puces matérielles (testé sur une carte FPGA).
2. SystemC : Une simulation informatique ultra-détaillée du réseau.
3. gem5 : Une simulation informatique complète exécutant un véritable système d'exploitation.

Ils ont comparé leur nouveau système (OpenURMA) avec l'ancien standard (RoCEv2) en utilisant exactement les mêmes outils pour assurer une confrontation équitable.

Les Résultats : À Quel Point C'est Plus Rapide ?

Le document revendique des améliorations massives, spécifiquement pour les opérations petites et rapides (comme récupérer un tout petit morceau de données) :

Vitesse : Le nouveau système est 4,37 fois plus rapide (environ 500 nanosecondes) que l'ancien système (environ 2 186 nanosecondes) pour une récupération de données standard.
Débit : Il peut traiter 2,8 fois plus de données par seconde.
Efficacité : Il utilise très peu d'espace sur la puce (seulement environ 14 % de l'espace disponible sur une carte de test).
Évolutivité : À mesure que vous ajoutez plus d'utilisateurs (de 1 à 1 024), l'ancien système ralentit drastiquement car il manque d'espace de bureau. Le nouveau système reste rapide et stable car son système de classement est efficace.

Pourquoi Cela Compte (Selon le Document)

Le document soutient que la façon actuelle dont nous connectons les ordinateurs dans les centres de données (traitant la carte réseau comme un périphérique) est fondamentalement brisée pour les charges de travail modernes d'IA et de big data.

L'Alternative « Cohérente » : Il existe d'autres technologies (comme CXL ou NVLink) qui tentent de rendre la mémoire « partagée » et « cohérente ». Cependant, le document soutient que ces technologies s'effondrent lorsque vous essayez de les mettre à l'échelle vers de grands clusters (de nombreux racks de serveurs) car elles nécessitent trop de suivi d'état et ne peuvent pas bien gérer les erreurs réseau.
L'Avantage du UB : UB accepte que le réseau n'est pas parfait et ne tente pas d'imposer une « cohérence parfaite » dans tout l'immeuble. Au lieu de cela, il donne à l'application les outils pour gérer l'ordre uniquement lorsque cela est nécessaire, lui permettant de s'étendre à des milliers de serveurs sans l'effondrement des performances observé dans d'autres systèmes.

Résumé

Imaginez l'ancien système comme un bureau de poste où vous devez marcher jusqu'au comptoir, remplir un formulaire, attendre dans la file et obtenir un reçu pour chaque lettre unique.
Imaginez le nouveau système OpenURMA comme un messager privé qui s'assoit juste à côté de vous, sait exactement à qui vous parlez, et peut déposer une lettre dans votre main instantanément sans aucune paperasse, sauf si vous demandez spécifiquement un reçu.

Le document prouve que cette nouvelle façon d'organiser le réseau n'est pas juste une théorie, mais une conception ouverte et fonctionnelle qui est significativement plus rapide et plus évolutive que ce que nous utilisons aujourd'hui.

Résumé Technique : OpenURMA

Énoncé du Problème
L'architecture RDMA (Remote Direct Memory Access) moderne des centres de données est structurellement limitée par l'abstraction « périphérique-NIC » héritée d'InfiniBand et de RoCE. Dans ce modèle, la carte d'interface réseau (NIC) se situe derrière le bus PCIe, et la communication suit un modèle de programmation par paires de files d'attente (Queue-Pair ou QP). Cette conception impose deux coûts critiques devenus intolérables pour les charges de travail d'entraînement d'IA caractérisées par des fanouts massifs (milliers de GPU) et de petites tailles de messages (gradients de 64 octets) :

Explosion de l'état : Une QP fusionne l'identité de l'application avec la fiabilité du transport, exigeant un état par connexion pour chaque paire (application locale, point de terminaison distant). À une échelle de 1024x1024, cela nécessite environ 537 Mo d'état, dépassant la SRAM sur puce et obligeant les opérations à effectuer un aller-retour PCIe pour recharger le contexte.
Latence de traversée PCIe : Comme la NIC est un périphérique, chaque opération traverse la frontière PCIe quatre fois (MMIO de sonnette, récupération DMA WQE, écriture DMA CQE et échec de l'interrogation CPU). Sur une opération de 64 octets, ces traversées consomment environ 1,5 µs d'un aller-retour d'environ 2 µs, gonflant la latence d'un ordre de grandeur au-delà de la vitesse du lien.

Les travaux antérieurs (correctifs logiciels comme FaSST, optimisations matérielles comme SRNIC, ou substrats programmables) ont traité les symptômes mais ont laissé l'abstraction fondamentale intacte.

Méthodologie
L'article présente OpenURMA, la première implémentation open-source en chambre blanche de la spécification Unified Bus (UB) de Huawei (2025), qui remplace l'abstraction périphérique-NIC. UB découple l'état du point de terminaison par application de l'état de transport par hôte, déplace le contrôleur sur le bus sur puce et expose la mise en ordre comme une fonctionnalité optionnelle.

L'implémentation est réalisée à l'aide de la chaîne d'outils OpenClickNP, qui transforme une description source unique en trois niveaux de modélisation pour une comparaison rigoureuse, pomme à pomme, avec une base OpenRoCE (RoCEv2 RC) correspondante :

RTL synthétisable : Implémenté sur un FPGA Alveo U50, atteignant 322 MHz.
Simulation au niveau cycle : Un simulateur SystemC à deux nœuds modélisant les deux points de terminaison, le lien et les hiérarchies de mémoire.
Échafaudage système complet : Un environnement gem5 exécutant de vrais binaires ARM et un pilote Linux contre la NIC SystemC.

La méthodologie d'évaluation prend explicitement en compte les coûts bidirectionnels, y compris les transferts NIC-DRAM côté cible et les traversées PCIe, évitant ainsi les mesures de latence « soumission-seule » courantes dans la littérature antérieure.

Mouvements Architecturaux Clés
OpenURMA implémente quatre mouvements architecturaux définis dans la spécification UB :

Division de couche (État borné) : Sépare la couche transaction (par application Jetty) de la couche transport (par hôte TP Channel). L'état évolue de manière additive en $O(N+M)$ plutôt que multiplicative en $O(N \cdot M)$ .
Contrôleur sur puce : Avec un état borné à environ 110 Ko (tenant dans la SRAM sur puce), le contrôleur réside sur le bus sur puce du CPU, éliminant la frontière PCIe.
Chemin Chargement/Stockage : Le CPU peut accéder à la mémoire distante via des instructions natives ld/st directement vers le contrôleur, contournant les files d'attente de travail, les sonnettes et le DMA.
Mise en ordre optionnelle : La mise en ordre est exposée sous forme de quatre axes orthogonaux (mode de service, ordre d'exécution, barrière, ordre de complétion) auxquels les applications optent. La logique de filtrage réutilise les compteurs existants, n'ajoutant aucun cycle de pipeline pour les opérations non ordonnées.

Résultats Clés
Sur la récupération distante canonique de 64 octets (LOAD sur UB vs READ sur RoCEv2) :

Latence : Le chemin chargement/stockage de UB atteint une latence de bout en bout d'environ 500 ns, soit une réduction de 4,37× par rapport à la base DMA RoCE correspondante (2186 ns). Même sur les verbes nécessitant le chemin de file d'attente de travail, UB est environ 2,2 fois plus rapide grâce à l'élimination des traversées PCIe.
Débit : UB maintient un débit de requêtes de travail 2,80× supérieur à OpenRoCE.
Évolutivité de l'état : À 1024x1024 points de terminaison, OpenURMA utilise 110,6 Ko d'état contre 536,9 Mo pour RoCE, soit une réduction de 4 855×. Cela évite le « gouffre de latence » où les performances de RoCE se dégradent fortement une fois que le nombre de connexions dépasse ~23 (point de débordement SRAM).
Coût de mise en ordre : La mise en ordre optionnelle est « quasi gratuite » ; les opérations contournant le filtrage n'engendrent aucun cycle de pipeline.
Fiabilité et Congestion : OpenURMA implémente l'accusé de réception sélectif (SACK) et un contrôleur de congestion C-AQM, montrant un bon débit et une latence de queue supérieurs sous perte par rapport à Go-Back-N et DCQCN.
Mise à l'échelle vs Tissus Cohérents : L'article soutient que les tissus cohérents (CXL, NVLink) ne peuvent pas s'étendre au niveau du rack en raison de la croissance de l'état de répertoire ( $O(N)$ ) et des coûts de diffusion d'invalidation. L'approche non cohérente et optionnelle de UB évite ces gouffres, maintenant une latence plate à mesure que la taille du cluster augmente.

Portée et Revendications
L'article revendique qu'OpenURMA fournit la première validation empirique des promesses architecturales du protocole Unified Bus sans dépendre de silicium fermé. La portée réside dans la démonstration que les trois engagements architecturaux — état borné, contrôleur sur bus et mise en ordre optionnelle — sont mutuellement porteurs :

L'état borné est requis pour maintenir le contrôleur sur puce.
Le contrôleur sur puce est requis pour permettre le chemin chargement/stockage.
La division de couche est requise pour rendre la mise en ordre optionnelle sans coût.

Les auteurs concluent qu'OpenURMA remplace l'abstraction périphérique-NIC par un modèle pair-à-pair qui s'adapte aux charges de travail d'entraînement d'IA, offrant une voie vers un accès à la mémoire distante sub-microseconde structurellement impossible sous le paradigme actuel PCIe/QP. L'implémentation est publiée sous forme de RTL open-source et de harnais de simulation pour permettre de nouvelles recherches et prototypages.