138 articles
Le papier présente {\lambda}Scale, un système d'inférence serverless pour les grands modèles de langage qui accélère la mise à l'échelle en exploitant les réseaux RDMA pour le multicast rapide de modèles et en permettant une exécution distribuée pendant le chargement, réduisant ainsi la latence et les coûts par rapport aux solutions existantes.
Le papier présente FAST, un planificateur efficace pour les communications All-to-All(v) sur GPU qui résout les problèmes de déséquilibre de charge et de congestion dans les modèles MoE dynamiques en réduisant considérablement le temps de synthèse tout en surpassant les solutions existantes sur des clusters NVIDIA et AMD.
Ce papier présente « Linear Layouts », une approche novatrice modélisant les agencements de tenseurs via l'algèbre linéaire sur pour permettre une définition générique et des conversions efficaces, réduisant ainsi l'effort d'ingénierie et les bogues dans le backend du compilateur Triton.
Ce papier présente PyloChain, une blockchain à sharding hiérarchique qui équilibre performance et disponibilité en combinant l'exécution spéculative de transactions locales sur des chaînes secondaires avec un consensus BFT efficace sur une chaîne principale, surpassant ainsi les solutions existantes en débit et en latence.
Cette étude démontre que l'exploitation de la tolérance au délai, de l'interruption et de l'évolutivité des workflows scientifiques permet de réduire leurs émissions de carbone de plus de 80 % grâce au décalage temporel et de 67 % grâce à l'ajustement des ressources.
Ce papier présente A-3PO, une méthode qui accélère l'entraînement asynchrone des grands modèles de langage en approximant la politique proximale par interpolation simple pour éliminer le surcoût computationnel des passes avant supplémentaires, tout en maintenant des performances comparables.
En s'appuyant sur des déploiements à l'échelle de la production, cette étude remet en cause la vision centrée sur le réseau en démontrant que les goulots d'étranglement de la performance résident souvent dans les facteurs hôtes et logiciels, et propose le modèle conceptuel du « Drainage Basin Pattern » pour optimiser le mouvement de données de bout en bout au-delà de la simple bande passante brute.
L'analyse empirique de la paper montre que la proportion de validateurs Ethereum agissant de manière altruiste est insuffisante pour garantir l'équité et la décentralisation, soulignant ainsi la nécessité de mécanismes de pénalité ou d'incitation indépendants de l'altruisme des participants.
Cette étude examine les stratégies de parallélisation pour le déploiement de modèles de langage denses, démontrant que la parallélisation tensorielle optimise la latence tandis que la parallélisation pipeline favorise le débit, permettant ainsi de maîtriser le compromis entre les deux via une configuration hybride.
Cet article présente un nouvel algorithme de vol de travail sans verrou, optimisé pour un cadre maître-ouvrier dédié à la résolution de problèmes d'optimisation par programmation en nombres entiers, qui offre des performances constantes lors des opérations par lots et une latence stable lors du vol, surpassant ainsi les solutions génériques existantes comme Taskflow.
Cet article propose une nouvelle méthode de gradient commuté pondéré par softmax pour l'optimisation minimax stochastique distribuée sous contraintes stochastiques, garantissant une convergence efficace et stable en boucle unique pour l'apprentissage fédéré, même en présence de participation partielle des clients.
Cet article propose deux algorithmes distribués garantissant la convergence déterministe et en temps fini d'un essaim de robots mobiles autonomes vers un point inconnu, même en présence de défauts de vision adverses et de mouvements non rigides, sous des modèles de synchronisation FSYNC et ASYNC.
Le papier présente StreamWise, un système de service adaptatif et modulaire conçu pour orchestrer efficacement des modèles génératifs multimodaux hétérogènes afin de produire des vidéos de podcasts en temps réel à grande échelle, en optimisant dynamiquement les compromis entre latence, coût et qualité.
Cet article propose un cadre de raisonnement piloté par la connaissance pour l'IA mobile autonome, qui extrait et synchronise des structures décisionnelles réutilisables pour optimiser les performances sur des plateformes aux ressources limitées, tout en identifiant qu'une exposition excessive à la connaissance peut être contre-productive.
Ce papier présente DMM, un cadre de fusion de modèles sans données qui synthétise des pseudo-données à partir des statistiques de normalisation pour fusionner efficacement des modèles spécialisés divergents tout en préservant les connaissances critiques et en évitant le partage de données.
L'article présente LegalEdge, un cadre d'intelligence en périphérie combinant l'apprentissage fédéré et les réseaux d'agents profonds (DQN) via des contrats intelligents sur blockchain pour optimiser de manière transparente et privée la tarification dynamique et l'allocation d'énergie des infrastructures de recharge de véhicules électriques.
Le papier présente Provuse, une optimisation transparente côté plateforme pour les environnements FaaS qui fusionne automatiquement les fonctions indépendamment déployées à l'exécution afin de réduire la latence et la consommation de ressources sans modifier le code des utilisateurs.
Le papier présente MoEless, un cadre de service sans serveur pour les modèles de langage à mélange d'experts (MoE) qui résout les déséquilibres de charge et réduit la latence d'inférence ainsi que les coûts grâce à des prédictions de charge dynamiques et une mise à l'échelle optimisée des experts.
Ce papier présente une analyse comparative approfondie de cinq normes et cadres de tokens interchaînes majeurs, en examinant leurs architectures, mécanismes de messagerie, modèles de confiance et écosystèmes cibles pour évaluer leurs approches distinctes visant à assurer la fongibilité unifiée des actifs sur plusieurs blockchains.
Le papier présente OrchMLLM, un cadre d'entraînement qui résout le problème de l'incohérence de la composition des modalités et des déséquilibres de mini-lots grâce à un équilibrage post-lot et un orchestrateur global, permettant ainsi d'accélérer significativement l'entraînement des grands modèles de langage multimodaux et d'atteindre un taux d'utilisation des FLOPs (MFU) de 41,6 %.