11269 articles
Le papier présente SOLAR, un cadre de modélisation séquentielle pour les systèmes de recommandation qui utilise une attention optimisée par SVD pour réduire la complexité computationnelle tout en préservant la fonction softmax, permettant ainsi de gérer des séquences de comportement massives et d'améliorer significativement les performances en ligne chez Kuaishou.
L'article présente EdgeFLow, un cadre d'apprentissage fédéré innovant qui élimine les goulots d'étranglement de communication en remplaçant les serveurs cloud par une migration séquentielle de modèles entre les stations de base en périphérie, tout en garantissant la convergence théorique et en réduisant significativement les coûts de communication.
FlashEvaluator est une nouvelle architecture d'évaluation qui améliore l'efficacité et la précision des systèmes générateur-évaluateur en permettant le partage d'informations entre séquences au sein d'une seule passe avant, réduisant ainsi la complexité computationnelle et ayant déjà généré des gains de revenus significatifs lors de son déploiement sur la plateforme Kuaishou.
Cet article présente la méthode WPPG, un algorithme de gradient de politique basé sur la géométrie de Wasserstein qui évite le calcul de la densité du logarithme de la politique grâce à une approche par fractionnement d'opérateurs, garantissant ainsi une convergence linéaire globale et des performances compétitives sur des tâches de contrôle continu.
Cet article propose une méthode d'apprentissage par différence temporelle (TD) sans paramètres, utilisant un calendrier de pas exponentiel qui garantit des taux de convergence optimaux dans les régimes d'échantillonnage i.i.d. et markovien sans nécessiter la connaissance de quantités dépendantes du problème ni de modifications non standard.
Cet article présente SteerEval, une nouvelle évaluation hiérarchique qui révèle que le contrôle des grands modèles de langage se dégrade souvent à des niveaux de granularité plus fins, tout en offrant un cadre unifié pour évaluer la maîtrise du comportement des modèles à travers trois domaines et trois niveaux de spécification.
Cet article propose une méthode d'optimisation conjointe de l'allocation des ressources et du partitionnement des modèles pour des systèmes d'inférence collaborative résistants au brouillage, visant à maximiser le compromis entre délai et précision grâce à un algorithme d'optimisation alternée.
Cet article démontre que la méthode des polynômes de faible degré échoue à prédire la tractabilité computationnelle d'un problème de récupération de sous-espace robuste, car elle ne détecte pas la présence d'un algorithme polynomial efficace fondé sur des propriétés d'anti-concentration, remettant ainsi en question l'universalité de ce cadre prédictif.
Ce papier présente GPUTOK, un tokeniseur BPE au niveau des bytes accéléré par GPU qui, tout en garantissant une qualité de sortie équivalente aux solutions CPU, offre une accélération significative (jusqu'à 7,6 fois) pour le traitement de longs contextes textuels.
Le papier propose SUN, une approche novatrice qui permet le partage du module de décodage entre différents grands modèles de langage en désagrégeant les tâches de préremplissage et de décodage, optimisant ainsi l'utilisation des GPU et augmentant le débit jusqu'à deux fois sans sacrifier la précision.
Le papier présente HACRL, un nouveau paradigme d'apprentissage par renforcement collaboratif permettant à des agents hétérogènes de partager des trajectoires vérifiées pour une optimisation mutuelle sans coordination lors de l'inférence, et propose l'algorithme HACPO qui améliore significativement les performances de tous les agents tout en réduisant les coûts d'échantillonnage.
Cet article présente la première méthode combinatoire pour l'ACP parcimonieuse qui garantit une convergence globale et fonctionne avec des preuves théoriques pour des matrices de covariance générales, dépassant ainsi les limitations des algorithmes existants qui ne sont validés que sous le modèle d'identité épinglée.
Ce papier propose DACER-F, une méthode d'apprentissage par renforcement qui intègre le flow matching et la dynamique de Langevin pour générer des politiques de conduite autonome en temps réel avec une latence d'inférence ultra-faible tout en surpassant les performances des algorithmes existants.
Cette étude propose un cadre interprétable combinant des prédicteurs de modèles fondationnels ECG à un modèle additif généralisé pour détecter les maladies cardiaques structurelles, surpassant les modèles de deep learning actuels en performance et en transparence clinique.
Cette étude démontre que, dans le contexte de la prévision de la volatilité financière où les modèles sont sous-spécifiés, le choix de l'optimiseur agit comme un biais inductif déterminant qui façonne les fonctions apprises et les conséquences décisionnelles, même lorsque la précision prédictive reste identique.
Cet article présente une analyse théorique initiale de la régularisation implicite induite par l'analyse discriminante linéaire profonde (Deep LDA) sur des réseaux linéaires diagonaux, démontrant que l'architecture transforme les mises à jour de gradient additives en mises à jour multiplicatives conservant automatiquement une quasi-norme spécifique.
Le papier présente Uni-Skill, un cadre unifié qui permet l'évolution automatique d'une bibliothèque de compétences pour la manipulation robotique en intégrant une planification consciente des compétences et un référentiel hiérarchique de démonstrations extraites de vidéos, surpassant ainsi les approches existantes en généralisation zéro-shot et en adaptabilité.
Le papier présente MAPEX, une méthode d'apprentissage par renforcement multi-objectif hors ligne qui extrait efficacement des fronts de Pareto à partir de politiques spécialisées pré-entraînées en réutilisant leurs critiques et tampons de replay, réduisant ainsi drastiquement les coûts d'échantillonnage par rapport aux approches existantes.
Ce papier présente MASPOB, un cadre d'optimisation de prompts efficace en échantillons pour les systèmes multi-agents, qui combine des bandits à confiance supérieure (UCB) et des réseaux de neurones graphiques (GNN) pour surmonter les défis de coût d'évaluation, de couplage topologique et d'explosion combinatoire.
Cet article propose un cadre de calcul hétérogène sans réentraînement qui alloue les experts sensibles au bruit et les modules d'attention à un traitement numérique, tandis que le reste des experts est exécuté sur du matériel de calcul analogique en mémoire, garantissant ainsi la robustesse et l'efficacité des modèles MoE à grande échelle.