10089 articles
Ce papier présente GPUTOK, un tokeniseur BPE au niveau des bytes accéléré par GPU qui, tout en garantissant une qualité de sortie équivalente aux solutions CPU, offre une accélération significative (jusqu'à 7,6 fois) pour le traitement de longs contextes textuels.
Le papier propose SUN, une approche novatrice qui permet le partage du module de décodage entre différents grands modèles de langage en désagrégeant les tâches de préremplissage et de décodage, optimisant ainsi l'utilisation des GPU et augmentant le débit jusqu'à deux fois sans sacrifier la précision.
Le papier présente HACRL, un nouveau paradigme d'apprentissage par renforcement collaboratif permettant à des agents hétérogènes de partager des trajectoires vérifiées pour une optimisation mutuelle sans coordination lors de l'inférence, et propose l'algorithme HACPO qui améliore significativement les performances de tous les agents tout en réduisant les coûts d'échantillonnage.
Cet article présente la première méthode combinatoire pour l'ACP parcimonieuse qui garantit une convergence globale et fonctionne avec des preuves théoriques pour des matrices de covariance générales, dépassant ainsi les limitations des algorithmes existants qui ne sont validés que sous le modèle d'identité épinglée.
Ce papier propose DACER-F, une méthode d'apprentissage par renforcement qui intègre le flow matching et la dynamique de Langevin pour générer des politiques de conduite autonome en temps réel avec une latence d'inférence ultra-faible tout en surpassant les performances des algorithmes existants.
Cette étude propose un cadre interprétable combinant des prédicteurs de modèles fondationnels ECG à un modèle additif généralisé pour détecter les maladies cardiaques structurelles, surpassant les modèles de deep learning actuels en performance et en transparence clinique.
Cette étude démontre que, dans le contexte de la prévision de la volatilité financière où les modèles sont sous-spécifiés, le choix de l'optimiseur agit comme un biais inductif déterminant qui façonne les fonctions apprises et les conséquences décisionnelles, même lorsque la précision prédictive reste identique.
Cet article présente une analyse théorique initiale de la régularisation implicite induite par l'analyse discriminante linéaire profonde (Deep LDA) sur des réseaux linéaires diagonaux, démontrant que l'architecture transforme les mises à jour de gradient additives en mises à jour multiplicatives conservant automatiquement une quasi-norme spécifique.
Le papier présente Uni-Skill, un cadre unifié qui permet l'évolution automatique d'une bibliothèque de compétences pour la manipulation robotique en intégrant une planification consciente des compétences et un référentiel hiérarchique de démonstrations extraites de vidéos, surpassant ainsi les approches existantes en généralisation zéro-shot et en adaptabilité.
Le papier présente MAPEX, une méthode d'apprentissage par renforcement multi-objectif hors ligne qui extrait efficacement des fronts de Pareto à partir de politiques spécialisées pré-entraînées en réutilisant leurs critiques et tampons de replay, réduisant ainsi drastiquement les coûts d'échantillonnage par rapport aux approches existantes.
Ce papier présente MASPOB, un cadre d'optimisation de prompts efficace en échantillons pour les systèmes multi-agents, qui combine des bandits à confiance supérieure (UCB) et des réseaux de neurones graphiques (GNN) pour surmonter les défis de coût d'évaluation, de couplage topologique et d'explosion combinatoire.
Cet article propose un cadre de calcul hétérogène sans réentraînement qui alloue les experts sensibles au bruit et les modules d'attention à un traitement numérique, tandis que le reste des experts est exécuté sur du matériel de calcul analogique en mémoire, garantissant ainsi la robustesse et l'efficacité des modèles MoE à grande échelle.
Le papier présente SaFeR-ToolKit, une approche qui formalise la prise de décision de sécurité des modèles vision-langage en un protocole vérifiable via l'appel d'outils virtuels et un entraînement en trois étapes, améliorant ainsi significativement la sécurité et le raisonnement tout en préservant les capacités générales.
Cet article présente le jeu de données de tests de conduite de Vienne, une ressource open source à l'échelle urbaine combinant des mesures passives et actives de réseaux 4G et 5G avec des modèles géographiques détaillés pour faciliter l'apprentissage automatique, la modélisation de propagation et l'optimisation des réseaux mobiles.
Cet article propose un cadre général pour l'apprentissage fédéré avec des gradients stochastiques retardés, démontrant qu'une taille de pas décroissante prédéfinie suffit à atteindre les taux de convergence optimaux pour les objectifs convexes et non convexes, sans nécessiter de tailles de pas adaptatives.
Ce papier propose et analyse théoriquement la famille d'algorithmes HomeAdam(W), qui améliore la généralisation et la convergence des méthodes Adam et AdamW en alternant avec des étapes de descente de gradient stochastique momentum, prouvant ainsi une erreur de généralisation de l'ordre de supérieure à celle des variantes existantes.
Ce papier propose SAGE, une méthode d'inférence qui améliore la robustesse des planificateurs de diffusion en rééchantillonnant les actions grâce à un signal de cohérence dynamique appris via une architecture JEPA, sans nécessiter de réentraînement ni de rollouts environnementaux.
Le papier présente DREAM, un cadre unifié qui combine l'apprentissage de représentations visuelles et la génération d'images à partir de texte grâce à des techniques innovantes comme le réchauffement du masquage et le décodage aligné sémantiquement, permettant d'obtenir des performances supérieures à la fois en compréhension visuelle et en génération sans nécessiter de réordonnanceurs externes.
Cette présentation de SorryDB, une nouvelle base de référence dynamique pour les tâches Lean issues de projets réels, révèle que les approches actuelles de preuve assistée par IA sont complémentaires et que les modèles d'agents les plus performants ne surpassent pas systématiquement les autres méthodes existantes.
Cet article propose une décomposition fonctionnelle ANOVA exacte et efficace en forme fermée pour les modèles à entrées catégorielles, valable pour toute distribution de dépendance et permettant une généralisation naturelle des valeurs SHAP.