7103 articles
Ce papier présente NuMuon, un optimiseur qui ajoute une contrainte de norme nucléaire à Muon pour renforcer la structure de faible rang des poids des grands modèles de langage, améliorant ainsi leur compressibilité et leur qualité après compression tout en conservant une convergence efficace.
Cet article propose une approche théorique et pratique pour l'optimisation de systèmes modulaires, notamment les réseaux de neurones, en combinant la géométrie riemannienne, la théorie du contrôle optimal et la physique théorique pour dériver une nouvelle méthode de descente de gradient récursive et stable qui améliore la compréhension et l'efficacité de l'apprentissage par rapport aux algorithmes traditionnels comme la rétropropagation.
Les auteurs proposent un cadre rigoureux étendant les opérateurs neuronaux aux fonctions hors distribution en exploitant les espaces de Hilbert à noyau reproduisant pour garantir la précision des valeurs et des dérivées, méthode validée par la résolution d'équations aux dérivées partielles elliptiques sur des variétés.
Cet article établit la convergence forte d'ordre 1/2 d'un schéma d'Euler-Maruyama géométrique pour les équations différentielles stochastiques sur les variétés riemanniennes, fournissant ainsi une borne de Wasserstein pour l'échantillonnage via la dynamique de Langevin riemannienne.
Cet article propose un cadre de calcul général intégrant un module d'attention entraînable pour optimiser l'extraction d'informations à partir de systèmes dynamiques physiques, démontrant que l'adaptation de la localisation des capteurs améliore significativement la précision des prédictions dans des contextes chaotiques.
Cette étude propose un cadre d'apprentissage par renforcement basé sur un Double Deep Q-Network (DDQN) et une expérience priorisée pour prédire les épisodes de gel de la marche chez les patients parkinsoniens avec un horizon d'avertissement allant jusqu'à 8,72 secondes, permettant ainsi des interventions proactives personnalisées.
Ce papier propose le cadre GNFBC, qui corrige le biais d'autocorrélation des étiquettes inhérent aux réseaux de neurones graphiques traditionnels en intégrant un mécanisme de rétroaction négative pour améliorer les performances sur les graphes hétérophiles.
Cet article formalise l'apprentissage de la communication dans les environnements partiellement observables en utilisant la théorie des structures d'information pour identifier des cas quasi-classiques traitables et proposer des algorithmes d'apprentissage et de planification avec des complexités garanties.
Ce papier présente MAP, une méthode innovante de protection de la vie privée qui utilise des modifications émotionnelles pour masquer les identités faciales tout en garantissant une haute fidélité visuelle et une robustesse supérieure face aux systèmes de reconnaissance faciale, y compris dans des scénarios démographiques et photographiques variés.
Ce papier propose LSMR, un algorithme qui exploite la localité induite par le modèle pour réduire la complexité du calcul de la valeur de Shapley en réutilisant optimalement l'entraînement sur des sous-ensembles de données pertinents, permettant ainsi une estimation rapide et précise sans perte de fidélité.
Cet article propose une nouvelle identité de Stein pour les distributions q-Gaussiennes à support borné, en étendant les théorèmes de Bonnet et Price via des distributions d'escorte pour obtenir des estimateurs de gradient simples et à faible variance applicables à l'apprentissage bayésien et à la minimisation de la sensibilité.
Cet article présente CONCUR, un nouveau benchmark conçu pour évaluer les capacités des modèles de langage à générer du code concurrent, comblant ainsi une lacune des évaluations actuelles qui se concentrent principalement sur le code séquentiel.
Cet article établit des bornes d'erreur d'échantillonnage fini pour les modèles de diffusion basés sur l'appariement de scores, démontrant que leur taux de convergence dépend de la dimension intrinsèque des données plutôt que de la dimension ambiante, permettant ainsi de surmonter la malédiction de la dimensionnalité sans hypothèses restrictives de support compact ou de régularité.
Cet article propose une nouvelle méthode d'exemples inapprenables, MI-UE, fondée sur la réduction de l'information mutuelle via la maximisation de la similarité cosinus des caractéristiques intra-classe, démontrant ainsi théoriquement et expérimentalement une efficacité supérieure aux approches existantes pour protéger la vie privée des données.
Le papier présente JANUS, un cadre de génération de données synthétiques basé sur un graphe causal de trees de décision bayésiens qui résout le dilemme quadruple de la fidélité, du contrôle des contraintes, de l'estimation d'incertitude et de l'efficacité grâce à une rétropropagation inverse garantissant une satisfaction à 100 % des contraintes et une décomposition analytique de l'incertitude.
Le papier présente MOOSE-Star, un cadre unifié qui rend l'entraînement tractable pour la découverte scientifique en surmontant la barrière de la complexité combinatoire grâce à une recherche hiérarchique guidée et à un apprentissage sur des tâches décomposées, réduisant ainsi la complexité de exponentielle à logarithmique.
Cet article propose un cadre d'apprentissage alternatif, nommé ALTERNATING-MARL, pour les jeux coopératifs à grand nombre d'agents sous contraintes de communication, démontrant sa convergence vers une équation de Nash approchée avec une complexité d'échantillonnage réduite grâce à une subsampling de champ moyen.
Cet article propose HDT, une méthode de distillation de dataset pour la prévision de séries temporelles qui décompose les données dans le domaine fréquentiel via la FFT pour préserver les dépendances temporelles et améliorer la généralisation et l'évolutivité.
Ce papier présente HAP, un cadre de pré-classement adaptatif qui atténue les conflits de gradient et optimise l'allocation des ressources computationnelles en distinguant les échantillons faciles et difficiles, améliorant ainsi l'efficacité des systèmes de recommandation industriels comme celui de Toutiao.
Cet article présente LEA, une nouvelle attaque par énumération d'étiquettes dans l'apprentissage fédéré vertical qui, contrairement aux méthodes existantes, fonctionne dans divers scénarios sans données auxiliaires en utilisant la similarité des gradients de perte pour identifier les étiquettes, tout en surmontant les défis de calcul grâce à une version optimisée (Binary-LEA) et en résistant aux mécanismes de défense courants.