9599 articles
Ce papier présente Alt-FL, une approche de fédéré learning qui alterne entre l'entraînement sur des données authentiques et synthétiques pour améliorer la précision du modèle tout en réduisant les coûts de chiffrement homomorphe et en garantissant une protection robuste de la vie privée.
Le papier présente LAGO, un cadre d'optimisation combinant l'optimisation bayésienne améliorée par le gradient et des méthodes de région de confiance locales via un mécanisme de compétition adaptatif, permettant d'explorer efficacement l'espace de conception tout en assurant une convergence rapide dans les régions prometteuses.
Cet article démontre que les réseaux de neurones dont les activations satisfont une condition d'équation différentielle de type Riccati génèrent des sorties pfaffiennes, permettant d'établir des bornes uniformes dépendant uniquement de l'architecture sur la complexité topologique de leurs ensembles de sur-niveau et des lieux de chute du rang des crochets de Lie.
Cet article présente l'application des flux normalisants pour réduire considérablement la variance des observables en QCD sur réseau, notamment pour les fonctions de corrélation de glueballs et les éléments de matrice gluoniques, tout en démontrant que cette efficacité est indépendante du volume du réseau, permettant ainsi d'optimiser les coûts de calcul.
Cet article propose l'hypothèse des valeurs latentes, selon laquelle le préentraînement encode les valeurs humaines dans l'espace de représentation et que les prompts constitutionnels les projettent pour expliquer le fonctionnement, les limites et les risques de l'apprentissage par renforcement à partir de feedbacks d'IA (RLAIF).
Cet article propose CAFedCL, un cadre d'apprentissage contrastif fédéré qui brise le biais des prototypes dans les environnements déséquilibrés grâce à une agrégation consciente de la confiance, à une augmentation générative et à une régularisation géométrique, garantissant ainsi une meilleure précision et équité.
Cet article propose SEHFS, une nouvelle méthode de sélection de caractéristiques pour l'apprentissage multi-vues multi-étiquettes qui utilise l'entropie structurelle pour capturer des corrélations d'ordre supérieur et un cadre hybride théorie de l'information-matrice pour éviter les optima locaux, surpassant ainsi les méthodes existantes sur plusieurs jeux de données.
Cet article propose un autoencodeur épars au niveau des étapes (SSAE) pour interpréter les processus de raisonnement des grands modèles de langage en décomposant les étapes de raisonnement en caractéristiques éparses, permettant ainsi de prédire des propriétés complexes comme la validité logique et d'éclairer les mécanismes d'auto-vérification de ces modèles.
Cet article propose un cadre bayésien généralisé pour l'inférence causale qui évite la modélisation explicite de la vraisemblance en plaçant directement des priors sur les estimands causaux et en les mettant à jour via une fonction de perte, permettant ainsi d'obtenir des incertitudes calibrées et robustes pour divers estimateurs d'apprentissage automatique causal.
Cet article propose les cPNN (Réseaux de Neurones Progressifs Continus), une méthode basée sur les réseaux de neurones récurrents qui permet d'apprendre efficacement des séries temporelles en flux continu en gérant simultanément les dépendances temporelles, les changements de distribution (dérive de concept) et en évitant l'oubli catastrophique.
Cet article propose les Machines de Récompense Symboliques (SRM) et leurs algorithmes d'apprentissage associés, QSRM et LSRM, pour surmonter les limites des Machines de Récompense traditionnelles en éliminant le besoin d'une fonction d'étiquetage manuelle tout en maintenant des performances supérieures et une interprétabilité des tâches dans les cadres d'apprentissage par renforcement standards.
Cet article propose un cadre novateur combinant une caractérisation mathématique par des fonctions de valeur et une estimation certifiée via des réseaux de neurones physiquement informés pour déterminer les domaines d'attraction sûrs et robustes de systèmes non linéaires discrets incertains soumis à des contraintes d'état.
Cet article démontre que les réseaux de transformateurs possèdent une puissance expressive comparable à celle des réseaux maxout et des fonctions linéaires par morceaux continues, en établissant que leurs couches d'attention réalisent des opérations de type max et que leur profondeur permet une croissance exponentielle du nombre de régions linéaires.
Cet article propose MANDATE, un transformateur multi-échelle adaptatif qui améliore la détection de fraude sur les graphes en atténuant les biais inductifs des GNN grâce à un codage de position multi-échelle, des stratégies d'embedding différenciées pour les connexions homophiles et hétérophiles, et une fusion d'embedding pour les graphes multi-relationnels.
En intégrant les principes de la dynamique complexe pour attribuer des modules spécialisés à différentes échelles physiques, DynFormer surpasse les solveurs traditionnels et les opérateurs neuronaux existants en réduisant considérablement les erreurs et la consommation mémoire lors de la résolution d'équations aux dérivées partielles.
Entraînant un modèle unique à travers différents régimes de parcimonie d'activation via des contraintes top-k globales et des cycles de compression, cette étude démontre que cette approche améliore la généralisation par rapport à l'entraînement dense standard.
Cet article propose d'adapter les cadres d'apprentissage profond pour créer des plongements de données avec une topologie toroïdale inhérente, offrant une stabilité d'entraînement comparable aux méthodes sphériques tout en facilitant leur déploiement efficace sur des dispositifs embarqués via une quantisation naturelle.
Cet article propose un modèle analytique et un algorithme d'IA adaptatif au canal qui maximisent le débit d'inférence dans les réseaux 6G en ajustant dynamiquement la complexité computationnelle et la compression des caractéristiques en fonction de l'état du canal, tout en respectant les contraintes de latence et de précision.
Cet article propose une méthode d'effacement machine certifié qui, en remplaçant la sensibilité globale de la confidentialité différentielle par une « sensibilité de rétention » spécifique au jeu de données conservé, permet de réduire le bruit ajouté tout en conservant les mêmes garanties de certificats d'effacement.
Cet article présente un cadre novateur pour la quantification de l'incertitude dans le clustering basé sur la densité, qui combine les postérieurs martingales et les estimateurs de densité neuronaux pour garantir une propagation naturelle de l'incertitude, une grande évolutivité et des garanties de consistance fréquentiste.