8660 articles
Cet article analyse les propriétés de convergence et les dynamiques d'échappement de la descente de gradient stochastique dans des paysages unidimensionnels, en démontrant comment les caractéristiques du bruit et la géométrie du paysage influencent les échelles de temps de convergence vers les minima locaux et les probabilités d'échappement des maxima locaux.
Cet article présente le jeu de données BAH, un ensemble multimodal de vidéos annoté par des experts pour la reconnaissance automatique de l'ambivalence et de l'hésitation dans les interventions numériques de changement de comportement, comblant ainsi un vide critique pour le développement de modèles d'apprentissage machine adaptés.
Le papier présente SafeDPO, une méthode simple et théoriquement fondée pour l'alignement de sécurité des grands modèles de langage qui optimise directement les préférences sans récompense ni coût, permettant d'améliorer significativement la sécurité tout en préservant l'utilité.
Ce papier présente TADA, un cadre d'augmentation ciblée par modèles de diffusion qui améliore la généralisation des classificateurs d'images en synthétisant uniquement les exemples difficiles à apprendre, surpassant ainsi les méthodes d'augmentation massive tout en réduisant les coûts computationnels.
Cet article propose un filtre supervisé efficace basé sur le score de concordance de queue supérieure (lambda U) d'une copule de Gumbel pour la sélection de caractéristiques dans la prédiction du risque de diabète, démontrant sa capacité à identifier des prédicteurs cliniquement pertinents et à réduire la dimensionnalité des données tout en maintenant des performances compétitives par rapport aux méthodes standards sur des ensembles de données publics et cliniques.
Cet article propose la « Supervised Calibration », un cadre unificateur basé sur la minimisation de la perte qui améliore l'apprentissage en contexte des grands modèles de langage en apprenant des transformations affines optimales pour corriger les biais et réorienter les frontières de décision, surpassant ainsi les méthodes de calibration existantes sur plusieurs modèles et jeux de données.
Cet article examine le décalage entre la théorie de l'approximation et la pratique du machine learning, critique les lacunes actuelles en matière de généralisation, et présente une nouvelle recherche permettant l'approximation de fonctions sur des variétés inconnues sans nécessiter l'apprentissage de caractéristiques spécifiques de la variété.
Cet article présente un système de surveillance des vibrations structurelles à faible consommation et peu coûteux, intégrant une couche diffractive optimisée conjointement avec un réseau de neurones peu profond pour reconstruire en temps réel les spectres de vibrations 3D des infrastructures sans nécessiter de réseaux de capteurs denses.
L'article présente AutoQD, une méthode théoriquement fondée qui génère automatiquement des descripteurs comportementaux en utilisant des caractéristiques de Fourier aléatoires pour approximer les mesures d'occupation des politiques, permettant ainsi de découvrir une diversité de comportements performants en apprentissage par renforcement sans recourir à des descripteurs prédéfinis.
Le papier présente C-EDL, une méthode légère et post-hoc d'apprentissage profond fondé sur l'évidence qui améliore la robustesse aux attaques adverses et aux données hors distribution en ajustant les prédictions grâce à une analyse des conflits générés par des transformations d'entrée, sans nécessiter de réentraînement du modèle.
Cet article démontre que l'estimation honnête dans les forêts causales, bien qu'utile pour éviter le surajustement, peut nuire à la précision des effets de traitement individuels en favorisant le sous-ajustement, et recommande donc d'adapter son utilisation aux objectifs spécifiques plutôt que de l'appliquer systématiquement.
Les auteurs proposent une nouvelle approche bayésienne qui généralise l'ADMM fédéré en exploitant une structure de dualité des objectifs variationnels, permettant de retrouver les mises à jour classiques et d'obtenir des variantes novatrices (de type Newton ou Adam) offrant des gains de performance significatifs.
Cet article propose un cadre théorique démontrant les limites des autoencodeurs parcimonieux (SAE) à récupérer les véritables caractéristiques monosémantiques et introduit une méthode de rééquilibrage (WSAE) qui améliore significativement l'interprétabilité de ces modèles.
Cet article propose une méthode de biaisage contextuel permettant d'améliorer la reconnaissance des mots présentant un décalage entre leur prononciation et leur orthographe en exploitant des corrections de substitutions fournies par l'utilisateur en temps réel, ce qui réduit significativement le taux d'erreur sur ces mots spécifiques sans dégrader les performances globales.
Meta FAIR présente UMA, une famille de modèles universels pour les atomes entraînée sur 500 millions de structures 3D uniques, qui combine une architecture innovante de type « mélange d'experts linéaires » pour offrir une précision et une généralisation exceptionnelles sans nécessiter de fine-tuning, tout en rendant ses codes, poids et données publics pour accélérer la recherche en chimie et science des matériaux.
Ce papier présente UQLM, une bibliothèque Python qui utilise des techniques de quantification de l'incertitude pour détecter les hallucinations des grands modèles de langage et améliorer la fiabilité de leurs réponses.
Ce papier présente Q-SVMPC, une méthode de contrôle prédictif de modèle guidée par les valeurs Q et utilisant des inférences variationnelles de Stein avec un prior de politique issu de l'apprentissage par renforcement, qui améliore l'efficacité, la stabilité et la robustesse en maintenant une diversité de solutions pour des tâches de navigation et de manipulation robotique.
Cet article propose Fast Equivariant Imaging (FEI), un cadre d'apprentissage non supervisé qui accélère considérablement l'entraînement des réseaux d'imagerie sans données de référence en reformulant le problème via la méthode du lagrangien augmenté et des débruiteurs plug-and-play, offrant ainsi une accélération de 10 fois et de meilleures performances de généralisation par rapport aux méthodes existantes.
Cet article présente une architecture de réseau neuronal pour la séparation et l'amélioration de la parole dotée d'une sortie précoce probabiliste et incertaine, permettant d'économiser des ressources de calcul sur des appareils embarqués sans compromettre la qualité de reconstruction.
Cette étude révèle que les grands modèles de langage généralisent des tâches inédites grâce à un mécanisme de « fonction d'induction » réutilisable et composable, où plusieurs têtes d'attention collaborent en parallèle pour extraire et appliquer des règles abstraites, comme démontré par l'analyse de l'addition décalée.