5980 articles
Ce papier présente ScaleZero, un modèle unique pour la planification multi-tâches qui surpasse les approches conventionnelles en résolvant les conflits de gradients grâce à une architecture Mixture-of-Experts et en optimisant l'efficacité de l'apprentissage via une stratégie de mise à l'échelle dynamique des paramètres.
Cet article démontre que les ensembles de réseaux de neurones profonds permettent d'estimer des paramètres quantiques avec une quantification fiable de l'incertitude, une détection de dérive des données et une inférence rapide, offrant ainsi une alternative prometteuse aux méthodes bayésiennes traditionnelles pour les applications expérimentales en temps réel.
Ce papier présente une nouvelle approche d'alignement de sécurité nommée « Answer-Then-Check », qui améliore la robustesse des grands modèles de langage contre les attaques de contournement en les entraînant à raisonner sur une réponse directe avant d'en évaluer la sécurité, permettant ainsi de réduire les refus excessifs tout en préservant les capacités de raisonnement général.
Le papier présente VEGA, un agent de navigation pour véhicules électriques qui combine un opérateur neuronal informé par la physique pour estimer les paramètres du véhicule et un algorithme d'apprentissage par renforcement (PPO) pour planifier des itinéraires et des arrêts de recharge optimaux, démontrant une grande efficacité et une capacité de généralisation sur des réseaux routiers internationaux.
Ce papier présente la TACE (Tensor Atomic Cluster Expansion), un modèle d'apprentissage machine atomistique universel basé sur des tenseurs cartésiens irréductibles qui unifie la modélisation scalaire et tensorielle pour prédire avec précision et stabilité une large gamme d'observables, y compris les réponses aux champs externes et les spectres, sans recourir à des couplages de moment angulaire complexes.
Cet article présente C²Prompt, une nouvelle méthode d'apprentissage continu fédéré qui améliore la cohérence des connaissances par classe entre les clients grâce à un mécanisme de compensation de distribution locale et un schéma d'agrégation de prompts conscient des classes, permettant ainsi de surmonter l'oubli spatial et temporel et d'atteindre des performances de pointe.
Cet article présente une architecture de double réseau neuronal, combinant un U-Net auto-régressif et un CNN, permettant de prédire avec une grande efficacité l'évolution spatio-temporelle des dommages dans le béton et d'en déduire ses propriétés mécaniques afin d'optimiser les formulations de mélange.
Cet article présente le GPHDM, une approche novatrice qui génère des mouvements robotiques physiquement cohérents en apprenant des représentations latentes sur des variétés hyperboliques qui préservent à la fois la structure hiérarchique taxonomique et la dynamique temporelle des mouvements humains.
Ce papier propose une nouvelle méthode d'apprentissage appelée PAPL, qui résout le décalage entre l'entraînement et l'inférence dans les modèles de diffusion discrets en intégrant les stratégies de planification via une nouvelle borne inférieure de vraisemblance (P-ELBO), entraînant des performances significativement améliorées dans la génération de texte, de protéines et de code.
Ce papier présente DAV, un cadre d'alignement des modèles de diffusion basé sur l'algorithme variationnel espérance-maximisation qui alterne entre une étape de recherche à l'exécution pour générer des échantillons diversifiés et une étape d'affinement du modèle, permettant d'optimiser les récompenses tout en évitant l'effondrement des modes sur des tâches continues et discrètes.
Cet article propose un algorithme à deux étapes basé sur les bandits matriciels de faible rang pour minimiser la polarisation et le désaccord dans le modèle d'opinion de Friedkin-Johnsen en ligne, en apprenant les opinions innées des agents à partir de retours scalaires et en obtenant un regret cumulatif sous-optimal.
Les auteurs proposent les « Self-Speculative Masked Diffusions », une nouvelle classe de modèles de diffusion masquée pour données discrètes qui réduit de moitié le nombre d'évaluations de réseau neuronal nécessaires à la génération d'échantillons de haute qualité en remplaçant la prédiction factorisée par une distribution prédictive non factorisée obtenue via un mécanisme d'échantillonnage spéculatif intégré.
Ce papier propose TCR-EML, un modèle prédictif pour la liaison TCR-pMHC intégrant des couches explicatives basées sur des mécanismes biochimiques connus afin de concilier haute précision et interprétabilité, surpassant les approches actuelles en matière d'explicabilité.
Cet article démontre que les modèles de type « decoder-only » sont initialement moins performants que les modèles « encoder-only » pour l'adaptation aux équations aux dérivées partielles, mais propose deux nouvelles méthodes, le « Parallel Flipping » et le « Sequence Doubling », qui rétablissent leur efficacité en imitant la bidirectionnalité.
Cette étude démontre que le micro-benchmarking des modèles de langage est souvent peu fiable pour classer des modèles aux performances proches, révélant que des échantillons aléatoires peuvent être aussi efficaces que des méthodes sophistiquées et que des tailles d'échantillons beaucoup plus grandes sont nécessaires pour garantir une évaluation précise.
Le papier présente CanvasMAR, un modèle de prédiction vidéo autorégressif novateur qui améliore la qualité et la cohérence de la génération avec peu d'étapes en introduisant un « canevas » global flou comme prior structuré, complété par un curriculum d'apprentissage facile-difficile et un guidage conditionnel composite.
Cet article démontre théoriquement et expérimentalement que l'intégration d'un vérificateur externe dans le processus de réentraînement sur des données synthétiques permet d'éviter l'effondrement du modèle et d'obtenir des améliorations à court terme, bien que la convergence à long terme soit limitée par la fiabilité de ce vérificateur.
Cet article propose une nouvelle méthode de vérification par intervalles pour les équations différentielles ordinaires neuronales, exploitant la monotonie mixte pour offrir une analyse de reachability efficace et sûre, idéale pour les applications critiques en temps réel malgré un compromis sur la précision.
Cet article présente un cadre d'apprentissage en temps réel utilisant une décomposition modale dynamique de Hankel modifiée pour débruiter et prédire les trajectoires d'agents dynamiques à partir de données partielles et bruitées, permettant ainsi une planification de mouvement robotique plus sûre et adaptative.
Le papier présente KLASS, une méthode d'échantillonnage adaptative qui accélère significativement l'inférence des modèles de diffusion masqués en dévoilant plusieurs tokens à chaque itération grâce à la divergence KL, tout en améliorant la qualité des résultats sur divers domaines tels que le texte, l'image et les molécules.