5078 articles
Ce papier propose une nouvelle méthode d'apprentissage appelée PAPL, qui résout le décalage entre l'entraînement et l'inférence dans les modèles de diffusion discrets en intégrant les stratégies de planification via une nouvelle borne inférieure de vraisemblance (P-ELBO), entraînant des performances significativement améliorées dans la génération de texte, de protéines et de code.
Ce papier présente DAV, un cadre d'alignement des modèles de diffusion basé sur l'algorithme variationnel espérance-maximisation qui alterne entre une étape de recherche à l'exécution pour générer des échantillons diversifiés et une étape d'affinement du modèle, permettant d'optimiser les récompenses tout en évitant l'effondrement des modes sur des tâches continues et discrètes.
Cet article propose un algorithme à deux étapes basé sur les bandits matriciels de faible rang pour minimiser la polarisation et le désaccord dans le modèle d'opinion de Friedkin-Johnsen en ligne, en apprenant les opinions innées des agents à partir de retours scalaires et en obtenant un regret cumulatif sous-optimal.
Les auteurs proposent les « Self-Speculative Masked Diffusions », une nouvelle classe de modèles de diffusion masquée pour données discrètes qui réduit de moitié le nombre d'évaluations de réseau neuronal nécessaires à la génération d'échantillons de haute qualité en remplaçant la prédiction factorisée par une distribution prédictive non factorisée obtenue via un mécanisme d'échantillonnage spéculatif intégré.
Ce papier propose TCR-EML, un modèle prédictif pour la liaison TCR-pMHC intégrant des couches explicatives basées sur des mécanismes biochimiques connus afin de concilier haute précision et interprétabilité, surpassant les approches actuelles en matière d'explicabilité.
Cet article démontre que les modèles de type « decoder-only » sont initialement moins performants que les modèles « encoder-only » pour l'adaptation aux équations aux dérivées partielles, mais propose deux nouvelles méthodes, le « Parallel Flipping » et le « Sequence Doubling », qui rétablissent leur efficacité en imitant la bidirectionnalité.
Cette étude démontre que le micro-benchmarking des modèles de langage est souvent peu fiable pour classer des modèles aux performances proches, révélant que des échantillons aléatoires peuvent être aussi efficaces que des méthodes sophistiquées et que des tailles d'échantillons beaucoup plus grandes sont nécessaires pour garantir une évaluation précise.
Le papier présente CanvasMAR, un modèle de prédiction vidéo autorégressif novateur qui améliore la qualité et la cohérence de la génération avec peu d'étapes en introduisant un « canevas » global flou comme prior structuré, complété par un curriculum d'apprentissage facile-difficile et un guidage conditionnel composite.
Cet article démontre théoriquement et expérimentalement que l'intégration d'un vérificateur externe dans le processus de réentraînement sur des données synthétiques permet d'éviter l'effondrement du modèle et d'obtenir des améliorations à court terme, bien que la convergence à long terme soit limitée par la fiabilité de ce vérificateur.
Cet article propose une nouvelle méthode de vérification par intervalles pour les équations différentielles ordinaires neuronales, exploitant la monotonie mixte pour offrir une analyse de reachability efficace et sûre, idéale pour les applications critiques en temps réel malgré un compromis sur la précision.
Cet article présente un cadre d'apprentissage en temps réel utilisant une décomposition modale dynamique de Hankel modifiée pour débruiter et prédire les trajectoires d'agents dynamiques à partir de données partielles et bruitées, permettant ainsi une planification de mouvement robotique plus sûre et adaptative.
Le papier présente KLASS, une méthode d'échantillonnage adaptative qui accélère significativement l'inférence des modèles de diffusion masqués en dévoilant plusieurs tokens à chaque itération grâce à la divergence KL, tout en améliorant la qualité des résultats sur divers domaines tels que le texte, l'image et les molécules.
Ce papier propose le CADM, une métrique de distance adaptative et personnalisée par cluster pour le regroupement de données catégorielles et mixtes, qui améliore les performances en ajustant dynamiquement les distances en fonction des distributions spécifiques de chaque cluster.
Ce papier présente FireScope, un cadre de modélisation basé sur les grands modèles de langage visuel qui intègre un raisonnement de type « chaîne de pensée » pour prédire les risques d'incendie avec une meilleure généralisation intercontinentale et une interprétabilité accrue, soutenu par le nouveau benchmark FireScope-Bench.
Ce papier présente EgoCogNav, un cadre de navigation égocentrique multimodal qui intègre l'incertitude perçue comme état latent pour prédire les trajectoires et les mouvements de tête, accompagné d'un nouveau jeu de données CEN pour capturer les comportements de navigation humains réalistes.
Le papier propose SPINE, une méthode d'apprentissage par renforcement à l'inférence qui améliore la stabilité et les performances des modèles de raisonnement en sélectionnant sélectivement les tokens critiques pour les mises à jour et en appliquant une régularisation par bande d'entropie, évitant ainsi l'effondrement des réponses sans nécessiter d'étiquettes ni de modèles de récompense.
Le papier présente DAISI, un algorithme d'assimilation de données évolutif basé sur des modèles génératifs par flot, qui surpasse les méthodes classiques dans les systèmes non linéaires en intégrant des prévisions via un échantillonnage inverse et en assimilant des observations par guidage sans nécessiter de réentraînement du prior.
Ce papier propose SQDF, une nouvelle méthode d'alignement par apprentissage par renforcement régularisé KL pour les modèles de diffusion, qui utilise un gradient de politique reparamétré basé sur une fonction Q douce pour surmonter le problème de sur-optimisation de la récompense tout en préservant la diversité et la naturalité des échantillons générés.
En proposant une méthode qui approxime une distribution cible par filtrage des réponses incorrectes via la famille des divergences , cette étude surmonte la perte de diversité des modèles de langage entraînés par apprentissage par renforcement, permettant d'atteindre un état de l'art sur le front de Pareto précision-coverage pour la preuve de théorèmes.
Ce papier présente A-3PO, une méthode qui accélère l'entraînement asynchrone des grands modèles de langage en approximant la politique proximale par interpolation simple pour éliminer le surcoût computationnel des passes avant supplémentaires, tout en maintenant des performances comparables.