3072 articles
L'article présente OptiRoulette, un méta-optimiseur stochastique qui sélectionne dynamiquement des règles de mise à jour lors de l'entraînement, permettant une convergence jusqu'à 5,3 fois plus rapide et une précision supérieure par rapport à AdamW sur plusieurs jeux de données d'images.
Cet article propose une représentation unifiée des modèles de diffusion et de l'appariement de flux via deux équations linéaires simples, révélant par une analyse théorique que la corrélation parfois faible entre les données bruitées et la cible prédite peut nuire au processus d'apprentissage de ces modèles.
Cet article propose le cadre Annealed Co-Generation (ACG), qui remplace la modélisation conjointe de haute dimension par une approche par blocs de paires de variables via des modèles de diffusion, permettant une génération multivariée cohérente et efficace pour des applications scientifiques comme la complétion de champs d'écoulement et la conception d'anticorps.
Le papier présente RACER, une méthode de routage des requêtes vers des modèles de langage qui, en formulant le problème comme une minimisation de la taille de l'ensemble de modèles tout en contrôlant le risque d'erreur, garantit théoriquement et empiriquement une meilleure précision et une gestion rigoureuse des risques sur des données inconnues.
Le papier présente Evo, un modèle de langage d'ordre 8B qui unifie les paradigmes autoregressif et diffusionnel au sein d'un cadre évolutif latent, permettant d'adapter dynamiquement le processus de génération à l'incertitude pour atteindre des performances de pointe en raisonnement et en génération de code tout en conservant une vitesse d'inférence élevée.
Cet article propose un cadre novateur pour la prédiction d'interactions à zéro tir dans les réseaux biologiques multiplex, en combinant l'apprentissage de représentations contextuelles, la distillation de connaissances et une tokenisation de graphe sensible à la topologie pour surmonter les limites des méthodes existantes et améliorer la généralisation aux entités non vues.
Le papier présente NAT, un cadre d'apprentissage par renforcement qui optimise l'efficacité computationnelle en mettant à jour les politiques uniquement sur un sous-ensemble de tokens sélectionnés via une estimation de gradient non biaisée, permettant ainsi de réduire significativement les coûts de calcul et de mémoire tout en préservant les performances sur des tâches de raisonnement complexe.
Le papier présente GraphSkill, un cadre de codage guidé par la documentation qui améliore le raisonnement sur les graphes complexes grâce à une récupération hiérarchique et un agent d'auto-débogage, tout en introduisant un nouveau jeu de données pour l'évaluation.
Cette étude révèle que les modèles de récompense de processus (PRM) actuels sont systématiquement vulnérables aux attaques adverses en raison d'une dissociation entre la fluidité et la logique, les transformant en détecteurs de style plutôt qu'en vérificateurs de raisonnement, et propose un cadre de diagnostic et des outils pour évaluer leur robustesse avant déploiement.
Cette étude démontre que le modèle Transformer, grâce à son mécanisme d'attention, surpasse les approches traditionnelles comme ARIMA et les réseaux LSTM pour la prévision précise de la charge électrique à court terme sur les données du PJM.
Cette étude propose une revue complète des avancées méthodologiques et des applications diversifiées de Flow-GRPO, un cadre d'apprentissage par renforcement qui étend l'optimisation stratégique relative de groupe aux modèles de génération pour mieux aligner leurs sorties sur les préférences humaines.
Cet article présente la Théorie de l'Espace d'Exploration (EST), un cadre formel fondé sur la théorie des espaces de connaissances qui modélise les dépendances prérequis entre lieux d'intérêt via des treillis distributifs, permettant ainsi de concevoir un système de recommandation géolocalisée garantissant mathématiquement la validité structurelle de chaque étape d'exploration.
Cet article propose une méthode d'imputation des données manquantes sur l'état des chaussées en utilisant un réseau de neurones à graphes basé sur l'apprentissage collectif, capable de capturer les dépendances entre les sections adjacentes pour fournir des estimations plus précises que les approches traditionnelles.
Le papier présente Grouter, une méthode de routage préemptive qui découple l'optimisation structurelle de la mise à jour des poids en utilisant des structures distillées pour accélérer significativement l'entraînement des modèles MoE et améliorer leur convergence.
Ce papier présente T-REX, une architecture de transformateur innovante conçue pour Amazon qui améliore les recommandations de paniers d'épicerie en générant des séquences de catégories personnalisées grâce à un masquage causal et des stratégies d'échantillonnage adaptées aux achats répétitifs.
Cet article présente un protocole d'extraction de caractéristiques graphiques temporelles et causales, exempt de fuite de données, qui améliore l'interprétabilité et la détection des fraudes dans les réseaux de transactions en fournissant des signaux structurels complémentaires aux attributs transactionnels.
Cet article propose un nouveau principe d'incertitude en apprentissage automatique, analogue à celui de la physique, qui explique comment la dégénérescence des expansions de Heaviside et sigmoïdes piège les algorithmes d'optimisation dans des minima locaux, transformant ainsi des problèmes informatiques en défis physiques fondamentaux.
Cette étude démontre que la capacité des petits modèles de langage à inférer des propriétés de graphes dépend moins de leur échelle que de l'organisation des représentations des données relationnelles et des stratégies d'inférence employées.
Ce papier présente SmartBench, le premier jeu de données conçu pour évaluer la capacité des grands modèles de langage à détecter et gérer des états anormaux dans les maisons intelligentes, révélant que les modèles actuels, y compris les plus avancés, obtiennent des performances insuffisantes sur cette tâche critique.
Le papier présente HEARTS, un benchmark unifié évaluant les capacités de raisonnement hiérarchique des grands modèles de langage sur 16 jeux de données de santé réels, révélant que ces modèles sous-performent les modèles spécialisés et peinent à gérer la complexité temporelle malgré leur échelle.