7103 articles
Ce papier propose des algorithmes plus rapides pour des tâches d'algèbre linéaire sur les matrices de noyau en utilisant l'estimation de densité par noyau, améliorant ainsi la dépendance en la taille des données et l'erreur par rapport aux méthodes existantes, tout en établissant des bornes inférieures sur la complexité de ces problèmes.
Le modèle FLOWR.root est une architecture fondée sur l'appariement de flux et équivariante SE(3) qui génère de manière conjointe des ligands 3D structurellement adaptés et prédit leur affinité de liaison, offrant ainsi une solution performante et adaptable pour la conception de médicaments depuis l'identification de hits jusqu'à l'optimisation des leads.
Ce papier propose Cell-MNN, une architecture de réseaux de neurones mécanistes encodant-decodant qui modélise la dynamique de différenciation cellulaire via des équations différentielles ordinaires (ODE) pour apprendre de manière interprétable les interactions géniques tout en surpassant les méthodes actuelles en termes d'efficacité et d'évolutivité.
Le papier présente ELMUR, une architecture de transformateur dotée d'une mémoire externe structurée et mise à jour localement par couche, qui résout efficacement les problèmes d'apprentissage par renforcement à long horizon et sous observabilité partielle en surpassant significativement les méthodes de référence sur des tâches robotiques complexes.
Le papier présente Value Flows, une nouvelle méthode d'apprentissage par renforcement distributionnel qui utilise des modèles de flux pour estimer les distributions complètes des retours futurs et identifier l'incertitude des états, permettant ainsi d'améliorer significativement les taux de réussite sur divers benchmarks.
Cet article propose un cadre géométrique novateur qui modélise le raisonnement des grands modèles de langage comme des flux lisses dans l'espace des représentations, démontrant que l'apprentissage par prédiction de token suffit à internaliser des invariants logiques sous forme de géométrie d'ordre supérieur, indépendamment de l'architecture ou des données d'entraînement.
Ce papier présente ToMCLIP, un cadre d'apprentissage qui améliore l'alignement des modèles vision-langage multilingues en intégrant des contraintes topologiques via l'homologie persistante pour préserver la géométrie globale de l'espace d'embedding et renforcer les performances en zéro-shot et en récupération multilingue.
Cet article présente Gym-TORAX, un logiciel open-source en Python qui permet de créer des environnements d'apprentissage par renforcement compatibles avec les bibliothèques standard pour simuler et optimiser le contrôle des plasmas dans les tokamaks, en s'appuyant sur le simulateur TORAX et en offrant dès à présent un scénario de démarrage pour ITER.
Ce papier présente WeightLens et CircuitLens, deux méthodes complémentaires qui surpassent les approches d'interprétabilité basées sur les activations en analysant directement les poids et les interactions entre composants pour permettre une découverte de circuits mécaniques plus robuste, évolutive et indépendante des données.
Cet article présente COGS, un cadre de synthèse de données ancré sur la composition qui améliore les capacités de raisonnement des modèles de langage multimodaux préentraînés en décomposant et recomposant systématiquement des questions semences pour générer des données synthétiques, permettant ainsi des gains significatifs sur des tâches de raisonnement visuel complexes comme l'analyse de graphiques et de documents web.
Cette étude révèle que la fiabilité de la détection hors distribution par Mahalanobis dépend fortement de la géométrie des représentations, et propose une normalisation radialement ajustée basée sur la dimensionnalité intrinsèque locale pour optimiser les performances.
Ce papier propose AMiD, un cadre unifié de distillation de connaissances pour les grands modèles de langage qui introduit une distribution d'assistant à mélange généralisée et une famille de divergences optimisées, permettant ainsi de surmonter les limitations de stabilité et de performance des méthodes antérieures grâce à un espace de distributions plus vaste et théoriquement fondé.
Cette étude présente MAYA, un modèle d'apprentissage par imitation séquentiel basé sur les bandits manchots qui reproduit avec succès les décisions de butinage des abeilles en tenant compte de leur mémoire limitée, surpassant ainsi les modèles existants tout en offrant une interprétabilité précieuse pour les applications écologiques.
Cette étude démontre théoriquement et empiriquement que les poids de requête dans les mécanismes d'attention des transformateurs sont redondants et peuvent être remplacés par une matrice identité, réduisant ainsi les paramètres de 25 % tout en maintenant les performances et en offrant une régularisation implicite.
Cet article démontre que l'induction implicite de l'algorithme Adam en mode par échantillon sur des données séparables peut s'écarter de son comportement en lot complet pour converger vers un classifieur à marge maximale , contrairement à la tendance observée dans le régime par lot complet, tandis que l'optimiseur Signum conserve une convergence invariante vers la marge quelle que soit la taille du lot.
Cette étude propose un cadre théorique et algorithmique basé sur les modèles de diffusion pour optimiser le placement des fonctions réseau natifs du cloud dans le continuum cloud-continuum, en reformulant le problème comme une tâche de génération conditionnelle de graphes qui surpasse les approches classiques en termes de scalabilité, de respect des contraintes et de rapidité d'inférence.
Le papier présente NeuCLIP, un cadre d'optimisation novateur qui reformule la perte de contraste via l'analyse convexe et transforme l'estimation du terme de normalisation en l'apprentissage d'un réseau de neurones compact, permettant ainsi un entraînement CLIP plus efficace et performant à grande échelle sans dépendre de gros lots de données.
Cet article caractérise le biais implicite du schéma JKO au second ordre en montrant qu'il équivaut à un flot de gradient de Wasserstein sur une énergie modifiée qui inclut un terme de courbure métrique, expliquant ainsi des biais connus tels que l'information de Fisher pour l'entropie.
Cette étude démontre que les modèles audio auto-supervisés performants dans des tâches de perception auditive développent des représentations internes plus proches de l'activité cérébrale humaine, suggérant que cette similarité biologique émerge naturellement de l'apprentissage de la reconstruction de données audio.
EnECG est un cadre d'apprentissage ensembliste efficace qui combine plusieurs modèles fondation spécialisés via un mécanisme de mélange d'experts et une adaptation légère (LoRA) pour améliorer l'analyse multi-tâches des électrocardiogrammes tout en réduisant les coûts computationnels.