11575 articles
Cette étude évalue l'efficacité des Sparse Autoencoders (SAE) pour détecter et atténuer les biais raciaux dans les modèles de langage en santé, concluant qu'ils sont utiles pour identifier les dépendances problématiques aux démographies mais offrent une utilité marginale pour corriger ces biais dans des tâches cliniques réalistes.
Ce papier présente UME-R1, un cadre pionnier d'encodage multimodal génératif qui, grâce à une stratégie d'entraînement combinant micro-ajustement supervisé et apprentissage par renforcement, exploite les capacités de raisonnement des modèles multimodaux pour surpasser les méthodes discriminatives traditionnelles sur 78 tâches.
Ce papier présente SLAP, une méthode qui combine l'apprentissage par renforcement sans modèle et la planification TAMP pour découvrir automatiquement de nouvelles options d'actions abstraites, permettant ainsi de réduire la longueur des plans de plus de 50 % et d'améliorer les taux de réussite dans des environnements robotiques complexes.
Cet article propose une nouvelle méthode de décomposition tensorielle sans rang basée sur l'apprentissage métrique, qui privilégie la préservation des relations sémantiques et physiques dans les données de haute dimension plutôt que la reconstruction, offrant ainsi une alternative interprétable et efficace aux modèles classiques et aux transformers, particulièrement dans les régimes à faible quantité de données.
Cette étude introduit la première analyse de la dimension intrinsèque des représentations neuronales implicites géographiques, révélant que leur complexité effective est faible (entre 2 et 10), qu'elle varie selon la résolution et le mode d'entrée, et qu'elle constitue une métrique sans étiquette efficace pour évaluer les performances et diagnostiquer les modèles d'apprentissage de la Terre.
Le papier présente DoFlow, un modèle génératif basé sur des flux normalisés continus défini sur un graphe acyclique dirigé, capable d'effectuer des prévisions observationnelles, interventionnelles et contrefactuelles cohérentes tout en permettant la détection d'anomalies sur des séries temporelles multivariées complexes.
Cet article présente DADO, un nouvel algorithme d'optimisation distributionnelle qui améliore l'efficacité de la conception de structures discrètes en exploitant la décomposabilité des modèles prédictifs de propriétés via des arbres de jonction et un mécanisme de passage de messages.
Cet article présente Verbal Technical Analysis (VTA), un cadre novateur qui combine annotations textuelles et raisonnement latent pour générer des prévisions boursières précises et interprétables en traduisant les données temporelles en langage naturel.
Cet article propose des débruiteurs universels agnostiques qui surpassent la formule de Tweedie pour la restauration de la distribution sous-jacente d'un signal bruité en multi-dimensions, en atteignant une précision supérieure grâce à des approximations d'ordre élevé inspirées de la théorie du transport optimal et à l'appariement de scores.
Cette revue analyse l'état de l'art des modèles génératifs pour la prédiction et la génération de structures cristallines, en examinant leurs représentations, leurs forces et limites, ainsi que les défis émergents comme la modélisation des défauts et la faisabilité synthétique, afin de guider à la fois les scientifiques expérimentaux et les spécialistes du machine learning dans la conception inverse de matériaux.
Cet article propose une approche basée sur les réseaux de neurones à graphes pour estimer de manière efficace et généralisable la non-stabilisabilité (mesurée par l'entropie de Rényi de stabilisateur) dans des circuits quantiques, y compris sur du matériel bruité, en traitant le problème via des tâches d'apprentissage supervisé allant de la classification à la régression.
Ce papier présente InnoGym, le premier cadre d'évaluation conçu pour mesurer systématiquement le potentiel d'innovation des agents IA en combinant des métriques de gain de performance et de nouveauté méthodologique sur des tâches réelles, révélant ainsi un décalage crucial entre créativité et robustesse.
Ce papier présente TRIM-KV, une méthode novatrice qui apprend à créer des scores de rétention pour chaque token afin d'éliminer dynamiquement les informations moins importantes dans le cache KV, surpassant ainsi les approches existantes en efficacité et en précision tout en offrant de nouvelles perspectives sur l'interprétabilité des LLMs.
AdaptVision est un nouveau paradigme de modèles vision-langage qui optimise l'efficacité computationnelle en acquérant de manière adaptative et progressive les tokens visuels nécessaires via un outil de recadrage et un apprentissage par renforcement découpé, surpassant ainsi les méthodes existantes en précision tout en réduisant considérablement le nombre de tokens utilisés.
Cette étude présente le Conductor, un modèle entraîné par apprentissage par renforcement pour orchestrer dynamiquement des agents LLM hétérogènes via des topologies de communication adaptatives et des instructions optimisées, atteignant ainsi des performances de pointe dans des tâches de raisonnement complexes.
Le papier présente Trinity, un coordinateur léger optimisé par une stratégie évolutive qui orchestre dynamiquement la collaboration de plusieurs modèles de langage pour surpasser les méthodes existantes et atteindre des performances de pointe sur diverses tâches complexes.
Cet article propose une hiérarchie de débruiteurs agnostiques basée sur les fonctions de score d'ordre supérieur de la distribution bruitée, dont la limite correspond à la carte de transport optimal de Brenier et dont la structure combinatoire est caractérisée par des récurrences de polynômes de Bell.
Le papier présente Brain-Semantoks, un cadre auto-supervisé innovant qui utilise un tokeniseur sémantique et un objectif de distillation auto-enseignée pour apprendre des représentations robustes de la dynamique cérébrale à partir de séries temporelles fMRI bruyantes, permettant ainsi d'excellentes performances sur des tâches en aval sans nécessiter d'adaptation de domaine.
Cet article propose Eik-HiQRL, une méthode d'apprentissage par renforcement hiérarchique qui reformule l'apprentissage quasimétrique à l'aide de l'équation aux dérivées partielles d'Eikonal pour obtenir une généralisation hors distribution supérieure et des performances de pointe dans les tâches de navigation et de manipulation.
Cet article présente EUBRL, un algorithme d'apprentissage par renforcement bayésien qui utilise l'incertitude épistémique pour guider l'exploration, garantissant ainsi une efficacité d'échantillonnage supérieure et des bornes de regret quasi-optimales dans des MDP à horizon infini.