11404 articles
Les auteurs proposent LA-CDM, un agent linguistique entraîné par apprentissage par renforcement et supervisé pour simuler un processus de décision clinique itératif et hypothético-déductif, démontrant ainsi une amélioration de la précision diagnostique et de l'efficacité sur le jeu de données MIMIC-CDM.
Ce papier présente SecP-Tuning, un cadre innovant basé sur le calcul multipartite sécurisé qui permet un réglage efficace et privé des grands modèles de langage en combinant un apprentissage sans rétropropagation et une attention par caractéristiques aléatoires pour réduire considérablement les coûts de calcul et de communication.
Ce papier présente POLCA, une méthode qui décompose la fonction de perte pour révéler des transitions de phase cachées et des percées conceptuelles dans l'entraînement des modèles de langage en regroupant les échantillons selon leurs dynamiques d'apprentissage similaires.
Cet article propose un cadre théorique de décomposition du bruit pour analyser les échecs des LLMs sur de longs contextes et démontre que l'approche par découpage et agrégation (multi-agent chunking) permet de surpasser des modèles avancés en traitement unique grâce à une gestion optimisée des dépendances croisées, de la confusion contextuelle et de l'intégration des résultats.
Le papier présente RocketStack, une architecture d'ensemble profond récursif et conscient des niveaux qui surmonte les limites du stacking traditionnel grâce à un élagage régularisé et une compression périodique, permettant d'atteindre une précision compétitive sur de multiples jeux de données avec une croissance computationnelle sublinéaire.
Ce papier présente Memba, une méthode de fine-tuning efficace en paramètres pour les modèles Mamba qui améliore leur capacité de modélisation temporelle en intégrant des mécanismes de gating bio-inspirés (neurones à membrane fuyante) avec l'adaptation de rang faible (LoRA) et un transfert inter-couches.
L'article présente LongWriter-Zero, une approche fondée sur l'apprentissage par renforcement qui permet à un modèle de langage de générer des textes ultra-longs de haute qualité sans aucune donnée d'entraînement annotée ou synthétique, surpassant ainsi les méthodes traditionnelles et des modèles beaucoup plus grands.
Cet article propose ConCM, un cadre novateur pour l'apprentissage incrémental de classes à peu d'exemples qui résout les conflits de connaissances grâce à une calibration de prototypes inspirée de la mémoire associative et à un appariement structurel dynamique, établissant ainsi de nouvelles performances de pointe sur plusieurs benchmarks.
Cette étude propose une nouvelle technique d'analyse appelée greffe dynamique de poids pour révéler que les modèles de langage récupèrent les connaissances apprises lors du fine-tuning via deux voies distinctes : l'enrichissement du flux résiduel lors du traitement des entités et le rappel de l'information au moment de la prédiction finale.
Le papier présente TRIDENT, un cadre novateur d'apprentissage de représentations moléculaires tri-modales qui intègre les structures SMILES, les descriptions textuelles et les annotations taxonomiques fonctionnelles via des objectifs d'alignement global et local pour atteindre des performances de pointe dans la prédiction des propriétés moléculaires.
Ce papier présente xLSTMAD, la première méthode d'anomalie multivariée basée sur une architecture xLSTM complète (encodeur-décodeur) qui, en utilisant des fonctions de perte MSE ou SoftDTW sur 17 jeux de données réels, dépasse les performances de 23 méthodes de référence existantes.
Cet article propose un cadre de fine-tuning itératif par distillation pour optimiser les modèles de diffusion dans la conception biomoléculaire selon des fonctions de récompense arbitraires, surmontant ainsi les limitations de stabilité et d'efficacité des méthodes d'apprentissage par renforcement traditionnelles.
Ce papier propose la « Partial Model Collapse » (PMC), une méthode d'oubli machine qui exploite le phénomène d'effondrement des modèles pour supprimer des données sensibles sans avoir besoin de les inclure dans l'objectif d'apprentissage, résolvant ainsi les limites des approches actuelles tout en préservant l'utilité du modèle.
Ce papier propose une méthode de décomposition greedy successive et un algorithme accéléré par convolution max pour optimiser la mise en cache des experts sur les serveurs de bord, afin de minimiser la latence d'inférence distribuée des modèles Mixture-of-Experts (MoE) malgré les contraintes de stockage et la non-sous-modularité introduite par la co-activation des experts.
Ce papier présente RawMed, le premier cadre capable de générer des dossiers médicaux électroniques (DME) synthétiques multi-tables et temporels à partir d'un espace latent avec un prétraitement minimal, surpassant les modèles existants en fidélité et en utilité tout en respectant la vie privée.
Cet article présente Galerkin-ARIMA et Galerkin-SARIMA, une extension par projection des modèles classiques qui remplace les opérateurs de retard linéaires rigides par des expansions de base de Galerkin pour mieux capturer les dynamiques non linéaires dans les séries temporelles macroéconomiques et financières, tout en conservant une estimation sous forme close et une structure d'opérateurs AR-MA familière.
Cette étude développe un cadre d'apprentissage machine contraint par la physique, combinant des modèles de réseaux de neurones pour les contraintes visqueuses et un modèle de paroi basé sur une distribution de vitesse de particules gaussienne biaisée, afin d'améliorer la précision des prédictions des écoulements hypersoniques dans le régime de transition continuum où les modèles classiques échouent.
Cet article propose une approche de Reinforcement Learning pour la conception modulaire de circuits quantiques, où une structure de bloc réutilisable est découverte sur de petits systèmes et ensuite déployée avec succès sur des problèmes plus grands, contournant ainsi la difficulté de modéliser de grands systèmes quantiques pour l'apprentissage automatique.
Cet article propose une approche d'apprentissage par renforcement utilisant l'optimisation de politique proximale pour résoudre le problème coûteux du minor embedding dans l'optimisation quantique par recuit, démontrant ainsi sa capacité à générer des embeddings valides et évolutifs sur différentes topologies matérielles comme Chimera et Zephyr.
Ce papier présente CASCADE, une approche hybride déployée chez Google qui combine les capacités de Gemini pour identifier les fonctions de préambule et les transformations déterministes d'une représentation intermédiaire du JavaScript (JSIR) afin de déobfusquer efficacement le code et de rétablir son comportement original.