10325 articles
Cette étude propose une nouvelle technique d'analyse appelée greffe dynamique de poids pour révéler que les modèles de langage récupèrent les connaissances apprises lors du fine-tuning via deux voies distinctes : l'enrichissement du flux résiduel lors du traitement des entités et le rappel de l'information au moment de la prédiction finale.
Le papier présente TRIDENT, un cadre novateur d'apprentissage de représentations moléculaires tri-modales qui intègre les structures SMILES, les descriptions textuelles et les annotations taxonomiques fonctionnelles via des objectifs d'alignement global et local pour atteindre des performances de pointe dans la prédiction des propriétés moléculaires.
Ce papier présente xLSTMAD, la première méthode d'anomalie multivariée basée sur une architecture xLSTM complète (encodeur-décodeur) qui, en utilisant des fonctions de perte MSE ou SoftDTW sur 17 jeux de données réels, dépasse les performances de 23 méthodes de référence existantes.
Cet article propose un cadre de fine-tuning itératif par distillation pour optimiser les modèles de diffusion dans la conception biomoléculaire selon des fonctions de récompense arbitraires, surmontant ainsi les limitations de stabilité et d'efficacité des méthodes d'apprentissage par renforcement traditionnelles.
Ce papier propose la « Partial Model Collapse » (PMC), une méthode d'oubli machine qui exploite le phénomène d'effondrement des modèles pour supprimer des données sensibles sans avoir besoin de les inclure dans l'objectif d'apprentissage, résolvant ainsi les limites des approches actuelles tout en préservant l'utilité du modèle.
Ce papier propose une méthode de décomposition greedy successive et un algorithme accéléré par convolution max pour optimiser la mise en cache des experts sur les serveurs de bord, afin de minimiser la latence d'inférence distribuée des modèles Mixture-of-Experts (MoE) malgré les contraintes de stockage et la non-sous-modularité introduite par la co-activation des experts.
Ce papier présente RawMed, le premier cadre capable de générer des dossiers médicaux électroniques (DME) synthétiques multi-tables et temporels à partir d'un espace latent avec un prétraitement minimal, surpassant les modèles existants en fidélité et en utilité tout en respectant la vie privée.
Cet article présente Galerkin-ARIMA et Galerkin-SARIMA, une extension par projection des modèles classiques qui remplace les opérateurs de retard linéaires rigides par des expansions de base de Galerkin pour mieux capturer les dynamiques non linéaires dans les séries temporelles macroéconomiques et financières, tout en conservant une estimation sous forme close et une structure d'opérateurs AR-MA familière.
Cette étude développe un cadre d'apprentissage machine contraint par la physique, combinant des modèles de réseaux de neurones pour les contraintes visqueuses et un modèle de paroi basé sur une distribution de vitesse de particules gaussienne biaisée, afin d'améliorer la précision des prédictions des écoulements hypersoniques dans le régime de transition continuum où les modèles classiques échouent.
Cet article propose une approche de Reinforcement Learning pour la conception modulaire de circuits quantiques, où une structure de bloc réutilisable est découverte sur de petits systèmes et ensuite déployée avec succès sur des problèmes plus grands, contournant ainsi la difficulté de modéliser de grands systèmes quantiques pour l'apprentissage automatique.
Cet article propose une approche d'apprentissage par renforcement utilisant l'optimisation de politique proximale pour résoudre le problème coûteux du minor embedding dans l'optimisation quantique par recuit, démontrant ainsi sa capacité à générer des embeddings valides et évolutifs sur différentes topologies matérielles comme Chimera et Zephyr.
Ce papier présente CASCADE, une approche hybride déployée chez Google qui combine les capacités de Gemini pour identifier les fonctions de préambule et les transformations déterministes d'une représentation intermédiaire du JavaScript (JSIR) afin de déobfusquer efficacement le code et de rétablir son comportement original.
Cette étude présente une analyse à grande échelle de l'ancrage et du boosting d'ancrage pour améliorer la généralisation des modèles prédictifs en soins intensifs face aux décalages de distribution entre hôpitaux, tout en définissant un cadre conceptuel pour déterminer quand utiliser, adapter ou ignorer les données externes en fonction de la disponibilité des données cibles.
Cette étude propose un modèle de prévision des prix de l'électricité en Allemagne combinant la détection de régimes bayésienne et des processus neuronaux conditionnels, démontrant via une évaluation multicritère (TOPSIS) que cette approche offre une solution plus équilibrée et performante pour l'optimisation opérationnelle que les modèles d'apprentissage profond ou linéaires sur la période 2021-2023.
Ce papier présente DisTaC, une méthode innovante qui utilise la distillation de connaissances pour pré-conditionner les vecteurs de tâches en ajustant leurs normes et en augmentant la confiance des modèles sources, permettant ainsi d'améliorer considérablement la robustesse et les performances du fusionnement de modèles dans des scénarios réalistes.
Cet article propose HGTS-Former, un nouveau modèle Transformer basé sur des hypergraphes hiérarchiques conçu pour améliorer l'analyse des séries temporelles multivariées en capturant les interactions complexes entre les variables, tout en présentant le nouveau jeu de données à grande échelle EAST-ELM640 pour la reconnaissance des modes localisés de bord (ELM) dans la fusion nucléaire.
Cet article présente l'algorithme MORNAVI, une méthode d'apprentissage en ligne pour les jeux de Markov robustes distribués qui permet aux agents d'apprendre directement par interaction avec l'environnement sans données préalables, tout en offrant les premières garanties théoriques de faible regret pour des ensembles d'incertitude mesurés par les divergences de variation totale et de Kullback-Leibler.
Cet article propose une approche d'apprentissage automatique informée par la variété pour modéliser la dynamique des foules à l'échelle macroscopique en apprenant un opérateur d'évolution dans un espace latent de faible dimension, tout en garantissant la conservation de la masse lors du passage des données microscopiques aux champs macroscopiques et inversement.
Cette étude présente la première analyse systématique des risques de fuite de données d'entraînement dans les modèles vision-langage via des attaques d'inversion de modèle, en proposant une nouvelle méthode d'optimisation adaptative (SMI-AW) qui démontre la vulnérabilité de ces modèles à reconstruire des images privées avec une précision significative.
Le papier présente Agnostics, un pipeline d'entraînement par renforcement universel qui permet d'apprendre à coder dans n'importe quel langage de programmation, y compris les ressources limitées, en se basant uniquement sur le comportement observable du code via un vérificateur unique, éliminant ainsi le besoin d'ingénierie spécifique par langage et établissant de nouveaux états de l'art pour les modèles de taille inférieure à 16 milliards de paramètres.