12779 articles
L'article révèle que la présence d'erreurs passées dans le contexte des grands modèles de langage crée un « drag contextuel » qui biaise leurs raisonnements futurs vers des erreurs structurellement similaires, provoquant une dégradation des performances que ni la vérification ni les stratégies d'atténuation actuelles ne parviennent entièrement à corriger.
Cet article propose une nouvelle approche pour l'apprentissage sous confidentialité différentielle locale qui traite le problème comme un transfert d'apprentissage et améliore la précision de classification grâce à des mécanismes de rétroaction bruitée, de renversement de modèle et de moyennage pondéré, tout en garantissant des bornes théoriques de risque excédentaire.
Cet article examine comment l'utilisation de requêtes factuelles, contrefactuelles et contrefactuelles robustes permet d'extraire les paramètres de modèles linéaires, démontrant que le nombre de requêtes nécessaires dépend fortement du type de distance utilisé et de la robustesse appliquée.
Cet article propose l'algorithme FlexDOME, la première méthode à garantir théoriquement une violation de contrainte forte quasi-constante, un regret sous-linéaire et une convergence à la dernière itération pour l'apprentissage par renforcement en ligne dans des processus de décision markoviens contraints, grâce à une optimisation primal-duale intégrant des marges de sécurité décroissantes.
Ce papier présente MoToRec, un cadre innovant qui résout le problème du démarrage à froid dans les systèmes de recommandation en transformant les données multimodales en tokens sémantiques discrets via un auto-encodeur variationnel quantifié résiduel régularisé par parcimonie, surpassant ainsi les méthodes existantes grâce à une représentation désenchevêtrée et une fusion robuste des signaux.
Ce papier présente Fun-DDPS, un cadre de génération basé sur la diffusion en espace fonctionnel couplé à des opérateurs neuronaux différentiables, qui améliore considérablement la précision de la modélisation directe et inverse en stockage géologique du CO₂ en surmontant la rareté des données et en garantissant la cohérence physique des solutions.
Cet article présente dXPP, un cadre de différenciation basé sur une méthode de pénalité qui permet de contourner les limitations des approches KKT en découplant la résolution de programmes quadratiques de leur différenciation, offrant ainsi une meilleure efficacité computationnelle et une robustesse accrue pour les problèmes à grande échelle.
Cette étude démontre que les optimiseurs à base de momentum comme Adam et Muon, lorsqu'ils sont appliqués à des réseaux de neurones homogènes lisses, suivent des trajectoires de descente de pente normalisée qui les biaisent implicitement vers la maximisation de marges spécifiques selon la norme choisie.
Cet article propose d'optimiser l'ordre des variables dans les modèles d'Ising autorégressifs en apprenant la structure du champ aléatoire de Markov sous-jacent, ce qui permet de réduire la complexité conditionnelle et d'améliorer la fidélité des échantillons générés par rapport aux ordonnancements naïfs.
Ce guide propose une méthodologie modulaire pour établir des bornes de regret à haute probabilité en minimisation du risque empirique, en s'appuyant sur une recette en trois étapes pour les problèmes standards et en étendant ces résultats aux cadres avec composantes de nuisance, y compris le régime d'échantillonnage in-sample.
SigmaQuant est un cadre de quantification hétérogène adaptatif conçu pour optimiser l'équilibre entre précision et utilisation des ressources lors de l'inférence de réseaux de neurones profonds sur des dispositifs embarqués, sans nécessiter de recherche exhaustive dans l'espace de conception.
Cet article propose PSQE, une approche théorique et pratique qui améliore la qualité des graines pseudo-alignées pour l'alignement d'entités multimodales non supervisé en utilisant l'information multimodale et un rééchantillonnage par clustering afin de corriger les déséquilibres de couverture du graphe et d'optimiser l'apprentissage par contraste.
Ce papier propose un système de mémoire neuronale généralisé qui permet des mises à jour flexibles et sélectives basées sur des instructions en langage naturel, offrant ainsi un contrôle accru sur ce que les modèles apprennent dans des environnements non stationnaires.
Le papier présente FlexGuard, un modérateur de contenu LLM basé sur un score de risque continu et calibré qui surpasse les approches binaires existantes en offrant une robustesse accrue face aux variations de sévérité des règles de modération, grâce à l'introduction du benchmark FlexBench et à une optimisation d'alignement des risques.
Cet article propose une méthode de déformation de maillage efficace et précise, nommée BINO, qui combine une représentation par intégrale de bord avec un opérateur neuronal pour résoudre des problèmes d'élasticité linéaire tout en garantissant la qualité du maillage et l'efficacité computationnelle.
Cet article propose une extension théorique de l'apprentissage par renforcement hors ligne aux politiques paramétrées sur des espaces d'actions larges ou continus en surmontant les limitations des méthodes antérieures grâce à une analyse unifiant la descente de miroir, le gradient de politique naturel et l'apprentissage par imitation.
Cet article propose une théorie géométrique formalisant l'« alignement tax » comme une fonction de l'angle entre les sous-espaces de sécurité et de capacité, établissant une frontière de Pareto récursive et une loi d'échelle qui décompose ce compromis en une composante irréductible et un résidu décroissant avec la dimension du modèle.
Entraîné sur les dossiers de 1,8 million de patients danois, un modèle de langage a démontré une capacité à automatiser le codage médical et a révélé une sous-déclaration systématique de diagnostics secondaires, soulignant l'importance de ces outils pour améliorer la surveillance épidémiologique et la prise en charge des comorbidités.
Le papier présente CoPeP, un nouveau benchmark évaluant l'apprentissage continu sur les modèles de langage protéiques en utilisant une décennie de données UniProt, et démontre que l'exploitation des métadonnées temporelles et de méthodes d'apprentissage continu améliore significativement les performances par rapport à l'entraînement classique.
Ce papier propose IDER, une méthode de réapprentissage continu novatrice basée sur la propriété d'idempotence qui améliore la fiabilité des prédictions, réduit l'oubli catastrophique et augmente la précision tout en étant compatible avec les méthodes de réentraînement existantes.