9457 articles
Ce papier propose un système de mémoire neuronale généralisé qui permet des mises à jour flexibles et sélectives basées sur des instructions en langage naturel, offrant ainsi un contrôle accru sur ce que les modèles apprennent dans des environnements non stationnaires.
Le papier présente FlexGuard, un modérateur de contenu LLM basé sur un score de risque continu et calibré qui surpasse les approches binaires existantes en offrant une robustesse accrue face aux variations de sévérité des règles de modération, grâce à l'introduction du benchmark FlexBench et à une optimisation d'alignement des risques.
Cet article propose une méthode de déformation de maillage efficace et précise, nommée BINO, qui combine une représentation par intégrale de bord avec un opérateur neuronal pour résoudre des problèmes d'élasticité linéaire tout en garantissant la qualité du maillage et l'efficacité computationnelle.
Cet article propose une extension théorique de l'apprentissage par renforcement hors ligne aux politiques paramétrées sur des espaces d'actions larges ou continus en surmontant les limitations des méthodes antérieures grâce à une analyse unifiant la descente de miroir, le gradient de politique naturel et l'apprentissage par imitation.
Cet article propose une théorie géométrique formalisant l'« alignement tax » comme une fonction de l'angle entre les sous-espaces de sécurité et de capacité, établissant une frontière de Pareto récursive et une loi d'échelle qui décompose ce compromis en une composante irréductible et un résidu décroissant avec la dimension du modèle.
Entraîné sur les dossiers de 1,8 million de patients danois, un modèle de langage a démontré une capacité à automatiser le codage médical et a révélé une sous-déclaration systématique de diagnostics secondaires, soulignant l'importance de ces outils pour améliorer la surveillance épidémiologique et la prise en charge des comorbidités.
Le papier présente CoPeP, un nouveau benchmark évaluant l'apprentissage continu sur les modèles de langage protéiques en utilisant une décennie de données UniProt, et démontre que l'exploitation des métadonnées temporelles et de méthodes d'apprentissage continu améliore significativement les performances par rapport à l'entraînement classique.
Ce papier propose IDER, une méthode de réapprentissage continu novatrice basée sur la propriété d'idempotence qui améliore la fiabilité des prédictions, réduit l'oubli catastrophique et augmente la précision tout en étant compatible avec les méthodes de réentraînement existantes.
Ce papier présente BornoViT, un modèle Vision Transformer léger et efficace conçu pour classifier les caractères et chiffres manuscrits bengalis avec une grande précision tout en minimisant les besoins computationnels, le rendant idéal pour les environnements aux ressources limitées.
Cet article établit un cadre théorique unifié démontrant que l'optimisation de politique par rapport de groupe (GRPO) est une statistique en U, ce qui permet de prouver son équivalence asymptotique avec un algorithme oracle et de dériver une loi d'échelle universelle pour la sélection de la taille de groupe optimale.
En appliquant la Théorie de l'Apprentissage Singulier (SLT), cette étude interprète le phénomène de « grokking » comme une transition de phase entre des bassins de solutions compétitifs dans les réseaux quadratiques, démontrant que le coefficient d'apprentissage local sert d'indicateur fiable pour suivre la dynamique de généralisation et prédire ces transitions.
Cet article présente WoS-NO, une méthode d'apprentissage d'opérateurs neuronaux qui utilise la méthode Walk-on-Spheres pour générer des supervisions faibles et peu coûteuses, permettant ainsi d'entraîner des solveurs d'EDP sans données précalculées ni calculs de dérivées d'ordre supérieur, tout en offrant une meilleure précision, une vitesse d'entraînement accrue et une réduction de la consommation mémoire par rapport aux approches traditionnelles.
Ce papier présente BiCAM, une méthode d'activation de classe bidirectionnelle pour les Vision Transformers qui capture à la fois les contributions positives et négatives afin d'améliorer l'interprétabilité et de détecter les exemples adverses sans réentraînement.
Cet article propose la Coupled Policy Optimization, une méthode qui régule la diversité entre les politiques d'un ensemble via des contraintes KL pour améliorer l'efficacité de l'exploration et la stabilité de l'apprentissage dans le renforcement à grande échelle, surpassant ainsi les approches de l'état de l'art.
Cet article propose une méthode d'inférence de trajectoires d'hyperparamètres basée sur le transport optimal lagrangien conditionnel pour construire un modèle de substitution capable de prédire les sorties d'un réseau de neurones à des réglages d'hyperparamètres non observés, évitant ainsi le besoin de réentraînement coûteux.
Le papier présente RxnNano, un modèle de langage compact de 0,5 milliard de paramètres qui surpasse les modèles bien plus grands en prédisant les réactions chimiques et la rétrosynthèse grâce à un apprentissage par curriculum hiérarchique, une cohérence chimique latente et l'invariance par permutation des cartes d'atomes.
Cet article propose l'ATPO, un algorithme d'optimisation de politique adaptatif et incertain qui améliore l'alignement des grands modèles de langage pour les dialogues médicaux multi-tours en allouant dynamiquement les ressources de simulation aux états incertains, surpassant ainsi des modèles beaucoup plus grands sur plusieurs benchmarks.
Ce papier démontre que la calibration légère des routeurs, via une méthode de distillation d' connaissances, est essentielle pour rétablir les performances des modèles MoE compressés sans réentraînement, en résolvant le désalignement entre les routeurs et les experts modifiés.
Cette étude démontre que l'évolution durable des modèles de langage par auto-jeu nécessite un pipeline d'auto-synthèse garantissant un gain d'information apprenable croissant, obtenu grâce à une co-évolution asymétrique, une croissance des capacités et une recherche proactive d'informations.
NExT-Guard est un cadre de sécurité sans entraînement qui permet une surveillance en temps réel des flux de génération de modèles de langage en exploitant des caractéristiques latentes interprétables issues de sparse autoencoders, éliminant ainsi le besoin de labels au niveau des tokens tout en surpassant les méthodes existantes.