11182 articles
Cet article propose une théorie géométrique formalisant l'« alignement tax » comme une fonction de l'angle entre les sous-espaces de sécurité et de capacité, établissant une frontière de Pareto récursive et une loi d'échelle qui décompose ce compromis en une composante irréductible et un résidu décroissant avec la dimension du modèle.
Entraîné sur les dossiers de 1,8 million de patients danois, un modèle de langage a démontré une capacité à automatiser le codage médical et a révélé une sous-déclaration systématique de diagnostics secondaires, soulignant l'importance de ces outils pour améliorer la surveillance épidémiologique et la prise en charge des comorbidités.
Le papier présente CoPeP, un nouveau benchmark évaluant l'apprentissage continu sur les modèles de langage protéiques en utilisant une décennie de données UniProt, et démontre que l'exploitation des métadonnées temporelles et de méthodes d'apprentissage continu améliore significativement les performances par rapport à l'entraînement classique.
Ce papier propose IDER, une méthode de réapprentissage continu novatrice basée sur la propriété d'idempotence qui améliore la fiabilité des prédictions, réduit l'oubli catastrophique et augmente la précision tout en étant compatible avec les méthodes de réentraînement existantes.
Ce papier présente BornoViT, un modèle Vision Transformer léger et efficace conçu pour classifier les caractères et chiffres manuscrits bengalis avec une grande précision tout en minimisant les besoins computationnels, le rendant idéal pour les environnements aux ressources limitées.
Cet article établit un cadre théorique unifié démontrant que l'optimisation de politique par rapport de groupe (GRPO) est une statistique en U, ce qui permet de prouver son équivalence asymptotique avec un algorithme oracle et de dériver une loi d'échelle universelle pour la sélection de la taille de groupe optimale.
En appliquant la Théorie de l'Apprentissage Singulier (SLT), cette étude interprète le phénomène de « grokking » comme une transition de phase entre des bassins de solutions compétitifs dans les réseaux quadratiques, démontrant que le coefficient d'apprentissage local sert d'indicateur fiable pour suivre la dynamique de généralisation et prédire ces transitions.
Cet article présente WoS-NO, une méthode d'apprentissage d'opérateurs neuronaux qui utilise la méthode Walk-on-Spheres pour générer des supervisions faibles et peu coûteuses, permettant ainsi d'entraîner des solveurs d'EDP sans données précalculées ni calculs de dérivées d'ordre supérieur, tout en offrant une meilleure précision, une vitesse d'entraînement accrue et une réduction de la consommation mémoire par rapport aux approches traditionnelles.
Ce papier présente BiCAM, une méthode d'activation de classe bidirectionnelle pour les Vision Transformers qui capture à la fois les contributions positives et négatives afin d'améliorer l'interprétabilité et de détecter les exemples adverses sans réentraînement.
Cet article propose la Coupled Policy Optimization, une méthode qui régule la diversité entre les politiques d'un ensemble via des contraintes KL pour améliorer l'efficacité de l'exploration et la stabilité de l'apprentissage dans le renforcement à grande échelle, surpassant ainsi les approches de l'état de l'art.
Cet article propose une méthode d'inférence de trajectoires d'hyperparamètres basée sur le transport optimal lagrangien conditionnel pour construire un modèle de substitution capable de prédire les sorties d'un réseau de neurones à des réglages d'hyperparamètres non observés, évitant ainsi le besoin de réentraînement coûteux.
Le papier présente RxnNano, un modèle de langage compact de 0,5 milliard de paramètres qui surpasse les modèles bien plus grands en prédisant les réactions chimiques et la rétrosynthèse grâce à un apprentissage par curriculum hiérarchique, une cohérence chimique latente et l'invariance par permutation des cartes d'atomes.
Cet article propose l'ATPO, un algorithme d'optimisation de politique adaptatif et incertain qui améliore l'alignement des grands modèles de langage pour les dialogues médicaux multi-tours en allouant dynamiquement les ressources de simulation aux états incertains, surpassant ainsi des modèles beaucoup plus grands sur plusieurs benchmarks.
Ce papier démontre que la calibration légère des routeurs, via une méthode de distillation d' connaissances, est essentielle pour rétablir les performances des modèles MoE compressés sans réentraînement, en résolvant le désalignement entre les routeurs et les experts modifiés.
Cette étude démontre que l'évolution durable des modèles de langage par auto-jeu nécessite un pipeline d'auto-synthèse garantissant un gain d'information apprenable croissant, obtenu grâce à une co-évolution asymétrique, une croissance des capacités et une recherche proactive d'informations.
NExT-Guard est un cadre de sécurité sans entraînement qui permet une surveillance en temps réel des flux de génération de modèles de langage en exploitant des caractéristiques latentes interprétables issues de sparse autoencoders, éliminant ainsi le besoin de labels au niveau des tokens tout en surpassant les méthodes existantes.
Le papier présente TimeGS, un cadre novateur qui transforme la prévision de séries temporelles en un problème de rendu génératif 2D via l'utilisation de splatting gaussien pour surmonter les limites des approches existantes en assurant la continuité chronologique et une résolution adaptative.
Le papier présente MedFeat, un cadre d'ingénierie de fonctionnalités alimenté par les LLMs qui intègre la connaissance médicale, la conscience du modèle et l'explicabilité SHAP pour améliorer de manière stable les prédictions cliniques tabulaires et découvrir des caractéristiques robustes et cliniquement pertinentes.
Cet article remet en cause la pertinence du benchmark MedCalc-Bench en révélant des erreurs dans ses implémentations, en démontrant que l'accès aux spécifications des calculateurs (« open-book ») permet d'atteindre des performances supérieures à celles des systèmes à apprentissage par renforcement, et en concluant que ce benchmark évalue principalement la mémorisation de formules et la précision arithmétique plutôt que le raisonnement clinique.
En intégrant des méthodes d'apprentissage automatique non supervisé et supervisé à une vaste enquête menée auprès de résidents de la Californie, du Colorado et de l'Oregon, cette étude identifie des typologies comportementales distinctes liées à l'évacuation des incendies de forêt et démontre que, si le mode de transport peut être prédit avec fiabilité à partir des caractéristiques des ménages, le moment de l'évacuation reste difficile à classifier en raison de sa dépendance aux conditions dynamiques du feu.