2026 articles
Cet article présente une approche novatrice d'apprentissage par renforcement qui permet d'affiner directement les grands modèles de langage pour qu'ils expriment des estimations de confiance calibrées et alignées sur leur précision réelle, en intégrant cette calibration au processus de génération plutôt que de la traiter séparément.
En analysant 92 modèles de langage open-source, cette étude démontre que l'intégration de facteurs de conception au-delà de la simple échelle, tels que la composition des données et les choix architecturaux, permet d'améliorer significativement la prédiction des performances en aval et de mieux comprendre l'impact des décisions de développement.
Cet article de synthèse examine comment les grands modèles de langage révolutionnent la bioinformatique en analysant les avancées récentes dans la modélisation des séquences génomiques et des protéines, tout en abordant les défis actuels et les perspectives futures pour la médecine de précision.
Le papier présente LLaVE, un cadre d'apprentissage contrastif pondéré par la difficulté qui améliore l'entraînement des modèles d'encodage multimodaux pour mieux distinguer les paires négatives difficiles, permettant ainsi d'atteindre des performances de pointe sur le benchmark MMEB avec une meilleure efficacité que les modèles précédents.
Le papier présente Vision-R1, un modèle multimodal de langage qui améliore les capacités de raisonnement grâce à une stratégie d'entraînement par apprentissage par renforcement combinant un jeu de données de chaîne de pensée initialisé automatiquement et une suppression progressive de la sur-réflexion, atteignant ainsi des performances compétitives sur les benchmarks de raisonnement mathématique.
Cet article démontre théoriquement et valide empiriquement que la prédiction du prochain token permet aux grands modèles de langage d'apprendre des concepts latents interprétables par l'humain, dont les représentations correspondent approximativement aux logarithmes des probabilités a posteriori de ces concepts.
Cet article présente MoBLLM, un modèle fondamental de prédiction de mobilité individuelle basé sur un grand modèle de langage open-source et des techniques d'ajustement fin efficaces, qui démontre une précision, une robustesse et une transférabilité supérieures aux modèles d'apprentissage profond et aux grands modèles commerciaux sur divers scénarios réels.
Cet article propose la « Chaîne de Correction » (CoC), une méthode utilisant un format de chat multi-tours guidé par le contexte pour affiner la correction d'erreurs dans les transcriptions de reconnaissance vocale, démontrant ainsi des performances supérieures aux systèmes de référence sur le jeu de données ChFT.
Cet article présente AnesSuite, la première suite de données et de benchmarks complète dédiée au raisonnement en anesthésiologie pour les modèles de langage, accompagnée de Morpheus, un modèle de référence qui démontre des performances améliorées dans ce domaine spécialisé ainsi que dans des tâches médicales et générales.
Cet article présente DRA-GRPO, une méthode plug-and-play qui améliore le raisonnement mathématique des LLMs en corrigeant l'inconsistance diversité-qualité du GRPO standard grâce à un ajustement de récompense basé sur la densité sémantique et l'information mutuelle sousmodulaire, permettant d'atteindre des performances supérieures avec peu de données et un coût réduit.
Cette étude démontre que les grands modèles de langage surpassent les humains incités à persuader, notamment dans des contextes trompeurs, grâce à une expression de conviction plus forte, bien que cet avantage diminue avec les interactions répétées.
Ce papier présente mCLM, un modèle de langage chimique modulaire qui génère des molécules fonctionnelles et synthétisables en les tokenisant sous forme de blocs de construction plutôt qu'atomes, surpassant ainsi les méthodes existantes en matière d'accessibilité synthétique et de propriétés chimiques.
Ce papier présente DTR, une méthode de défense à l'inférence qui atténue les attaques de contournement multimodales dans les modèles vision-langage en optimisant dynamiquement les caches clé-valeur pour ajuster les poids des tokens visuels, améliorant ainsi la robustesse sans compromettre les performances générales.
Ce papier présente « Chain-of-Lure », un cadre d'attaque universel de contournement (jailbreak) qui exploite les capacités narratives non contraintes des grands modèles de langage pour masquer des intentions malveillantes via une chaîne de questions appâtantes et une optimisation par un modèle auxiliaire, démontrant ainsi des taux de réussite élevés et soulignant la nécessité de nouvelles stratégies de défense.
Ce papier propose la méthode NFT, une approche d'apprentissage supervisé qui exploite les réponses erronées pour permettre aux modèles de langage de s'améliorer de manière autonome en mathématiques, comblant ainsi le fossé théorique et pratique entre l'apprentissage supervisé et l'apprentissage par renforcement.
Le papier présente SQUiD, un cadre neurosymbolique innovant qui utilise des modèles de langage pour générer automatiquement des schémas et remplir des bases de données relationnelles à partir de textes non structurés, surpassant ainsi les méthodes existantes.
Ce papier présente Intuitor, une méthode d'apprentissage par renforcement sans récompense externe qui utilise la propre certitude d'un modèle de langage comme signal intrinsèque pour améliorer son raisonnement et sa généralisation, offrant ainsi une alternative évolutive aux approches supervisées.
Ce papier présente RPM, un cadre innovant qui améliore la personnalisation des grands modèles de langage en boîte noire en découvrant automatiquement des structures de raisonnement spécifiques à l'utilisateur à partir de données comportementales, surpassant ainsi les méthodes actuelles axées uniquement sur le niveau de réponse.
Cette étude démontre que l'intégration de données, notamment via des métadonnées et une validation automatique, améliore significativement la faisabilité et la qualité des idées de recherche générées par les LLM en sciences sociales, tout en stimulant l'inspiration et la production d'idées de meilleure qualité chez les chercheurs humains.
L'article présente RefTool, un cadre innovant qui permet aux grands modèles de langage de surmonter leurs limites de connaissances internes en générant et en utilisant des outils exécutables guidés par des références externes pour améliorer le raisonnement dans des domaines intensifs en connaissances.