1907 articles
Ce papier présente GUMBridge, un nouveau corpus annoté couvrant 16 genres diversifiés de l'anglais pour l'étude des anaphores de pontage, tout en évaluant la qualité des annotations et les performances des modèles de langage actuels sur les tâches de résolution et de classification de ces phénomènes.
Cet article propose une méthode de guidage des activations pour les modèles de diffusion masqués, démontrant qu'une intervention globale sur un sous-espace d'activation unidimensionnel permet un contrôle efficace et transférable du comportement du modèle, surpassant les approches basées sur l'optimisation ou les invites, tout en révélant des spécificités architecturales distinctes par rapport aux modèles autoregressifs.
Cette étude démontre que l'analyse des profils d'entropie de sortie lors de l'inférence permet d'estimer avec précision la performance des modèles de langage sur des domaines spécifiques en STEM, offrant ainsi un signal accessible pour la surveillance continue et l'acquisition ciblée de données.
L'article révèle que la présence d'erreurs passées dans le contexte des grands modèles de langage crée un « drag contextuel » qui biaise leurs raisonnements futurs vers des erreurs structurellement similaires, provoquant une dégradation des performances que ni la vérification ni les stratégies d'atténuation actuelles ne parviennent entièrement à corriger.
Cette étude propose PACIFIC, un cadre et un jeu de données annotés par les traits de personnalité Big Five, démontrant que l'alignement des préférences d'un utilisateur sur sa personnalité inférée améliore considérablement la précision des réponses personnalisées des grands modèles de langage.
Le papier propose Steer2Edit, un cadre sans entraînement qui transforme les vecteurs de guidage en modifications de poids au niveau des composants pour améliorer les compromis entre sécurité, véracité et efficacité du raisonnement dans les grands modèles de langage.
Le papier présente MedXIAOHE, un modèle fondationnel médical vision-langage qui atteint des performances de pointe grâce à un cadre d'entraînement continu axé sur les entités et un apprentissage par renforcement pour le raisonnement, surpassant les systèmes multimodaux fermés tout en garantissant une génération de rapports fiables et ancrée dans des preuves.
Cette étude à grande échelle démontre que les modèles de langage (LLM) améliorent significativement la prévision des séries temporelles, en particulier lors de changements de distribution, en validant l'importance de l'alignement préalable et du rôle complémentaire de la préformation et de l'architecture.
Cet article propose une méthode sans entraînement pour détecter les hallucinations dans les grands modèles de langage en réinterprétant leur classificateur softmax comme un modèle basé sur l'énergie et en utilisant de nouvelles métriques d'énergie dissipée et marginalisée directement dérivées des logits.
Ce papier présente CFE-Bench, un nouveau benchmark multimodal évaluant les capacités de raisonnement des grands modèles de langage sur plus de 20 domaines STEM à l'aide de problèmes d'examen universitaires authentiques, révélant que même les modèles les plus avancés peinent à maintenir des états intermédiaires cohérents dans des solutions multi-étapes malgré des performances correctes sur des sous-questions isolées.
Ce papier présente RuCL, un cadre novateur d'apprentissage curriculaire stratifié qui améliore le raisonnement des modèles de langage multimodaux en reformulant la conception des récompenses via des rubriques généralisées et pondérées dynamiquement, permettant ainsi d'atteindre des performances record tout en évitant le piratage de récompenses.
Cet article présente un cadre de traduction automatique guidée par la parole (SMT) intégrant la parole et le texte dans un modèle de langage multimodal, qui utilise un mécanisme d'auto-évolution pour générer des données synthétiques et atteint des performances de pointe sur les benchmarks Multi30K et FLORES-200.
Ce papier présente DeepXiv-SDK, une interface de données agentic à trois couches qui transforme la littérature scientifique non structurée en formats normalisés et fournit des outils d'accès efficaces pour les agents LLM, couvrant actuellement l'ensemble du corpus ArXiv avec une synchronisation quotidienne.
Ce papier présente « Super Research », une nouvelle tâche et un benchmark évaluant la capacité des modèles de langage à résoudre des questions de recherche extrêmement complexes grâce à une décomposition structurée, une recherche à la fois très large et très profonde, et un protocole d'audit rigoureux.
Cet article présente uCDCR, un jeu de données unifié qui consolide divers corpus de résolution de coréférence inter-documents en anglais pour analyser systématiquement leurs propriétés lexicales et améliorer la généralisabilité des modèles, tout en démontrant que la résolution des entités et des événements constitue une tâche complexe qui ne doit pas se limiter aux événements.
Le papier présente QIME, un cadre fondé sur l'ontologie qui génère des embeddings médicaux interprétables en représentant le texte par des réponses binaires à des questions cliniquement significatives, surpassant les méthodes interprétables existantes et se rapprochant des performances des encodeurs boîte noire tout en fournissant des explications concises.
Ce papier présente ClinConsensus, un benchmark chinois basé sur le consensus d'experts cliniques évaluant les grands modèles de langage médicaux sur des cas ouverts et complexes à travers tout le continuum de soins, en proposant une nouvelle métrique de cohérence et un cadre d'évaluation à double juge pour identifier les forces et les limites actuelles de ces modèles.
Cet article propose le processus récursif R-TAP, qui améliore la précision et l'efficacité des modèles de langage et de vision en intégrant un générateur de confiance pour des cycles de raisonnement itératifs, réduisant ainsi les erreurs et les expressions d'auto-réflexion par rapport aux approches en passage unique.
Cet article présente un modèle de substitut capable de préserver simultanément la distribution de fréquence des symboles (loi de Zipf) et la structure de corrélation à long terme des séquences symboliques, telles que le langage écrit et l'ADN, en mappant un bruit gaussien fractionnaire sur l'histogramme empirique.
Cette étude démontre que l'évolution durable des modèles de langage par auto-jeu nécessite un pipeline d'auto-synthèse garantissant un gain d'information apprenable croissant, obtenu grâce à une co-évolution asymétrique, une croissance des capacités et une recherche proactive d'informations.