1920 articles
Cette étude à grande échelle démontre que les modèles de langage (LLM) améliorent significativement la prévision des séries temporelles, en particulier lors de changements de distribution, en validant l'importance de l'alignement préalable et du rôle complémentaire de la préformation et de l'architecture.
Cet article propose une méthode sans entraînement pour détecter les hallucinations dans les grands modèles de langage en réinterprétant leur classificateur softmax comme un modèle basé sur l'énergie et en utilisant de nouvelles métriques d'énergie dissipée et marginalisée directement dérivées des logits.
Ce papier présente CFE-Bench, un nouveau benchmark multimodal évaluant les capacités de raisonnement des grands modèles de langage sur plus de 20 domaines STEM à l'aide de problèmes d'examen universitaires authentiques, révélant que même les modèles les plus avancés peinent à maintenir des états intermédiaires cohérents dans des solutions multi-étapes malgré des performances correctes sur des sous-questions isolées.
Ce papier présente RuCL, un cadre novateur d'apprentissage curriculaire stratifié qui améliore le raisonnement des modèles de langage multimodaux en reformulant la conception des récompenses via des rubriques généralisées et pondérées dynamiquement, permettant ainsi d'atteindre des performances record tout en évitant le piratage de récompenses.
Cet article présente un cadre de traduction automatique guidée par la parole (SMT) intégrant la parole et le texte dans un modèle de langage multimodal, qui utilise un mécanisme d'auto-évolution pour générer des données synthétiques et atteint des performances de pointe sur les benchmarks Multi30K et FLORES-200.
Ce papier présente DeepXiv-SDK, une interface de données agentic à trois couches qui transforme la littérature scientifique non structurée en formats normalisés et fournit des outils d'accès efficaces pour les agents LLM, couvrant actuellement l'ensemble du corpus ArXiv avec une synchronisation quotidienne.
Ce papier présente « Super Research », une nouvelle tâche et un benchmark évaluant la capacité des modèles de langage à résoudre des questions de recherche extrêmement complexes grâce à une décomposition structurée, une recherche à la fois très large et très profonde, et un protocole d'audit rigoureux.
Cet article présente uCDCR, un jeu de données unifié qui consolide divers corpus de résolution de coréférence inter-documents en anglais pour analyser systématiquement leurs propriétés lexicales et améliorer la généralisabilité des modèles, tout en démontrant que la résolution des entités et des événements constitue une tâche complexe qui ne doit pas se limiter aux événements.
Le papier présente QIME, un cadre fondé sur l'ontologie qui génère des embeddings médicaux interprétables en représentant le texte par des réponses binaires à des questions cliniquement significatives, surpassant les méthodes interprétables existantes et se rapprochant des performances des encodeurs boîte noire tout en fournissant des explications concises.
Ce papier présente ClinConsensus, un benchmark chinois basé sur le consensus d'experts cliniques évaluant les grands modèles de langage médicaux sur des cas ouverts et complexes à travers tout le continuum de soins, en proposant une nouvelle métrique de cohérence et un cadre d'évaluation à double juge pour identifier les forces et les limites actuelles de ces modèles.
Cet article propose le processus récursif R-TAP, qui améliore la précision et l'efficacité des modèles de langage et de vision en intégrant un générateur de confiance pour des cycles de raisonnement itératifs, réduisant ainsi les erreurs et les expressions d'auto-réflexion par rapport aux approches en passage unique.
Cet article présente un modèle de substitut capable de préserver simultanément la distribution de fréquence des symboles (loi de Zipf) et la structure de corrélation à long terme des séquences symboliques, telles que le langage écrit et l'ADN, en mappant un bruit gaussien fractionnaire sur l'histogramme empirique.
Cette étude démontre que l'évolution durable des modèles de langage par auto-jeu nécessite un pipeline d'auto-synthèse garantissant un gain d'information apprenable croissant, obtenu grâce à une co-évolution asymétrique, une croissance des capacités et une recherche proactive d'informations.
Ce papier démontre que l'apprentissage de portes d'attention parcimonieuses est inefficace car les projections Q/K/V s'adaptent au masquage imposé, un phénomène de « routage absorbé » qui rend les portes aléatoires aussi performantes que les portes apprises et favorise ainsi les approches post-hoc.
Cette étude révèle que, contrairement aux attentes, l'entraînement à la sécurité persiste lors d'un optimisation ultérieure de l'utilité chez les agents LLM, et que toutes les configurations d'entraînement convergent vers une frontière de Pareto linéaire sans parvenir à une stratégie optimale combinant les deux objectifs.
Le papier présente HELIOS, un modèle innovant qui améliore la récupération table-texte en harmonisant la fusion précoce et tardive avec le raisonnement des LLM pour surmonter les limites des approches existantes et atteindre des performances record sur le benchmark OTT-QA.
En analysant la géométrie des représentations du modèle de traduction NLLB-200, cette étude démontre que celui-ci a appris à la fois la structure généalogique des langues et des associations conceptuelles universelles, révélant ainsi une organisation sémantique neutre par rapport à la langue qui rappelle les hubs neuronaux du cerveau humain.
Cette étude propose un cadre théorique et empirique unifié démontrant que, bien que les modèles de diffusion linguistiques (DLM) voient leur risque d'extraction de données d'entraînement augmenter avec la résolution d'échantillonnage, ils présentent globalement une fuite d'informations personnellement identifiables (PII) nettement inférieure à celle des modèles de langage autoregressifs (ARM).
Ce papier présente RO-N3WS, un nouveau jeu de données de parole roumaine diversifié conçu pour améliorer la généralisation des systèmes de reconnaissance automatique de la parole dans des conditions à ressources limitées, démontrant que même un ajustement fin limité sur ces données réelles entraîne des réductions significatives du taux d'erreur de mots par rapport aux modèles de base en zéro-shot.
Cette étude propose un modèle de graphe orienté et un cadre expérimental utilisant des textes synthétiques générés par LLM pour évaluer la visualisation temporelle de discours textuels, révélant que l'interprétation des motifs relationnels par les utilisateurs est complexe et suggérant la nécessité d'approches de visualisation plus adaptatives plutôt que standardisées.