1848 articles
Ce papier présente LMUnit, une approche d'évaluation des modèles de langage qui utilise des tests unitaires en langage naturel et un modèle de notation unifié pour surmonter les limites des méthodes actuelles, améliorant ainsi la fiabilité et l'efficacité des flux de travail de développement.
Cette étude révèle et caractérise le phénomène de « fuite de préférences », une forme de contamination systémique où les modèles de langage utilisés comme juges présentent un biais envers les modèles qu'ils ont générés ou qui leur sont apparentés, compromettant ainsi la fiabilité des évaluations et de la synthèse de données.
Le papier présente OSCAR, une méthode innovante de compression douce en ligne et de reranking qui réduit considérablement la charge computationnelle des pipelines RAG tout en préservant leur précision, offrant ainsi une accélération de 2 à 5 fois sans perte de performance pour les modèles de langage de 1 à 24 milliards de paramètres.
Ce papier propose un nouveau jeu de données axé sur les interactions et une méthode d'affinement par décomposition assistée par des modèles de langage multimodaux pour améliorer la génération d'images text-to-image riches en interactions complexes entre objets.
Cet article présente N2M-RSI, un modèle formel minimal démontrant que, dès qu'un agent IA intègre ses propres sorties comme données d'entraînement au-delà d'un seuil d'intégration informationnelle, sa complexité interne croît sans limite, un phénomène qui s'amplifie dans des essaims d'agents communicants.
Cette étude présente PubHealthBench, un nouveau benchmark de plus de 8000 questions évaluant la connaissance des modèles de langage (LLM) sur les informations de santé publique du Royaume-Uni, révélant que bien que les modèles propriétaires les plus récents surpassent les humains en questions à choix multiples, leurs performances en réponses libres nécessitent encore des garde-fous supplémentaires.
Ce papier propose MoB, une méthode de pruning de tokens visuels fondée sur la théorie du recouvrement et une formulation bi-objectif, qui résout le compromis inhérent entre l'alignement et la préservation visuelle pour offrir une accélération significative des modèles multimodaux avec une perte de performance négligeable.
Le papier présente R1-Code-Interpreter, un modèle de langage entraîné via un apprentissage par renforcement multi-étapes et un curriculum adaptatif pour maîtriser l'utilisation autonome d'interpréteurs de code sur des tâches variées, surpassant ainsi les performances de GPT-4o avec une précision accrue et des capacités d'auto-vérification émergentes.
Cet article propose la « Supervised Calibration », un cadre unificateur basé sur la minimisation de la perte qui améliore l'apprentissage en contexte des grands modèles de langage en apprenant des transformations affines optimales pour corriger les biais et réorienter les frontières de décision, surpassant ainsi les méthodes de calibration existantes sur plusieurs modèles et jeux de données.
Cette étude identifie et quantifie les biais idiosyncrasiques des modèles de préférence envers des caractéristiques superficielles comme la longueur ou le jargon, puis propose une méthode d'augmentation de données par contre-factuels pour réduire efficacement ces erreurs de calibration tout en préservant les performances globales.
Cet article présente CounselBench, un benchmark à grande échelle élaboré avec des professionnels de la santé mentale pour évaluer et tester la robustesse des modèles de langage dans des scénarios de questions-réponses réalistes, révélant à la fois leurs limites cliniques et les défaillances des juges automatisés.
Cette présentation propose une méthode sans entraînement appelée « Internal Confidence » pour détecter les limites des connaissances des grands modèles de langage au niveau de la requête, permettant ainsi une inférence adaptative plus efficace et économique.
Cet article propose une méthode de biaisage contextuel permettant d'améliorer la reconnaissance des mots présentant un décalage entre leur prononciation et leur orthographe en exploitant des corrections de substitutions fournies par l'utilisateur en temps réel, ce qui réduit significativement le taux d'erreur sur ces mots spécifiques sans dégrader les performances globales.
Ce papier présente RLVER, un cadre d'apprentissage par renforcement innovant qui utilise des récompenses émotionnelles vérifiables générées par des utilisateurs simulés pour améliorer considérablement l'intelligence émotionnelle des modèles de langage tout en préservant leurs compétences cognitives.
Ce papier présente UQLM, une bibliothèque Python qui utilise des techniques de quantification de l'incertitude pour détecter les hallucinations des grands modèles de langage et améliorer la fiabilité de leurs réponses.
Cette étude démontre que l'intégration de la résolution de coréférence améliore significativement l'efficacité de la récupération et la qualité des réponses dans les systèmes de Génération Augmentée par Récupération (RAG), en particulier pour les modèles plus petits et grâce à l'adoption de stratégies de pooling moyen.
Cette étude révèle que les grands modèles de langage généralisent des tâches inédites grâce à un mécanisme de « fonction d'induction » réutilisable et composable, où plusieurs têtes d'attention collaborent en parallèle pour extraire et appliquer des règles abstraites, comme démontré par l'analyse de l'addition décalée.
Cet article présente le premier benchmark multilingue évaluant neuf langues pour la désintoxication de texte, démontrant que les métriques proposées, notamment les approches « LLM-as-a-judge », surpassent les méthodes existantes en corrélant mieux avec les jugements humains.
Le papier présente Text2VLM, un pipeline novateur qui transforme des jeux de données textuels en prompts multimodaux pour évaluer la vulnérabilité des modèles de langage visuel aux attaques par injection de prompts typographiques, révélant ainsi des failles d'alignement critiques et un écart de performance significatif par rapport aux modèles propriétaires.
Ce papier présente WebDS, le premier benchmark de bout en bout pour la science des données sur le web, qui révèle un écart significatif entre les performances des agents LLM actuels et celles des humains face à des tâches complexes et multimodales nécessitant l'utilisation d'outils variés.