1734 articles
Cette étude démontre que les activations massives et les puits d'attention, bien que souvent co-occurrents dans les Transformers pré-normés en raison d'un artefact architectural, remplissent des fonctions distinctes en agissant respectivement comme des paramètres implicites globaux et des modulateurs locaux des dépendances à court terme.
Le papier présente POET-X, une variante économe en mémoire et efficace du cadre POET pour l'entraînement des grands modèles de langage, qui permet de préentraîner des modèles à plusieurs milliards de paramètres sur un seul GPU Nvidia H100 là où les optimiseurs standards échouent par manque de mémoire.
Cet article propose une méthode innovante pour la segmentation d'instances camouflées à vocabulaire ouvert, qui exploite les modèles de diffusion texte--image pour apprendre des représentations visuelles et textuelles multi-échelles afin de surmonter le défi du masquage des objets dans leur environnement.
Ce papier présente RAEE, un cadre robuste d'arrêt anticipé augmenté par la récupération qui améliore l'efficacité de l'inférence des grands modèles de langage en guidant l'arrêt des couches intermédiaires à l'aide d'informations extraites de données similaires, permettant ainsi d'accélérer le processus tout en maintenant des performances zéro-shot élevées sur diverses tâches.
Cette recherche propose un système innovant de traitement de requêtes sémantiques qui combine des modèles de langage de grande taille (LLM) et le graphe de connaissances scientifiques de l'ANU (ASKG), enrichi par un modèle de document profond (DDM) et une fusion automatique LLM-SPARQL, afin d'améliorer la précision et l'efficacité de l'extraction d'informations sur les travaux de recherche en informatique.
Cette étude démontre que l'altération des données d'entraînement des modèles de langage permet de confirmer que l'apprentissage des exceptions à la passivation en anglais repose sur deux sources d'induction indépendantes : la fréquence d'usage (enracinement) et la sémantique (notamment l'affectedness).
Ce papier présente LMUnit, une approche d'évaluation des modèles de langage qui utilise des tests unitaires en langage naturel et un modèle de notation unifié pour surmonter les limites des méthodes actuelles, améliorant ainsi la fiabilité et l'efficacité des flux de travail de développement.
Cette étude révèle et caractérise le phénomène de « fuite de préférences », une forme de contamination systémique où les modèles de langage utilisés comme juges présentent un biais envers les modèles qu'ils ont générés ou qui leur sont apparentés, compromettant ainsi la fiabilité des évaluations et de la synthèse de données.
Le papier présente OSCAR, une méthode innovante de compression douce en ligne et de reranking qui réduit considérablement la charge computationnelle des pipelines RAG tout en préservant leur précision, offrant ainsi une accélération de 2 à 5 fois sans perte de performance pour les modèles de langage de 1 à 24 milliards de paramètres.
Ce papier propose un nouveau jeu de données axé sur les interactions et une méthode d'affinement par décomposition assistée par des modèles de langage multimodaux pour améliorer la génération d'images text-to-image riches en interactions complexes entre objets.
Cet article présente N2M-RSI, un modèle formel minimal démontrant que, dès qu'un agent IA intègre ses propres sorties comme données d'entraînement au-delà d'un seuil d'intégration informationnelle, sa complexité interne croît sans limite, un phénomène qui s'amplifie dans des essaims d'agents communicants.
Cette étude présente PubHealthBench, un nouveau benchmark de plus de 8000 questions évaluant la connaissance des modèles de langage (LLM) sur les informations de santé publique du Royaume-Uni, révélant que bien que les modèles propriétaires les plus récents surpassent les humains en questions à choix multiples, leurs performances en réponses libres nécessitent encore des garde-fous supplémentaires.
Ce papier propose MoB, une méthode de pruning de tokens visuels fondée sur la théorie du recouvrement et une formulation bi-objectif, qui résout le compromis inhérent entre l'alignement et la préservation visuelle pour offrir une accélération significative des modèles multimodaux avec une perte de performance négligeable.
Le papier présente R1-Code-Interpreter, un modèle de langage entraîné via un apprentissage par renforcement multi-étapes et un curriculum adaptatif pour maîtriser l'utilisation autonome d'interpréteurs de code sur des tâches variées, surpassant ainsi les performances de GPT-4o avec une précision accrue et des capacités d'auto-vérification émergentes.
Cet article propose la « Supervised Calibration », un cadre unificateur basé sur la minimisation de la perte qui améliore l'apprentissage en contexte des grands modèles de langage en apprenant des transformations affines optimales pour corriger les biais et réorienter les frontières de décision, surpassant ainsi les méthodes de calibration existantes sur plusieurs modèles et jeux de données.
Cette étude identifie et quantifie les biais idiosyncrasiques des modèles de préférence envers des caractéristiques superficielles comme la longueur ou le jargon, puis propose une méthode d'augmentation de données par contre-factuels pour réduire efficacement ces erreurs de calibration tout en préservant les performances globales.
Cet article présente CounselBench, un benchmark à grande échelle élaboré avec des professionnels de la santé mentale pour évaluer et tester la robustesse des modèles de langage dans des scénarios de questions-réponses réalistes, révélant à la fois leurs limites cliniques et les défaillances des juges automatisés.
Cette présentation propose une méthode sans entraînement appelée « Internal Confidence » pour détecter les limites des connaissances des grands modèles de langage au niveau de la requête, permettant ainsi une inférence adaptative plus efficace et économique.
Cet article propose une méthode de biaisage contextuel permettant d'améliorer la reconnaissance des mots présentant un décalage entre leur prononciation et leur orthographe en exploitant des corrections de substitutions fournies par l'utilisateur en temps réel, ce qui réduit significativement le taux d'erreur sur ces mots spécifiques sans dégrader les performances globales.
Ce papier présente RLVER, un cadre d'apprentissage par renforcement innovant qui utilise des récompenses émotionnelles vérifiables générées par des utilisateurs simulés pour améliorer considérablement l'intelligence émotionnelle des modèles de langage tout en préservant leurs compétences cognitives.