1071 articles
Cette étude démontre que l'utilisation de l'adaptation à faible rang (LoRA) dans l'apprentissage fédéré pour les grands modèles de langage réduit considérablement la mémorisation des données d'entraînement, limitant ainsi les risques de fuite d'informations privées sans compromettre les performances du modèle.
L'article présente LaVCa, une méthode innovante utilisant des modèles de langage pour générer des légendes naturelles précises décrivant la sélectivité des voxels du cortex visuel, surpassant ainsi les approches précédentes en révélant des différenciations fonctionnelles fines et des représentations de concepts multiples.
Cet article propose le cadre COD (Clustering-On-Difficulty), qui améliore la prédiction des performances des grands modèles de langage sur des tâches en aval en regroupant les tâches selon leurs caractéristiques de difficulté pour établir des lois d'échelle stables et extrapoler avec précision les résultats globaux.
Ce papier propose HaLoRA, une méthode d'adaptation à faible rang consciente du matériel qui optimise le déploiement des modèles de langage sur une architecture hybride Compute-in-Memory en entraînant les branches LoRA pour être robustes au bruit des mémoires RRAM, permettant ainsi de réduire la consommation énergétique à 3 % de celle d'un GPU A100 tout en améliorant les performances de 22,7 %.
Cette étude révèle que, bien que les grands modèles de langage génèrent une surreprésentation des personnages féminins grâce au fine-tuning et au RLHF, ils perpétuent paradoxalement des stéréotypes de genre professionnels plus marqués que la réalité du marché du travail, soulignant ainsi la nécessité de mesures d'atténuation équilibrées.
Ce papier présente le modèle de récompense de processus EDU-PRM, une approche novatrice qui utilise l'incertitude par entropie pour segmenter automatiquement les étapes de raisonnement sans annotations manuelles, surpassant les modèles de référence sur ProcessBench tout en réduisant considérablement les besoins en données d'entraînement et en consommation de tokens.
Ce papier présente CAWAI, un modèle de récupération entraîné avec des objectifs doubles pour capturer à la fois les relations sémantiques et causales, surpassant ainsi les modèles existants dans des tâches de recherche causale et démontrant une forte généralisation zéro-shot dans des domaines scientifiques.
Cette étude démontre que l'extraction de caractéristiques linguistiques et cognitives par des modèles de langage de grande taille (LLM) pour alimenter des algorithmes d'apprentissage automatique en arbre permet de prédire la difficulté des items d'évaluation avec une précision supérieure à celle des estimations directes par LLM, offrant ainsi une alternative efficace aux tests de terrain coûteux.
Ce papier présente la tâche 5 du défi DCASE 2025, un benchmark de réponse aux questions audio multi-domaines conçu pour évaluer et améliorer les capacités de raisonnement acoustique des modèles audio-langage face à des scènes sonores variées.
Le papier présente FreeKV, un cadre d'optimisation conjointe algorithmique et système sans entraînement qui améliore l'efficacité de la récupération du cache KV pour l'inférence des grands modèles de langage, permettant des accélérations allant jusqu'à 13 fois par rapport aux méthodes de l'état de l'art tout en préservant une précision quasi parfaite.
Cette étude propose une approche neuro-symbolique combinant la génération par des modèles de langage, la récupération de problèmes analogues et la vérification formelle pour améliorer significativement la fiabilité et la précision de la génération de preuves en géométrie euclidienne.
Le papier présente MAS-ZERO, un cadre d'inférence temps réel pionnier qui conçoit et affine automatiquement des systèmes multi-agents sans supervision ni ensemble de validation, en adaptant dynamiquement la décomposition des problèmes et la composition des agents pour surpasser les approches manuelles et automatiques existantes sur diverses tâches complexes.
Le papier présente HDLxGraph, un cadre innovant qui intègre les caractéristiques graphiques inhérentes aux langages de description matérielle (HDL) aux systèmes de génération augmentée par récupération (RAG) pour surmonter les limites des approches actuelles dans la recherche, le débogage et la complétion de projets HDL complexes, tout en introduisant le benchmark HDLSearch pour évaluer ces performances.
Le papier présente SwingArena, un cadre d'évaluation compétitif pour les modèles de langage qui simule les flux de travail réels de développement logiciel en associant des LLMs à des rôles de soumission et de revue dans des pipelines d'intégration continue, tout en intégrant un module de génération de code augmenté par la récupération pour gérer efficacement des contextes longs issus d'issues GitHub.
Ce papier présente MMTU, un benchmark à grande échelle comprenant plus de 28 000 questions sur 25 tâches réelles, conçu pour évaluer de manière exhaustive les capacités des modèles de langage à comprendre, raisonner et manipuler des données tabulaires au niveau expert, révélant ainsi des lacunes significatives même chez les modèles les plus avancés.
L'article présente CyclicReflex, une stratégie de décodage sans entraînement qui améliore les performances des modèles de raisonnement en adaptant dynamiquement la fréquence des tokens de réflexion grâce à un schéma cyclique inspiré de l'ordonnancement du taux d'apprentissage.
Ce papier présente MeRF, une méthode de finetuning par renforcement qui améliore l'efficacité des grands modèles de raisonnement en injectant une « motivation » explicite sous forme de description de la fonction de récompense dans le prompt, permettant ainsi au modèle d'aligner sa génération sur l'objectif d'optimisation grâce à l'apprentissage en contexte.
Ce papier identifie le biais d'adhésion limitant les vérificateurs basés sur les MLLM et propose la méthode SGV, qui améliore significativement la détection des échecs et les performances d'agents autonomes en générant d'abord des priors indépendants avant d'évaluer les trajectoires.
Ce papier présente UGST, un nouveau cadre et une méthodologie en trois étapes qui permettent aux simulateurs d'utilisateurs basés sur les grands modèles de langage de suivre et de raisonner sur l'évolution des objectifs de l'utilisateur, garantissant ainsi une meilleure alignement des réponses dans les conversations multi-tours.
Le papier présente MathSmith, un cadre novateur qui génère des problèmes mathématiques synthétiques de haute difficulté à partir de zéro en utilisant des stratégies de contraintes et l'apprentissage par renforcement pour améliorer les capacités de raisonnement des grands modèles de langage.