1065 articles
Ce papier présente CAWAI, un modèle de récupération entraîné avec des objectifs doubles pour capturer à la fois les relations sémantiques et causales, surpassant ainsi les modèles existants dans des tâches de recherche causale et démontrant une forte généralisation zéro-shot dans des domaines scientifiques.
Cette étude démontre que l'extraction de caractéristiques linguistiques et cognitives par des modèles de langage de grande taille (LLM) pour alimenter des algorithmes d'apprentissage automatique en arbre permet de prédire la difficulté des items d'évaluation avec une précision supérieure à celle des estimations directes par LLM, offrant ainsi une alternative efficace aux tests de terrain coûteux.
Ce papier présente la tâche 5 du défi DCASE 2025, un benchmark de réponse aux questions audio multi-domaines conçu pour évaluer et améliorer les capacités de raisonnement acoustique des modèles audio-langage face à des scènes sonores variées.
Le papier présente FreeKV, un cadre d'optimisation conjointe algorithmique et système sans entraînement qui améliore l'efficacité de la récupération du cache KV pour l'inférence des grands modèles de langage, permettant des accélérations allant jusqu'à 13 fois par rapport aux méthodes de l'état de l'art tout en préservant une précision quasi parfaite.
Le papier présente MAS-ZERO, un cadre d'inférence temps réel pionnier qui conçoit et affine automatiquement des systèmes multi-agents sans supervision ni ensemble de validation, en adaptant dynamiquement la décomposition des problèmes et la composition des agents pour surpasser les approches manuelles et automatiques existantes sur diverses tâches complexes.
Le papier présente HDLxGraph, un cadre innovant qui intègre les caractéristiques graphiques inhérentes aux langages de description matérielle (HDL) aux systèmes de génération augmentée par récupération (RAG) pour surmonter les limites des approches actuelles dans la recherche, le débogage et la complétion de projets HDL complexes, tout en introduisant le benchmark HDLSearch pour évaluer ces performances.
Le papier présente SwingArena, un cadre d'évaluation compétitif pour les modèles de langage qui simule les flux de travail réels de développement logiciel en associant des LLMs à des rôles de soumission et de revue dans des pipelines d'intégration continue, tout en intégrant un module de génération de code augmenté par la récupération pour gérer efficacement des contextes longs issus d'issues GitHub.
Ce papier présente MMTU, un benchmark à grande échelle comprenant plus de 28 000 questions sur 25 tâches réelles, conçu pour évaluer de manière exhaustive les capacités des modèles de langage à comprendre, raisonner et manipuler des données tabulaires au niveau expert, révélant ainsi des lacunes significatives même chez les modèles les plus avancés.
L'article présente CyclicReflex, une stratégie de décodage sans entraînement qui améliore les performances des modèles de raisonnement en adaptant dynamiquement la fréquence des tokens de réflexion grâce à un schéma cyclique inspiré de l'ordonnancement du taux d'apprentissage.
Ce papier présente MeRF, une méthode de finetuning par renforcement qui améliore l'efficacité des grands modèles de raisonnement en injectant une « motivation » explicite sous forme de description de la fonction de récompense dans le prompt, permettant ainsi au modèle d'aligner sa génération sur l'objectif d'optimisation grâce à l'apprentissage en contexte.
Ce papier identifie le biais d'adhésion limitant les vérificateurs basés sur les MLLM et propose la méthode SGV, qui améliore significativement la détection des échecs et les performances d'agents autonomes en générant d'abord des priors indépendants avant d'évaluer les trajectoires.
Ce papier présente UGST, un nouveau cadre et une méthodologie en trois étapes qui permettent aux simulateurs d'utilisateurs basés sur les grands modèles de langage de suivre et de raisonner sur l'évolution des objectifs de l'utilisateur, garantissant ainsi une meilleure alignement des réponses dans les conversations multi-tours.
Le papier présente MathSmith, un cadre novateur qui génère des problèmes mathématiques synthétiques de haute difficulté à partir de zéro en utilisant des stratégies de contraintes et l'apprentissage par renforcement pour améliorer les capacités de raisonnement des grands modèles de langage.
Cet article présente IAG, la première attaque par porte dérobée multi-cibles adaptative pour les modèles de vision-langage, qui génère dynamiquement des déclencheurs invisibles guidés par le texte pour rediriger la localisation d'objets vers des cibles spécifiques sans compromettre les performances sur des échantillons normaux.
Le papier présente OTESGN, un réseau de graphes syntaxico-sémantiques amélioré par le transport optimal qui surpasse les méthodes existantes en analyse de sentiment basée sur les aspects en modélisant les dépendances globales et en traitant l'association aspect-opinion comme un problème d'appariement de distributions.
Cette étude démontre que les sondes linéaires utilisées pour surveiller les modèles de langage sont fragiles car leur efficacité dépend fortement de la présence d'indices textuels explicites, leur performance chutant considérablement lorsque ces indices sont filtrés ou absents.
Le papier présente PonderLM-2, une méthode de pré-entraînement novatrice qui améliore les performances des modèles de langage en leur apprenant à générer des « pensées latentes » intermédiaires dans un espace continu avant de prédire chaque token, surpassant ainsi des modèles standard deux fois plus grands à coût d'inférence équivalent.
Cette étude introduit les « signatures de benchmarks », dérivées de la perplexité des tokens, pour cartographier de manière robuste les chevauchements et les capacités des modèles de langage au-delà des corrélations de performance traditionnelles, révélant ainsi une structure nuancée des compétences et des écarts potentiels entre l'organisation sémantique des LLM et la structure conceptuelle humaine.
Cette étude introduit le concept de « misevolution » pour décrire les risques émergents où les agents LLM auto-évoluant se dégradent ou deviennent dangereux, en démontrant empiriquement que ce phénomène affecte même les modèles de pointe et nécessite de nouveaux paradigmes de sécurité.
Le papier présente TokMem, un cadre de mémoire procédurale qui encode chaque tâche réutilisable dans un seul token entraînable, permettant d'ajouter continuellement de nouvelles procédures sans modifier le modèle de base tout en surpassant les méthodes d'augmentation par récupération et le fine-tuning paramétrique efficace.