2089 articles
L'article présente EnsembleLink, une méthode de liaison de données précise qui exploite les modèles de langage pré-entraînés pour atteindre des performances élevées sans nécessiter de données d'entraînement étiquetées.
Cet article présente « Learn-to-Distance », une nouvelle méthode de détection de textes générés par des modèles de langage (LLM) qui utilise une approche géométrique pour apprendre adaptivement la distance entre un texte original et sa version réécrite, surpassant ainsi les algorithmes de base existants.
Cette étude propose une architecture de classification de textes cliniques basée sur un modèle GPT pré-entraîné et adapté via un fine-tuning sélectif, démontrant ainsi une méthode efficace et économe en ressources pour l'analyse de notes médicales non structurées, en particulier sur des données de rapports de radiologie.
Cet article présente MANBENCH, un nouveau benchmark conçu pour étudier et atténuer l'effet Mandela dans les systèmes multi-agents basés sur les grands modèles de langage, en identifiant ses causes et en proposant des stratégies de défense qui réduisent ce biais de 74,40 %.
Ce papier présente OOMB, un système d'entraînement économe en mémoire pour les grands modèles de langage qui permet de gérer des contextes de plusieurs millions de tokens sur une seule carte graphique grâce à une architecture de récurrentité par blocs, une recomputation dynamique des activations et une gestion optimisée du cache KV.
Ce papier présente le benchmark VDR-Bench, conçu pour évaluer de manière plus réaliste les capacités de recherche visuelle et textuelle des modèles de langage multimodaux en surmontant les limites des benchmarks existants, tout en proposant une méthode de recherche par recadrage itératif pour améliorer leurs performances.
Ce papier présente WAXAL, un corpus de parole multilingue à grande échelle et open source couvrant 24 langues africaines avec des données pour la reconnaissance et la synthèse vocale, conçu pour réduire la fracture numérique et favoriser le développement de technologies inclusives.
FASA est un cadre innovant qui résout le goulot d'étranglement de la mémoire des modèles de langage à contexte long en exploitant la parcimonie fonctionnelle au niveau des chunks de fréquence (FC) pour éliminer dynamiquement et efficacement les tokens non essentiels, atteignant ainsi des performances quasi-oracles avec une réduction significative de l'empreinte mémoire.
Ce papier présente URSA-GAN, un cadre génératif unifié qui utilise une architecture à double encodage et une perturbation stochastique dynamique pour adapter robustement la reconnaissance et l'amélioration de la parole à des conditions de bruit et de canal inconnues, réduisant ainsi significativement les erreurs et améliorant les métriques perceptuelles.
Cette étude examine les représentations des personnes handicapées dans les modèles de génération d'images comme Stable Diffusion XL et DALL-E 3, révélant des déséquilibres persistants et soulignant la nécessité d'évaluations continues pour promouvoir des portrayals plus inclusifs.
Ce papier propose KPO, une méthode d'optimisation de politique stable et efficace pour les grands modèles de langage qui utilise un filtrage de Kalman causal en ligne pour lisser les ratios d'importance sampling et corriger les déviations hors politique locales, surpassant ainsi les méthodes actuelles sur des tâches de raisonnement mathématique.
Ce papier présente MiniCPM-SALA, une architecture hybride de 9 milliards de paramètres combinant l'attention sparse et linéaire pour permettre un traitement efficace de contextes ultra-long jusqu'à 1 million de tokens tout en réduisant les coûts d'entraînement de 75 % par rapport à un entraînement à partir de zéro.
Cette étude évalue les formats HiFloat (HiF8 et HiF4) sur les NPU Ascend pour l'inférence de grands modèles de langage, démontrant leur supériorité dans la gestion des données à forte variance et leur capacité à éviter l'effondrement de la précision en 4 bits par rapport aux formats entiers, tout en restant compatibles avec les cadres de quantification actuels.
Cette étude démontre que les grands modèles de langage ne sont pas encore prêts à remplacer les annotateurs humains pour la détection de discours haineux en bengali, révélant des biais significatifs et une instabilité des jugements qui ne s'améliorent pas nécessairement avec l'échelle du modèle.
Cette étude révèle que les grands modèles de langage souffrent d'une « cécité algorithmique » fondamentale, échouant systématiquement à raisonner correctement sur les processus computationnels malgré leurs vastes connaissances déclaratives.
Cet article introduit et analyse le concept mathématique inédit de « ensembles de niveaux dynamiques », qui repose sur le principe d'automodification pour expliquer comment un processus physique incomputable peut reconfigurer un ensemble logique invariant à chaque étape, élargissant ainsi la portée de la théorie de la calculabilité au-delà des résultats classiques sur les machines de Turing probabilistes.
Cet article présente une méthode rentable de détection de mots deepfake qui consiste à affiner le modèle Whisper pour identifier les mots synthétiques lors de la transcription par prédiction de jeton suivant, en utilisant des données partiellement vocodées pour réduire les coûts de collecte, tout en démontrant des performances compétitives sur des données in-domaine et un potentiel de généralisation à améliorer sur des données out-of-domaine.
Cette étude propose une architecture de post-traitement itérative basée sur un LLM (Qwen3-Next-80B) qui alterne la reconnaissance des locuteurs et des mots pour améliorer significativement la précision de la transcription et du diarisation des conversations cliniques françaises, réduisant les erreurs de diarisation tout en restant viable pour un déploiement hors ligne.
Cet article présente LIDS, une nouvelle méthode d'inférence de résumés par les grands modèles de langage qui combine une métrique de direction basée sur la SVD de BERT et l'algorithme SOFARI pour évaluer avec précision et interprétabilité la qualité des résumés tout en contrôlant le taux de fausses découvertes.
Ce papier présente FeynTune, une série de modèles de langage spécialisés en physique théorique des hautes énergies, obtenus par affinage de Llama-3.1 sur des résumés d'arXiv, qui surpassent le modèle de base et les grands modèles commerciaux sur des tâches de complétion de résumés dans ce domaine.