1059 articles
Le papier présente PonderLM-3, un cadre d'apprentissage pré-entraîné qui permet une allocation adaptative et différentiable du calcul supplémentaire au niveau de chaque token, optimisant ainsi l'efficacité de l'inférence tout en maintenant la cohérence entre l'entraînement et l'inférence.
Cette étude empirique cartographie les interactions entre les modèles de langage et les stratégies d'incitation pour la génération de code Verilog, en évaluant l'impact de diverses techniques de prompt engineering sur des modèles de tailles et de spécialisations variées.
Cet article présente un pipeline auto-hébergé et sans API qui convertit des supports de cours en quiz à choix multiples grâce à un modèle de langage local, en garantissant la qualité via des contrôles déterministes et en favorisant la confidentialité, la redevabilité et l'efficacité énergétique.
Ce rapport technique présente Fish Audio S2, un système de synthèse vocale open-source capable de suivre des instructions en langage naturel pour générer de la parole multi-parleurs et multi-tours, accompagné d'un moteur d'inférence optimisé pour la production.
Le papier présente MASEval, une bibliothèque agnostique qui évalue les systèmes d'agents LLM dans leur ensemble en démontrant que le choix du framework impacte la performance autant que celui du modèle, comblant ainsi le vide des benchmarks centrés uniquement sur les modèles.
En exploitant le digraphisme serbe comme banc d'essai contrôlé, cette étude démontre que les caractéristiques apprises par les auto-encodeurs épars (SAE) dans les modèles Gemma capturent le sens abstrait plutôt que la forme orthographique, car elles restent invariantes face au changement d'écriture (latin ou cyrillique) malgré une tokenisation totalement différente.
Ce papier présente MultiGraSCCo, un benchmark multilingue d'anonymisation dans dix langues contenant plus de 2 500 annotations d'identifiants personnels, généré via une méthode de traduction neuronale adaptée culturellement pour faciliter le développement et l'évaluation de systèmes de protection des données médicales.
Cette étude évalue une stratégie de criblage sans étiquette pour les électrocatalyseurs à base de solutions solides complexes, démontrant que des embeddings de composition dérivés de textes scientifiques, notamment via un modèle Word2Vec léger, permettent de réduire efficacement l'espace des candidats tout en préservant les performances mesurées.
Ce papier présente ConFu, un cadre de décodage spéculatif innovant qui améliore l'inférence des grands modèles de langage en permettant aux modèles de brouillon d'anticiper la direction future de la génération grâce à des tokens de contemplation et des prompts souples, surpassant ainsi les performances de la série EAGLE-3.
Le papier présente SciTaRC, un benchmark expert de questions sur des données tabulaires scientifiques exigeant à la fois un raisonnement linguistique approfondi et des calculs complexes, révélant que les modèles d'IA actuels échouent massivement en raison d'un goulot d'étranglement universel lié à l'exécution fidèle des plans.
Le papier présente PathoScribe, un cadre unifié piloté par un grand modèle de langage (LLM) qui transforme les archives de pathologie statiques en une bibliothèque vivante et intelligente, permettant la recherche sémantique, la construction automatisée de cohortes et l'aide au diagnostic clinique avec une précision et une efficacité supérieures aux méthodes traditionnelles.
Le papier présente VoxEmo, un benchmark complet pour l'évaluation des modèles de langage audio dans la reconnaissance des émotions, qui propose un protocole d'étiquetage souple et des stratégies d'ensemble pour mieux capturer l'ambiguïté inhérente aux émotions humaines et la subjectivité des annotations.
Le papier présente BiCLIP, un cadre simple et efficace qui améliore l'adaptation de domaine des modèles vision-langage en appliquant une transformation géométrique structurée aux caractéristiques multimodales, permettant d'atteindre des performances de pointe sur plusieurs benchmarks avec un nombre minimal de paramètres.
Ce papier présente Guardian, un système end-to-end coordonnant plusieurs modèles de langage spécialisés et un moteur de consensus pour extraire et traiter intelligemment les informations lors des premières heures critiques d'une enquête sur une personne disparue, tout en garantissant une approche auditable et conservatrice.
Cet article présente un cadre automatisé d'analyse thématique pour les données qualitatives cliniques qui combine un raffinement itératif du codebook avec un suivi complet de la provenance, démontrant des performances supérieures et une meilleure alignement avec les thèmes d'experts par rapport aux approches existantes.
Cet article propose un cadre de décision conscient de la confiance qui analyse une seule trajectoire de raisonnement pour sélectionner dynamiquement entre un chemin unique ou multiple, permettant de réduire les coûts d'inférence de jusqu'à 80 % tout en maintenant une précision comparable aux méthodes de cohérence auto-évaluée sur plusieurs trajectoires.
L'agent autonome Sentinel, doté d'une capacité de raisonnement multi-étapes, surpasse les cliniciens individuels en sensibilité pour le triage des données de surveillance à distance des patients, offrant ainsi une solution évolutive et rentable pour transformer des volumes massifs de données en alertes cliniques fiables.
Ce papier présente l'attention exclusive (XSA), une modification simple de l'attention auto-attentive qui améliore la modélisation de séquence des Transformers en restreignant l'attention aux informations orthogonales à la propre valeur du token, surpassant ainsi les performances standards sur des tâches de modélisation du langage.
Cette étude diagnostique le « fossé de modalité » qui réduit les performances des modèles multimodaux lors du traitement de texte en images, identifie les causes de cette dégradation comme des erreurs de lecture amplifiées par le rendu visuel, et propose une méthode d'auto-distillation efficace pour combler cet écart sans oublier les connaissances antérieures.
Cette étude présente Bioalignment, un cadre d'évaluation révélant que les grands modèles de langage privilégient les solutions synthétiques aux approches biologiques, et démontre qu'un fine-tuning ciblé sur un corpus scientifique peut corriger ce biais sans altérer leurs capacités générales.