1931 articles
Cet article propose le processus récursif R-TAP, qui améliore la précision et l'efficacité des modèles de langage et de vision en intégrant un générateur de confiance pour des cycles de raisonnement itératifs, réduisant ainsi les erreurs et les expressions d'auto-réflexion par rapport aux approches en passage unique.
Cet article présente un modèle de substitut capable de préserver simultanément la distribution de fréquence des symboles (loi de Zipf) et la structure de corrélation à long terme des séquences symboliques, telles que le langage écrit et l'ADN, en mappant un bruit gaussien fractionnaire sur l'histogramme empirique.
Cette étude démontre que l'évolution durable des modèles de langage par auto-jeu nécessite un pipeline d'auto-synthèse garantissant un gain d'information apprenable croissant, obtenu grâce à une co-évolution asymétrique, une croissance des capacités et une recherche proactive d'informations.
Ce papier démontre que l'apprentissage de portes d'attention parcimonieuses est inefficace car les projections Q/K/V s'adaptent au masquage imposé, un phénomène de « routage absorbé » qui rend les portes aléatoires aussi performantes que les portes apprises et favorise ainsi les approches post-hoc.
Cette étude révèle que, contrairement aux attentes, l'entraînement à la sécurité persiste lors d'un optimisation ultérieure de l'utilité chez les agents LLM, et que toutes les configurations d'entraînement convergent vers une frontière de Pareto linéaire sans parvenir à une stratégie optimale combinant les deux objectifs.
Le papier présente HELIOS, un modèle innovant qui améliore la récupération table-texte en harmonisant la fusion précoce et tardive avec le raisonnement des LLM pour surmonter les limites des approches existantes et atteindre des performances record sur le benchmark OTT-QA.
En analysant la géométrie des représentations du modèle de traduction NLLB-200, cette étude démontre que celui-ci a appris à la fois la structure généalogique des langues et des associations conceptuelles universelles, révélant ainsi une organisation sémantique neutre par rapport à la langue qui rappelle les hubs neuronaux du cerveau humain.
Cette étude propose un cadre théorique et empirique unifié démontrant que, bien que les modèles de diffusion linguistiques (DLM) voient leur risque d'extraction de données d'entraînement augmenter avec la résolution d'échantillonnage, ils présentent globalement une fuite d'informations personnellement identifiables (PII) nettement inférieure à celle des modèles de langage autoregressifs (ARM).
Ce papier présente RO-N3WS, un nouveau jeu de données de parole roumaine diversifié conçu pour améliorer la généralisation des systèmes de reconnaissance automatique de la parole dans des conditions à ressources limitées, démontrant que même un ajustement fin limité sur ces données réelles entraîne des réductions significatives du taux d'erreur de mots par rapport aux modèles de base en zéro-shot.
Cette étude propose un modèle de graphe orienté et un cadre expérimental utilisant des textes synthétiques générés par LLM pour évaluer la visualisation temporelle de discours textuels, révélant que l'interprétation des motifs relationnels par les utilisateurs est complexe et suggérant la nécessité d'approches de visualisation plus adaptatives plutôt que standardisées.
Le papier présente GLoRIA, un cadre d'adaptation efficace et interprétable pour la reconnaissance automatique de la parole dialectale qui utilise des métadonnées géographiques pour moduler des mises à jour de faible rang, surpassant ainsi les méthodes existantes en termes de précision et d'efficacité des paramètres.
Le papier présente MUSE, une plateforme open-source centrée sur les exécutions qui évalue de manière unifiée la sécurité multimodale des grands modèles de langage en intégrant la génération automatique de charges utiles, des attaques multi-tours avec basculement inter-tours de modalités, et une métrique dualiste pour révéler que l'alignement des modèles ne se généralise pas systématiquement aux entrées audio, image et vidéo.
Le papier propose CoDAR, un cadre à deux étapes qui surmonte la limitation du « token rounding » dans les modèles de diffusion continus en combinant une diffusion continue dans l'espace d'embeddings avec un décodeur auto-régressif contextuel, permettant ainsi d'atteindre une qualité de génération compétitive par rapport aux modèles discrets.
Ce papier propose VC-STaR, un cadre d'auto-amélioration pour les modèles vision-langage qui exploite des paires de questions visuelles contrastives pour atténuer les hallucinations et générer le nouveau jeu de données VisCoR-55K, améliorant ainsi significativement les capacités de raisonnement visuel des modèles.
FlashEvaluator est une nouvelle architecture d'évaluation qui améliore l'efficacité et la précision des systèmes générateur-évaluateur en permettant le partage d'informations entre séquences au sein d'une seule passe avant, réduisant ainsi la complexité computationnelle et ayant déjà généré des gains de revenus significatifs lors de son déploiement sur la plateforme Kuaishou.
Cet article présente SteerEval, une nouvelle évaluation hiérarchique qui révèle que le contrôle des grands modèles de langage se dégrade souvent à des niveaux de granularité plus fins, tout en offrant un cadre unifié pour évaluer la maîtrise du comportement des modèles à travers trois domaines et trois niveaux de spécification.
Le papier présente ExpGuard, un modèle de modération de contenu spécialisé et son jeu de données associé ExpGuardMix, conçus pour protéger les grands modèles de langage dans les domaines financier, médical et juridique contre les attaques adverses, surpassant ainsi les solutions actuelles comme WildGuard.
Ce papier présente GPUTOK, un tokeniseur BPE au niveau des bytes accéléré par GPU qui, tout en garantissant une qualité de sortie équivalente aux solutions CPU, offre une accélération significative (jusqu'à 7,6 fois) pour le traitement de longs contextes textuels.
Cette étude montre que l'extension de la profondeur de récursivité dans les modèles de langage récursifs (RLM) entraîne un phénomène de « surréflexion » qui, bien qu'améliorant les performances sur des tâches complexes en profondeur 1, dégrade paradoxalement les résultats sur des tâches simples tout en augmentant exponentiellement le temps d'exécution et les coûts.
StitchCUDA est un cadre de programmation GPU automatisé basé sur des agents multiples et un apprentissage par renforcement guidé par des rubriques, qui génère des programmes CUDA complets avec une efficacité et une fiabilité supérieures aux méthodes existantes.