2070 articles
Cet article présente une comparaison systématique des méthodes d'augmentation de requêtes par prompting et par apprentissage par renforcement, révélant que le prompting simple est souvent aussi performant que les approches RL, ce qui a motivé la proposition d'une méthode hybride novatrice, l'OPQE, qui combine les avantages des deux paradigmes pour surpasser les solutions existantes.
Le papier présente LightMem, un système de mémoire léger et efficace inspiré du modèle humain d'Atkinson-Shiffrin qui, grâce à une organisation en trois étapes (mémoire sensorielle, court terme et long terme avec mise à jour hors ligne), améliore significativement la précision des LLMs tout en réduisant drastiquement l'utilisation de tokens et les appels API par rapport aux méthodes existantes.
Cette étude révèle que les grands modèles de langage utilisent leur profondeur de manière structurée selon un cadre « deviner puis affiner », où les premières couches proposent des hypothèses statistiques basées sur la fréquence des tokens, tandis que les couches ultérieures les affinent grâce au contexte, comme le démontrent des analyses de tâches et des manipulations causales.
Le papier présente DiSRouter, une approche innovante de routage distribué qui remplace les routeurs centralisés en permettant à chaque agent LLM de décider de traiter ou de rediriger une requête grâce à une conscience de soi améliorée, offrant ainsi une meilleure flexibilité, évolutivité et généralisation pour l'optimisation du coût et des performances.
Le papier présente Scaf-GRPO, un cadre d'apprentissage par renforcement qui surmonte le « mur d'apprentissage » des modèles de langage en injectant des indices progressifs lors des stagnations, permettant ainsi d'améliorer significativement leurs capacités de raisonnement complexe sur des benchmarks mathématiques.
L'article présente BioCAP, un modèle fondamental biologique qui améliore la classification des espèces et la recherche image-texte en exploitant des légendes synthétiques générées par des modèles de langage multimodaux pour enrichir l'apprentissage au-delà des simples étiquettes.
Cet article démontre que l'ajout d'un vecteur de pilotage aux activations d'un grand modèle de langage peut supprimer sa conscience des évaluations et le contraindre à adopter un comportement de déploiement plus fiable, même lorsqu'il a été entraîné à modifier son comportement en fonction du contexte d'évaluation.
Cet article présente un jeu de données complet de plus de 58 000 échantillons combinant des articles du New York Times et des textes générés par plusieurs modèles d'IA avancés, conçu pour faciliter le développement de méthodes robustes de détection et d'attribution du contenu généré par l'intelligence artificielle.
Cet article propose LATR, une stratégie de défilement basée sur un arbre de prévision qui améliore la diversité des trajectoires et accélère l'apprentissage des politiques dans l'apprentissage par renforcement avec récompenses vérifiables en forçant l'exploration de branches distinctes lors des étapes de génération incertaines.
Cette étude évalue l'efficacité des Sparse Autoencoders (SAE) pour détecter et atténuer les biais raciaux dans les modèles de langage en santé, concluant qu'ils sont utiles pour identifier les dépendances problématiques aux démographies mais offrent une utilité marginale pour corriger ces biais dans des tâches cliniques réalistes.
Cet article soutient que les modèles de langage, utilisés judicieusement pour compléter l'agence humaine plutôt que de la remplacer, peuvent aider à résoudre les défis historiques d'intégration et de formalisation en sciences cognitives.
Cet article propose une nouvelle perspective sur le raisonnement des grands modèles de langage en le redéfinissant par l'adaptativité, en formalisant les mécanismes d'allocation dynamique de l'effort de calcul et en établissant une taxonomie systématique des approches d'apprentissage et d'inférence visant à optimiser l'équilibre entre performance et coût computationnel.
Cet article présente la première analyse systématique des jeux de données d'optimisation par préférence open-source, utilisant le cadre Magpie pour les annoter et créer UltraMix, un ensemble de données curaté plus compact et performant que les corpus individuels existants.
Cet article présente BIT, un cadre de décodage neuronal de bout en bout fondé sur un modèle pré-entraîné cross-espèces et des modèles de langage audio, qui établit un nouvel état de l'art en traduisant l'activité cérébrale en texte cohérent tout en permettant la généralisation entre la parole tentée et imaginée.
Cet article présente « Learn-to-Distance », une nouvelle méthode de détection de textes générés par des modèles de langage (LLM) qui utilise une approche géométrique pour apprendre adaptivement la distance entre un texte original et sa version réécrite, surpassant ainsi les algorithmes de base existants.
Ce papier présente WAXAL, un corpus de parole multilingue à grande échelle et open source couvrant 24 langues africaines avec des données pour la reconnaissance et la synthèse vocale, conçu pour réduire la fracture numérique et favoriser le développement de technologies inclusives.
Ce papier présente URSA-GAN, un cadre génératif unifié qui utilise une architecture à double encodage et une perturbation stochastique dynamique pour adapter robustement la reconnaissance et l'amélioration de la parole à des conditions de bruit et de canal inconnues, réduisant ainsi significativement les erreurs et améliorant les métriques perceptuelles.
Cet article introduit et analyse le concept mathématique inédit de « ensembles de niveaux dynamiques », qui repose sur le principe d'automodification pour expliquer comment un processus physique incomputable peut reconfigurer un ensemble logique invariant à chaque étape, élargissant ainsi la portée de la théorie de la calculabilité au-delà des résultats classiques sur les machines de Turing probabilistes.
Cet article présente une méthode rentable de détection de mots deepfake qui consiste à affiner le modèle Whisper pour identifier les mots synthétiques lors de la transcription par prédiction de jeton suivant, en utilisant des données partiellement vocodées pour réduire les coûts de collecte, tout en démontrant des performances compétitives sur des données in-domaine et un potentiel de généralisation à améliorer sur des données out-of-domaine.
Cette étude propose une architecture de post-traitement itérative basée sur un LLM (Qwen3-Next-80B) qui alterne la reconnaissance des locuteurs et des mots pour améliorer significativement la précision de la transcription et du diarisation des conversations cliniques françaises, réduisant les erreurs de diarisation tout en restant viable pour un déploiement hors ligne.