1074 articles
Ce papier propose de remplacer la projection de sortie dense de l'attention par une transformée de Hadamard-Walch fixe et sans paramètres suivie d'une mise à l'échelle affine légère, réduisant ainsi significativement le nombre de paramètres et la consommation mémoire tout en maintenant, voire en améliorant, les performances et l'efficacité computationnelle des Transformers.
Cette étude évalue la capacité des modèles de langage à résoudre le problème du proviso en pragmatique, révélant qu'ils alignent leurs jugements sur ceux des humains mais reposent sur un appariement de motifs superficiel plutôt que sur un raisonnement sémantique ou pragmatique profond.
Ce chapitre examine comment les modèles computationnels auto-supervisés et ancrés dans le visuel permettent d'expliquer l'acquisition précoce du langage à partir de la parole et de l'input audiovisuel sans recourir à des prérequis linguistiques forts, en reliant ces simulations de plus en plus réalistes aux données empiriques sur le développement infantile.
Cette étude propose des transformateurs combinant une boucle adaptative par couche et des banques de mémoire gating, démontrant que cette architecture améliore le raisonnement mathématique et les tâches de bon sens tout en surpassant des modèles iso-FLOP trois fois plus profonds, grâce à une spécialisation des couches où les premières itèrent peu et accèdent rarement à la mémoire tandis que les dernières le font intensivement.
Ce papier présente QUORUM, un cadre d'évaluation unifiant les perspectives des utilisateurs, experts et développeurs, et COACH, un pipeline piloté par les LLM pour générer des conseils de mode de vie personnalisés pour les patients cancéreux, démontrant ainsi la nécessité d'une évaluation multi-parties prenantes pour des systèmes de santé fiables et centrés sur le patient.
Ce papier présente ToCoRL, un cadre d'apprentissage par renforcement qui exploite la plasticité comportementale intrinsèque des grands modèles de langage via la génération conditionnelle par tokens pour stabiliser des modes de réponse adaptatifs sans dégrader leurs capacités.
Le papier présente Sandpiper, un système mixte combinant tableaux de bord interactifs et moteurs d'IA pour permettre l'analyse qualitative à grande échelle de discours éducatifs tout en garantissant la confidentialité des données, la rigueur méthodologique et la fiabilité des modèles.
Cette étude remet en question la stabilité des préférences dans l'apprentissage par renforcement à partir de feedback humain (RLHF) en démontrant que les humains et les modèles de langage sont sujets à une « cécité de choix » masquant les manipulations, ce qui conduit à une dégradation des politiques d'IA non détectée par les métriques standards.
Cette proposition de recherche introduit une méthode permettant aux agents LLM d'intégrer nativement la récupération d'informations via une projection légère de leurs états cachés, éliminant ainsi le besoin d'un modèle d'encodage séparé tout en préservant 97 % de la qualité de récupération.
Ce papier présente VET-Bench, un test diagnostique révélant les limites des modèles vision-langage actuels dans le suivi d'entités visuellement identiques, et propose la méthode SGCoT qui, en générant des trajectoires explicites, permet d'atteindre une précision supérieure à 90 % sur cette tâche.
Cette étude de faisabilité prospective démontre qu'un système d'IA conversationnelle (AMIE) peut mener des entretiens cliniques en toute sécurité dans un cabinet de soins primaires, générant des diagnostics différentiels et des plans de prise en charge de qualité comparable à ceux des médecins, tout en étant bien accueilli par les patients et les cliniciens.
Cet article présente le premier ensemble de données librement accessible en anglais-suédois contrastant les traductions littérales (translationese) avec des alternatives idiomatiques, révélant que les modèles de langage tendent à privilégier les traductions littérales, un biais qui s'atténue partiellement lorsque la source est masquée.
LycheeCluster est une méthode novatrice de gestion de cache KV qui améliore l'inférence des grands modèles de langage sur des contextes longs en utilisant un découpage sensible aux limites et un index hiérarchique récursif pour réduire la complexité de recherche de logarithmique, offrant ainsi une accélération jusqu'à 3,6 fois avec une perte de performance négligeable.
Ce papier présente Fanar-Sadiq, une architecture multi-agents bilingue (arabe/anglais) conçue pour répondre aux questions islamiques en évitant les hallucinations grâce à un routage intelligent, une vérification rigoureuse des citations scripturaires et des calculateurs déterministes pour le droit islamique, le tout étant déjà accessible publiquement avec près de 1,9 million d'utilisations.
Le papier présente Drift2Act, un contrôleur qui transforme la surveillance de la dérive de distribution en prise de décision contrainte en combinant une couche de détection avec un certificat de risque en ligne pour déclencher automatiquement des interventions adaptatives ou des arrêts de sécurité tout en respectant les contraintes de coût et de latence.
Le papier présente OfficeQA Pro, un nouveau benchmark évaluant la capacité des agents IA à effectuer un raisonnement ancré sur un vaste corpus hétérogène de documents du Trésor américain, révélant que même les modèles de pointe peinent à atteindre une fiabilité suffisante pour des applications d'entreprise sans une représentation structurée avancée des documents.
Le papier présente CODA, une méthode qui optimise l'allocation dynamique des ressources de calcul en fonction de la difficulté des tâches pour réduire les coûts sur les problèmes simples tout en améliorant les performances sur les problèmes complexes, sans nécessiter d'annotations externes.
Cette étude analyse les limites théoriques et pratiques de l'apprentissage par renforcement non supervisé avec récompenses vérifiables (URLVR), révélant que les méthodes intrinsèques conduisent inévitablement à un effondrement du modèle lorsque la confiance initiale est mal alignée avec la justesse, tout en identifiant des pistes prometteuses via des récompenses externes basées sur l'asymétrie computationnelle.
L'article propose l'Agentic Critical Training (ACT), une méthode d'apprentissage par renforcement qui permet aux agents de développer un raisonnement autonome sur la qualité de leurs actions plutôt que d'imiter des réflexions préconçues, améliorant ainsi significativement leurs performances et leur capacité de généralisation.
Cette étude démontre que ChatGPT surpasse deux étudiants en médecine dans la réponse à des questions complexes en cardiologie et pathologies vasculaires, obtenant un score de 92,10 % contre 85,78 % et 82,63 % pour les étudiants, ce qui suggère son fort potentiel comme outil d'apprentissage médical.