2315 articles
Ce papier propose FGO, un algorithme d'apprentissage par renforcement qui améliore l'efficacité de l'utilisation des données et prévient l'effondrement de l'entropie pour compresser les chaînes de pensée des grands modèles de langage sans dégrader leurs performances.
Le papier présente GOT-JEPA, un cadre de pré-entraînement par prédiction de modèles qui améliore la généralisation et la gestion des occlusions dans le suivi d'objets génériques, complété par OccuSolver pour affiner l'estimation de la visibilité et la capture des motifs d'occlusion.
Le papier présente LexiSafe, un cadre d'apprentissage par renforcement hors ligne qui intègre une hiérarchie lexicographique pour garantir la sécurité et améliorer les performances dans les systèmes cyber-physiques, tout en offrant des garanties théoriques de complexité d'échantillonnage.
Ce papier présente ZACH-ViT, un Vision Transformer compact sans embeddings de position ni token [CLS] qui, grâce à un traitement invariant par permutation, démontre des performances compétitives en imagerie médicale à faible échantillonnage en adaptant son biais inductif à la structure spatiale des données.
En proposant de nouveaux benchmarks rigoureux basés sur des problèmes aléatoires d'un point de vue de la physique statistique, cette étude démontre que les algorithmes classiques surpassent encore les réseaux de neurones graphiques pour résoudre les problèmes de satisfaction de contraintes difficiles, tout en mettant en lumière les défis persistants pour ces derniers.
Cette étude démontre que des analystes IA autonomes peuvent reproduire à grande échelle la diversité analytique observée chez les humains, révélant ainsi une incertitude méthodologique significative et plaidant pour une nouvelle norme de transparence exigeant la divulgation des prompts et l'utilisation de rapports de type « multivers » pour les analyses générées par l'IA.
Cet article propose une méthode d'interrogation active pour apprendre des fonctions d'ensemble sous-additives en minimisant l'erreur additive entre leurs complétions minimales et maximales, afin de réduire l'ambiguïté liée aux valeurs manquantes dans des applications économiques et d'intelligence artificielle.
Cette étude démontre que les modèles de langage comme OPT peuvent développer des biais erronés précoces et persistants sur le benchmark BLiMP, suggérant que des statistiques de bigrammes trompeuses au début de l'entraînement conduisent à un enracinement difficile à corriger des erreurs de catégorisation grammaticale.
Ce papier présente CARE, un cadre agentique qui améliore la responsabilité clinique dans le raisonnement médical multimodal en décomposant la tâche en modules spécialisés pour générer des preuves visuelles explicites et en utilisant un apprentissage par renforcement pour aligner les réponses sur ces preuves.
Cet article propose CFG-Ctrl, un cadre unifié réinterprétant la guidance sans classeur (CFG) comme un contrôle, et introduit une variante à mode glissant (SMC-CFG) qui améliore la stabilité et l'alignement sémantique des modèles de diffusion en corrigeant les défauts des méthodes linéaires actuelles.
Cette étude présente la première évaluation complète du fine-tuning efficace en paramètres (PEFT) pour l'analyse de code multi-tâches, démontrant qu'un module PEFT partagé peut égaler ou surpasser le fine-tuning complet tout en réduisant considérablement les coûts de calcul et de stockage, et en surpassant les modèles de langage généralistes même avec des paramètres limités.
Cet article propose une méthode d'oubli ciblé pour les grands modèles de langage (LLM) appelée TRU, qui utilise des objectifs de raisonnement pour éliminer de manière fiable et explicable des connaissances indésirables tout en préservant les capacités générales du modèle.
Ce papier présente MoE-SpAc, un cadre d'inférence pour les modèles MoE sur des périphériques hétérogènes qui réutilise le décodage spéculatif comme capteur prédictif pour optimiser la gestion de la mémoire et l'équilibrage de charge, permettant ainsi d'atteindre des gains de vitesse significatifs par rapport aux méthodes existantes.
Ce papier propose un cadre innovant qui optimise la transformation de caractéristiques pilotée par les grands modèles de langage en faisant évoluer dynamiquement un bibliothèque d'expériences de trajectoires validées, surpassant ainsi les méthodes existantes en termes de diversité, d'efficacité et de performance sur des tâches prédictives tabulaires.
Ce papier présente TAMUSA-Chat, un cadre de recherche permettant aux institutions académiques de développer des systèmes conversationnels adaptés à leur domaine grâce à l'affinage supervisé et à la génération augmentée par récupération, tout en garantissant la transparence, la conformité et des pratiques responsables en matière d'IA.
Cette étude évalue la robustesse et la sécurité pédagogique des grands modèles de langage hors ligne pour l'enseignement de la langue turque, révélant que les modèles orientés vers le raisonnement de 8 à 14 milliards de paramètres offrent le meilleur compromis entre coût et sécurité, indépendamment de l'échelle du modèle.
Cette étude propose des fondements théoriques expliquant comment les grands modèles de langage décodent la sémantique des prompts, améliorent leurs performances par l'apprentissage en contexte et décomposent les problèmes complexes via le raisonnement en chaîne de pensée, en démontrant que ces mécanismes reposent sur l'inférence exacte des probabilités de transition et la réduction de l'ambiguïté.
Ce papier présente la création de la base de données LatamQA, un ensemble de plus de 26 000 questions à choix multiples en espagnol et portugais dérivé de Wikidata et de Wikipédia, utilisé pour révéler les biais socioculturels et géographiques des grands modèles de langage envers les pays d'Amérique latine par rapport à l'Espagne.
Ce papier présente SpreadsheetArena, une plateforme d'évaluation par comparaison aveugle conçue pour analyser les performances des modèles de langage dans la génération de classeurs Excel, révélant que les préférences varient considérablement selon les cas d'usage et que les modèles actuels peinent encore à respecter systématiquement les meilleures pratiques de domaine.
Cet article démontre que les détecteurs de mensonges basés sur des sondes de vérité échouent à identifier la tromperie des grands modèles de langage lorsqu'elle ne repose pas sur des affirmations factuellement fausses, révélant ainsi une limite critique des approches mécanistes actuelles.