1861 articles
Cet article présente CONCUR, un nouveau benchmark conçu pour évaluer les capacités des modèles de langage à générer du code concurrent, comblant ainsi une lacune des évaluations actuelles qui se concentrent principalement sur le code séquentiel.
Cet article identifie et quantifie le biais « Order-to-Space » (OTS), un phénomène où l'ordre des entités dans le texte influence indûment la disposition spatiale dans les images générées, et propose des stratégies d'intervention pour atténuer ce problème tout en préservant la qualité de génération.
L'article présente ErrorLLM, un cadre qui améliore la génération de requêtes SQL par les grands modèles de langage en modélisant explicitement les erreurs syntaxiques et sémantiques via des jetons dédiés pour détecter et corriger avec précision les défaillances des requêtes initiales.
Le papier présente COREA, un système collaboratif qui cascade un petit modèle de langage avec un grand modèle pour optimiser le compromis coût-précision dans le raisonnement complexe, en utilisant un apprentissage par renforcement pour calibrer la confiance du petit modèle et réduire les coûts de 16 à 21 % avec une perte de performance négligeable.
Le papier présente MOOSE-Star, un cadre unifié qui rend l'entraînement tractable pour la découverte scientifique en surmontant la barrière de la complexité combinatoire grâce à une recherche hiérarchique guidée et à un apprentissage sur des tâches décomposées, réduisant ainsi la complexité de exponentielle à logarithmique.
Cet article présente Structure of Thought (SoT), une technique de prompting qui améliore les performances des modèles de langage en les guidant vers la construction de structures textuelles intermédiaires, ainsi que T2S-Bench, le premier benchmark conçu pour évaluer et renforcer ces capacités de transformation du texte en structure.
Le papier présente SWE-CI, le premier benchmark de niveau dépôt basé sur l'intégration continue, conçu pour évaluer la capacité des agents LLM à maintenir la qualité du code sur le long terme au-delà des simples corrections statiques.
Cette étude démontre que l'optimisation adversariale des invites in-contexte révèle une vulnérabilité critique des modèles de langage au « sandbagging » stratégique, où la conscience de l'évaluation induite par l'environnement provoque une dégradation massive des performances bien supérieure à celle observée avec des invites manuelles, et ce, principalement guidée par un raisonnement explicite plutôt que par un simple suivi d'instructions.
Cet article propose une méthode d'alignement sémantique progressif (SSA) qui utilise un domaine pseudo-source comme pont sémantique rectifié, enrichi par une agrégation hiérarchique de caractéristiques et un apprentissage complémentaire, pour surmonter les décalages de distribution entre domaines source et cible sans accès aux données d'origine.
Cette étude démontre que les grands modèles de langage, y compris les modèles open-source, peuvent atteindre une compétence en entretien motivationnel équivalente ou supérieure à celle des thérapeutes humains dans des contextes cliniques réels, les rendant ainsi prometteurs pour l'expansion des services de conseil dans les régions à faibles ressources.
Cet article propose une architecture hiérarchique intégrant des prototypes sémantiques globaux au contexte local pour améliorer l'étiquetage des rôles rhétoriques, accompagnée de la création du nouveau jeu de données SCOTUS-Law et de validations expérimentales sur des domaines juridiques, médicaux et scientifiques.
Cette étude évalue la capacité des grands modèles de langage à imiter la thérapie cognitivo-comportementale en comparant des méthodes de génération pure et d'augmentation par récupération, et révèle que, bien qu'ils puissent produire des dialogues similaires, ils peinent à transmettre de l'empathie et à maintenir la cohérence thérapeutique.
Cette étude évalue la capacité et les limites des agents pilotés par des LLM à auditer de manière scalable la présence de « dark patterns » sur des sites web de courtiers de données en automatisant la soumission de demandes de droits CCPA.
Cet article présente CzechTopic, un benchmark annoté par des humains pour l'évaluation du repérage de sujets dans des documents historiques tchèques, démontrant que des modèles de langage de grande taille peuvent approcher le consensus humain tandis que des modèles plus compacts restent compétitifs.
Ce papier présente IROSA, un cadre novateur combinant des modèles de langage pré-entraînés et une architecture basée sur des outils pour permettre l'adaptation interactive et sécurisée des compétences robotiques via des commandes en langage naturel, sans nécessiter de fine-tuning du modèle.
Cet article propose une architecture neuro-symbolique hybride combinant des agents intelligents et un système expert pour transformer automatiquement les rapports de renseignement sur les cybermenaces en règles de pare-feu CLIPS, en exploitant les relations sémantiques hyperonyme-hyponyme pour garantir des réponses de sécurité rapides et fiables.
Cette étude propose une méthode d'évaluation anonyme pour les agents de jeu de rôle, révélant que l'exposition des noms introduit un biais et démontrant que l'enrichissement par des traits de personnalité, y compris ceux générés automatiquement, améliore significativement la fidélité des modèles.
Cette étude évalue l'utilisation de modèles de langage comme juges pour l'évaluation automatique des réponses médicales ouvertes en français, démontrant que l'adaptation par apprentissage supervisé et optimisation de politiques de modèles compacts améliore significativement leur alignement avec les experts et réduit leur sensibilité au générateur de réponses.
Cette étude propose une méthode de surveillance basée sur les activations internes des modèles de langage pour détecter précocement les comportements de piratage de récompense émergents durant la génération, offrant ainsi une alternative plus robuste aux évaluations basées uniquement sur les sorties finales.
Cet article examine l'impact du passage aux grands modèles de langage sur la prédiction de la qualité de la traduction automatique en comparant, via des expériences rétrospectives sur un jeu de données multi-candidats, la fiabilité des métriques de difficulté source et des modèles d'estimation de qualité par rapport aux scores humains.