1071 articles
Le papier présente LatentMem, un cadre de mémoire multi-agent apprenable qui surmonte l'homogénéisation et la surcharge d'informations grâce à une composition de mémoires latentes spécifiques aux agents et à une optimisation par politique (LMPO), permettant d'obtenir des performances supérieures sans modifier les systèmes existants.
Cette étude démontre que les métriques spectrales extraites des réseaux de exigences textuels prédisent avec une grande précision l'effort d'intégration, surpassant ainsi les métriques structurelles simples et comblant un vide méthodologique entre l'analyse de complexité architecturale et l'ingénierie des exigences.
Ce papier propose CoCoA, un algorithme de décodage sans réentraînement qui atténue les hallucinations des grands modèles de langage en pénalisant les sorties présentant une instabilité représentationnelle entre les couches internes, améliorant ainsi leur fiabilité factuelle.
Ce papier présente NeSyS, un cadre de synergie neuro-symbolique qui intègre les priors sémantiques probabilistes des grands modèles de langage avec des règles symboliques exécutables pour créer des modèles de monde interactifs à la fois expressifs et robustes, réduisant ainsi les hallucinations et les besoins en données de 50 % tout en surpassant les méthodes existantes.
Cette étude évalue cinq méthodes d'apprentissage pour réordonner des pages de documents administratifs néerlandais mélangés, révélant que les modèles spécialisés surpassent les approches séquentielles et l'apprentissage par curriculum, notamment pour les documents longs où les transformers séquentiels échouent à généraliser.
Cet article présente un cadre d'apprentissage automatique sans réponse qui exploite la structure sémantique des items de questionnaires psychologiques via l'analyse de sujets et le regroupement de plongements contextuels pour réduire efficacement la longueur des échelles tout en préservant leur validité psychométrique.
Cette étude propose des modèles d'apprentissage automatique interprétables pour évaluer le niveau de compétence linguistique en estonien (CEFR A2-C1) en utilisant des caractéristiques linguistiques sélectionnées, atteignant une précision d'environ 0,9 et démontrant une complexité accrue des textes d'apprenants sur une décennie.
Cette article propose une taxonomie géométrique des hallucinations des grands modèles de langage en trois types et introduit des indices de détection (SGI et DGI) basés sur l'analyse des déplacements dans l'espace d'incorporation, tout en révélant des limites méthodologiques dans la détection des erreurs factuelles dues à des confusions stylistiques.
Ce papier propose une hiérarchie à cinq niveaux de la capacité d'apprentissage fondée sur la structure de l'information pour expliquer pourquoi la génération de code progresse plus fiablement que l'apprentissage par renforcement, en démontrant que les limites du progrès en ML dépendent davantage de la nature apprenable d'une tâche que de la simple augmentation de la taille des modèles.
Ce papier présente XTF, un cadre de filtrage de bruit au niveau des tokens basé sur l'explicabilité qui améliore significativement les performances du fine-tuning des grands modèles de langage en décomposant et en masquant les contributions nuisibles des tokens selon trois attributs clés : l'importance du raisonnement, la nouveauté des connaissances et la pertinence de la tâche.
Le papier présente CogitoRAG, un cadre RAG inspiré de la mémoire épisodique humaine qui améliore la récupération et le raisonnement complexes en extrayant et en diffusant des idées directrices (gists) au sein d'un graphe de connaissances multidimensionnel.
Le papier présente EC-Net, un cadre de modèle d'hypergraphe hyperbolique qui utilise des embeddings dans un disque de Poincaré et un apprentissage contrastif pour améliorer la robustesse et la précision de la compréhension des émotions multimodales, en particulier dans des conditions de bruit ou de données partielles.
Ce papier présente ModalImmune, un cadre d'entraînement qui renforce la robustesse des systèmes multimodaux face à la perte ou la corruption de canaux d'entrée en apprenant intentionnellement à s'adapter à la destruction sélective d'informations modales grâce à des mécanismes de régularisation et d'adaptation automatique.
Ce papier présente CondMedQA, le premier benchmark pour le raisonnement conditionnel en réponse aux questions biomédicales, ainsi que le cadre CGR qui améliore la précision des réponses médicales en adaptant dynamiquement les chemins de raisonnement aux conditions spécifiques du patient.
Le papier présente MrBERT, une famille d'encodeurs multilingues modernes optimisés pour des tâches spécifiques en catalan et en espagnol ainsi que pour des domaines spécialisés comme le juridique et le biomédical, tout en intégrant l'apprentissage de représentations matryoshka pour réduire les coûts d'inférence et de stockage.
Le papier présente CeRA, une méthode d'adaptation à faible rang qui surpasse les limites linéaires de LoRA en utilisant des portées SiLU et un dropout structurel pour étendre le manifold et activer la queue du spectre des valeurs singulières, permettant ainsi d'atteindre de meilleures performances de raisonnement avec des rangs bien inférieurs.
KVSlimmer est une méthode d'optimisation du cache KV qui, en établissant un cadre théorique sur l'asymétrie spectrale des poids et en proposant une solution analytique sans gradient, améliore significativement les performances des LLMs tout en réduisant leur coût mémoire et leur latence.
Cette étude propose un cadre de prédiction conforme qui garantit une couverture fiable pour l'extraction d'entités médicales par des modèles de langage, en démontrant que les seuils d'ajustement nécessaires varient considérablement selon la structure du document et le domaine clinique, ce qui justifie une calibration spécifique à chaque contexte pour un déploiement sûr.
Ce papier présente CyclicJudge, une méthode d'affectation en roulement des juges LLM qui élimine efficacement les biais systématiques dans l'évaluation sans augmenter les coûts, en s'appuyant sur une décomposition de la variance pour optimiser l'attribution des juges aux scénarios.
Le papier présente PrivMedChat, un cadre de bout en bout permettant l'alignement par apprentissage par renforcement à partir de retours humains (RLHF) avec garantie de confidentialité différentielle pour les systèmes de dialogue médicaux, en combinant des techniques de protection de la vie privée à chaque étape d'entraînement et une stratégie de construction de préférences sans annotation manuelle coûteuse.