1067 articles
Le papier présente EC-Net, un cadre de modèle d'hypergraphe hyperbolique qui utilise des embeddings dans un disque de Poincaré et un apprentissage contrastif pour améliorer la robustesse et la précision de la compréhension des émotions multimodales, en particulier dans des conditions de bruit ou de données partielles.
Ce papier présente ModalImmune, un cadre d'entraînement qui renforce la robustesse des systèmes multimodaux face à la perte ou la corruption de canaux d'entrée en apprenant intentionnellement à s'adapter à la destruction sélective d'informations modales grâce à des mécanismes de régularisation et d'adaptation automatique.
Ce papier présente CondMedQA, le premier benchmark pour le raisonnement conditionnel en réponse aux questions biomédicales, ainsi que le cadre CGR qui améliore la précision des réponses médicales en adaptant dynamiquement les chemins de raisonnement aux conditions spécifiques du patient.
Le papier présente MrBERT, une famille d'encodeurs multilingues modernes optimisés pour des tâches spécifiques en catalan et en espagnol ainsi que pour des domaines spécialisés comme le juridique et le biomédical, tout en intégrant l'apprentissage de représentations matryoshka pour réduire les coûts d'inférence et de stockage.
Le papier présente CeRA, une méthode d'adaptation à faible rang qui surpasse les limites linéaires de LoRA en utilisant des portées SiLU et un dropout structurel pour étendre le manifold et activer la queue du spectre des valeurs singulières, permettant ainsi d'atteindre de meilleures performances de raisonnement avec des rangs bien inférieurs.
KVSlimmer est une méthode d'optimisation du cache KV qui, en établissant un cadre théorique sur l'asymétrie spectrale des poids et en proposant une solution analytique sans gradient, améliore significativement les performances des LLMs tout en réduisant leur coût mémoire et leur latence.
Cette étude propose un cadre de prédiction conforme qui garantit une couverture fiable pour l'extraction d'entités médicales par des modèles de langage, en démontrant que les seuils d'ajustement nécessaires varient considérablement selon la structure du document et le domaine clinique, ce qui justifie une calibration spécifique à chaque contexte pour un déploiement sûr.
Ce papier présente CyclicJudge, une méthode d'affectation en roulement des juges LLM qui élimine efficacement les biais systématiques dans l'évaluation sans augmenter les coûts, en s'appuyant sur une décomposition de la variance pour optimiser l'attribution des juges aux scénarios.
Le papier présente PrivMedChat, un cadre de bout en bout permettant l'alignement par apprentissage par renforcement à partir de retours humains (RLHF) avec garantie de confidentialité différentielle pour les systèmes de dialogue médicaux, en combinant des techniques de protection de la vie privée à chaque étape d'entraînement et une stratégie de construction de préférences sans annotation manuelle coûteuse.
Cette étude démontre que la méthode de détection de contamination par distribution de sortie (CDD) échoue systématiquement sur les petits modèles de langage, car son efficacité dépend de la mémorisation littérale des données, et que les approches basées sur la probabilité comme la perplexité ou Min-k% Prob s'avèrent nettement supérieures dans tous les cas testés.
Le papier présente vLLM Hook, un plug-in open-source permettant de programmer les états internes des modèles vLLM via des modes passif et actif pour faciliter des applications telles que la détection d'injections de prompts, l'amélioration du RAG et le pilotage d'activations.
Ce rapport présente un système basé sur les transformateurs qui améliore significativement les performances sur le corpus ARC en combinant un encodage de tâche compact, des augmentations symétriques, un apprentissage en temps de test et un décodage conscient de la symétrie pour atteindre une généralisation de niveau humain.
Cette étude révèle que les « attention sinks » sur le premier token émergent précocement lors de l'entraînement grâce à un mécanisme spécifique appelé « P0 Sink Circuit », qui permet d'identifier la position zéro sans information sémantique et pourrait servir d'indicateur de convergence du pré-entraînement.
En utilisant des grammaires contextuelles probabilistes pour générer des corpus synthétiques, cette étude démontre que les structures hiérarchiques inhérentes au processus de génération des données constituent le facteur unificateur expliquant l'émergence de phénomènes mécanistes apparemment distincts dans les modèles de langage.
Le papier présente HEF (Hierarchical Embedding Fusion), une approche en deux étapes qui compresse les dépôts de code en une hiérarchie de vecteurs denses pour remplacer les longs contextes de récupération par des pseudo-jetons, permettant ainsi une génération de code assistée par récupération à faible latence avec une précision comparable aux méthodes existantes.
Cette étude démontre que les juges LLM actuels échouent à mesurer de manière fiable la robustesse des modèles face aux attaques adverses en raison de décalages de distribution, conduisant souvent à des performances proches du hasard et à des taux de réussite artificiellement gonflés, ce qui motive la proposition de nouveaux benchmarks pour une évaluation plus rigoureuse.
Ce papier propose PerContrast et la fonction de perte PerCE, une méthode d'apprentissage adaptatif au niveau des tokens qui identifie et renforce les tokens les plus pertinents pour la personnalisation via une intervention causale, améliorant ainsi significativement les performances des grands modèles de langage avec un coût minimal.
Cette étude propose un score de confiance normalisé pour détecter les erreurs des grands modèles de langage, révèle que l'apprentissage par renforcement induit une surconfiance contrairement au fine-tuning supervisé, et démontre l'efficacité d'une post-optimisation par distillation pour restaurer la fiabilité de ces modèles dans des tâches critiques.
Le papier présente GraphSkill, un cadre de codage guidé par la documentation qui améliore le raisonnement sur les graphes complexes grâce à une récupération hiérarchique et un agent d'auto-débogage, tout en introduisant un nouveau jeu de données pour l'évaluation.
Le papier présente SR-TTT, une méthode qui améliore la rétention d'informations des modèles de langage à entraînement au moment du test en acheminant dynamiquement uniquement les tokens surprenants et incompressibles vers un cache d'attention résiduel, préservant ainsi une complexité mémoire constante tout en évitant les oublis catastrophiques lors de tâches de rappel précis.