6389 articles
Cet article introduit de nouvelles métriques d'alternation temporelles pour révéler que, dans le jeu de la Bataille des Exes multi-agents, les politiques apprises par Q-learning peuvent présenter des scores de justice élevés selon les mesures traditionnelles tout en échouant gravement à coordonner leurs actions dans le temps par rapport à des politiques aléatoires.
Cette étude utilise des crosscoders pour démontrer que les modèles Mixture of Experts (MoE) développent des représentations plus spécialisées et moins d'features uniques que les modèles denses, qui, eux, répartissent l'information sur des caractéristiques plus générales.
Cette étude démontre que les modèles Mixture of Experts (MoE) comme DeepSeekMoE reposent sur une expertise fortement concentrée, où un seul expert suffit souvent à approximer les performances de l'ensemble, ouvrant ainsi la voie à des optimisations d'inférence par élagage ciblé.
Ce papier présente MaCS, un cadre de régularisation simple et indépendant de l'architecture qui améliore simultanément la calibration et la robustesse des modèles de vision en combinant une pénalité de marge dans l'espace des logits et une régularisation de consistance locale, sans nécessiter de données supplémentaires ni modifier l'inférence.
Ce papier présente SEA-PEFT, une méthode d'affinage efficace en paramètres qui automatise la configuration des adaptateurs via une boucle d'auto-audit pour surmonter les défis du décalage de domaine et du manque de données dans la segmentation d'images médicales 3D en contexte few-shot.
Cette étude empirique examine les avantages, les limites et les pièges de l'adaptation au moment du test par le biais du prompting à plusieurs exemples, révélant que cette méthode est efficace pour les tâches structurées mais sensible à la stratégie de sélection et souvent peu bénéfique pour les tâches de génération ouverte.
Le papier présente ReflexiCoder, un cadre d'apprentissage par renforcement qui intègre des capacités intrinsèques d'autoréflexion et d'autocorrection dans les poids des modèles de langage, leur permettant d'atteindre des performances de pointe sur des tâches de codage complexes sans dépendre de retours externes ou d'exécution de code lors de l'inférence.
Le papier présente STEP, un cadre de prédiction d'événements stochastiques qui reformule la prédiction de liens temporels comme un problème de prévision séquentielle en temps continu basé sur les transitions de motifs temporels, offrant des gains significatifs de précision et une efficacité computationnelle supérieure sur plusieurs jeux de données réels.
Le papier présente ROSE, une méthode de réordonnancement de SparseGPT qui améliore la précision du pruning en une seule passe des grands modèles de langage en adaptant dynamiquement l'ordre d'élagage des poids en fonction de leur perte estimée, surpassant ainsi les approches existantes sur plusieurs modèles de pointe.
PixARMesh est une méthode qui reconstruit de manière autorégressive des maillages 3D complets et prêts pour les artistes d'une scène intérieure à partir d'une seule image RGB, en prédisant conjointement la disposition et la géométrie des objets dans un modèle unifié sans nécessiter d'optimisation postérieure.
Cet article propose trois techniques de mitigation de biais pour améliorer l'équité des modèles à goulot d'entité conceptuelle (CBM) en réduisant les fuites d'informations, en supprimant les concepts biaisés et en appliquant un débiasage adversarial, surpassant ainsi les travaux antérieurs en matière de compromis entre équité et performance.
Ce papier présente RePO, une nouvelle méthode d'optimisation de politique guidée par des références qui combine l'apprentissage par renforcement pour l'exploration et un apprentissage supervisé pour l'exploitation, afin de surmonter les limitations des approches actuelles dans l'optimisation moléculaire basée sur les grands modèles de langage en l'absence de trajectoires de raisonnement détaillées.
Cet article propose un cadre intégré combinant une architecture de transformateur de nœuds et une analyse de sentiments basée sur BERT pour prédire les cours boursiers, démontrant une précision supérieure aux modèles traditionnels grâce à la modélisation des dépendances inter-actions et à l'incorporation de données textuelles.
Ce papier propose une nouvelle méthode expérimentale appelée « Artificial Replay » qui permet de comparer efficacement des algorithmes de bandit manchot en réutilisant les données d'une première exécution, réduisant ainsi considérablement les coûts d'interaction tout en garantissant un estimateur non biaisé et à variance sous-linéaire.
Ce travail présente Weak-SIGReg, une méthode de régularisation efficace par sketching qui stabilise l'entraînement des réseaux de neurones profonds en contraindre la densité des représentations vers une distribution gaussienne isotrope, permettant ainsi de récupérer des architectures comme les Vision Transformers de l'effondrement de l'optimisation sans recourir à des astuces architecturales.
Cette étude démontre que modéliser le contexte linguistique de l'auteur, via des méthodes comme HuLM et HuFT, permet de corriger la fallace écologique et d'améliorer significativement les performances d'un grand modèle de langage (8B Llama) sur diverses tâches, même sans réentraînement complet.
Cet article présente un accélérateur FPGA qui résout le goulot d'étranglement mémoire du décodage Gated DeltaNet en hébergeant l'état récurrent persistant dans la BRAM embarquée, permettant ainsi d'atteindre une latence 4,5 fois inférieure et une efficacité énergétique 60 fois supérieure par rapport aux GPU NVIDIA H100.
Cet article propose un cadre de réécriture de style structuré combinant une désambiguïsation explicite des dimensions stylistiques et un conditionnement implicite par distillation de chaînes de pensée, permettant aux petits modèles de langage de générer des personnages stylisés avec une fidélité supérieure à celle de modèles plus grands, même en contexte de données limitées.
En s'appuyant sur des théories psychologiques interactionnistes et constructivistes, cette étude développe des modèles interprétables qui intègrent des traits individuels et des contextes situationnels déduits du langage pour prédire le bien-être mental, démontrant que les caractéristiques théoriques offrent une performance compétitive et une meilleure interprétabilité par rapport aux embeddings de grands modèles de langage.
Ce papier propose l'OMGD, une méthode d'optimisation légère et compatible avec les optimiseurs existants qui améliore l'efficacité mémoire et garantit une complexité de convergence de pour l'entraînement de grands modèles de langage.