6500 articles
Cette étude empirique examine les avantages, les limites et les pièges de l'adaptation au moment du test par le biais du prompting à plusieurs exemples, révélant que cette méthode est efficace pour les tâches structurées mais sensible à la stratégie de sélection et souvent peu bénéfique pour les tâches de génération ouverte.
Le papier présente ReflexiCoder, un cadre d'apprentissage par renforcement qui intègre des capacités intrinsèques d'autoréflexion et d'autocorrection dans les poids des modèles de langage, leur permettant d'atteindre des performances de pointe sur des tâches de codage complexes sans dépendre de retours externes ou d'exécution de code lors de l'inférence.
Le papier présente STEP, un cadre de prédiction d'événements stochastiques qui reformule la prédiction de liens temporels comme un problème de prévision séquentielle en temps continu basé sur les transitions de motifs temporels, offrant des gains significatifs de précision et une efficacité computationnelle supérieure sur plusieurs jeux de données réels.
Le papier présente ROSE, une méthode de réordonnancement de SparseGPT qui améliore la précision du pruning en une seule passe des grands modèles de langage en adaptant dynamiquement l'ordre d'élagage des poids en fonction de leur perte estimée, surpassant ainsi les approches existantes sur plusieurs modèles de pointe.
PixARMesh est une méthode qui reconstruit de manière autorégressive des maillages 3D complets et prêts pour les artistes d'une scène intérieure à partir d'une seule image RGB, en prédisant conjointement la disposition et la géométrie des objets dans un modèle unifié sans nécessiter d'optimisation postérieure.
Cet article propose trois techniques de mitigation de biais pour améliorer l'équité des modèles à goulot d'entité conceptuelle (CBM) en réduisant les fuites d'informations, en supprimant les concepts biaisés et en appliquant un débiasage adversarial, surpassant ainsi les travaux antérieurs en matière de compromis entre équité et performance.
Ce papier présente RePO, une nouvelle méthode d'optimisation de politique guidée par des références qui combine l'apprentissage par renforcement pour l'exploration et un apprentissage supervisé pour l'exploitation, afin de surmonter les limitations des approches actuelles dans l'optimisation moléculaire basée sur les grands modèles de langage en l'absence de trajectoires de raisonnement détaillées.
Cet article propose un cadre intégré combinant une architecture de transformateur de nœuds et une analyse de sentiments basée sur BERT pour prédire les cours boursiers, démontrant une précision supérieure aux modèles traditionnels grâce à la modélisation des dépendances inter-actions et à l'incorporation de données textuelles.
Ce papier propose une nouvelle méthode expérimentale appelée « Artificial Replay » qui permet de comparer efficacement des algorithmes de bandit manchot en réutilisant les données d'une première exécution, réduisant ainsi considérablement les coûts d'interaction tout en garantissant un estimateur non biaisé et à variance sous-linéaire.
Ce travail présente Weak-SIGReg, une méthode de régularisation efficace par sketching qui stabilise l'entraînement des réseaux de neurones profonds en contraindre la densité des représentations vers une distribution gaussienne isotrope, permettant ainsi de récupérer des architectures comme les Vision Transformers de l'effondrement de l'optimisation sans recourir à des astuces architecturales.
Cette étude démontre que modéliser le contexte linguistique de l'auteur, via des méthodes comme HuLM et HuFT, permet de corriger la fallace écologique et d'améliorer significativement les performances d'un grand modèle de langage (8B Llama) sur diverses tâches, même sans réentraînement complet.
Cet article présente un accélérateur FPGA qui résout le goulot d'étranglement mémoire du décodage Gated DeltaNet en hébergeant l'état récurrent persistant dans la BRAM embarquée, permettant ainsi d'atteindre une latence 4,5 fois inférieure et une efficacité énergétique 60 fois supérieure par rapport aux GPU NVIDIA H100.
Cet article propose un cadre de réécriture de style structuré combinant une désambiguïsation explicite des dimensions stylistiques et un conditionnement implicite par distillation de chaînes de pensée, permettant aux petits modèles de langage de générer des personnages stylisés avec une fidélité supérieure à celle de modèles plus grands, même en contexte de données limitées.
En s'appuyant sur des théories psychologiques interactionnistes et constructivistes, cette étude développe des modèles interprétables qui intègrent des traits individuels et des contextes situationnels déduits du langage pour prédire le bien-être mental, démontrant que les caractéristiques théoriques offrent une performance compétitive et une meilleure interprétabilité par rapport aux embeddings de grands modèles de langage.
Ce papier propose l'OMGD, une méthode d'optimisation légère et compatible avec les optimiseurs existants qui améliore l'efficacité mémoire et garantit une complexité de convergence de pour l'entraînement de grands modèles de langage.
Le papier présente TADPO, une nouvelle méthode d'apprentissage par renforcement basée sur PPO qui permet pour la première fois le transfert sim-to-real zéro-shot d'un véhicule tout-terrain à échelle réelle capable de naviguer à haute vitesse sur des terrains non cartographiés et accidentés.
Le papier présente EvoESAP, un cadre de recherche évolutionnaire qui optimise l'allocation non uniforme de l'élagage des experts dans les modèles MoE épars en utilisant une métrique de proxy d'acceptation spéculative (ESAP), permettant d'améliorer significativement les performances de génération tout en respectant un budget global fixe.
En modélisant le boucle externe de PPO comme une optimisation stochastique, cette étude démontre que l'augmentation massive du nombre d'environnements parallèles (jusqu'à un million) permet de réduire le bruit du gradient et de prévenir la stagnation de l'apprentissage, permettant ainsi une amélioration monotone des performances jusqu'à un trillion de transitions.
Ce papier améliore l'analyse de Klivans et al. en démontrant que le degré polynomial nécessaire pour l'apprentissage agnostique de classes de concepts à surface de Gauss bornée est de , établissant ainsi des bornes quasi-optimales pour l'apprentissage des fonctions de seuil polynomial dans le modèle des requêtes statistiques.
Cet article démontre que la dynamique de Langevin combinée à la moyenne des itérés permet de récupérer une direction cachée dans des modèles à haute dimension avec un nombre d'échantillons optimal de l'ordre de , contournant ainsi les limites précédentes sans nécessiter de lissage explicite du paysage d'optimisation.