5510 articles
Cet article présente un accélérateur FPGA qui résout le goulot d'étranglement mémoire du décodage Gated DeltaNet en hébergeant l'état récurrent persistant dans la BRAM embarquée, permettant ainsi d'atteindre une latence 4,5 fois inférieure et une efficacité énergétique 60 fois supérieure par rapport aux GPU NVIDIA H100.
Cet article propose un cadre de réécriture de style structuré combinant une désambiguïsation explicite des dimensions stylistiques et un conditionnement implicite par distillation de chaînes de pensée, permettant aux petits modèles de langage de générer des personnages stylisés avec une fidélité supérieure à celle de modèles plus grands, même en contexte de données limitées.
En s'appuyant sur des théories psychologiques interactionnistes et constructivistes, cette étude développe des modèles interprétables qui intègrent des traits individuels et des contextes situationnels déduits du langage pour prédire le bien-être mental, démontrant que les caractéristiques théoriques offrent une performance compétitive et une meilleure interprétabilité par rapport aux embeddings de grands modèles de langage.
Ce papier propose l'OMGD, une méthode d'optimisation légère et compatible avec les optimiseurs existants qui améliore l'efficacité mémoire et garantit une complexité de convergence de pour l'entraînement de grands modèles de langage.
Le papier présente TADPO, une nouvelle méthode d'apprentissage par renforcement basée sur PPO qui permet pour la première fois le transfert sim-to-real zéro-shot d'un véhicule tout-terrain à échelle réelle capable de naviguer à haute vitesse sur des terrains non cartographiés et accidentés.
Le papier présente EvoESAP, un cadre de recherche évolutionnaire qui optimise l'allocation non uniforme de l'élagage des experts dans les modèles MoE épars en utilisant une métrique de proxy d'acceptation spéculative (ESAP), permettant d'améliorer significativement les performances de génération tout en respectant un budget global fixe.
En modélisant le boucle externe de PPO comme une optimisation stochastique, cette étude démontre que l'augmentation massive du nombre d'environnements parallèles (jusqu'à un million) permet de réduire le bruit du gradient et de prévenir la stagnation de l'apprentissage, permettant ainsi une amélioration monotone des performances jusqu'à un trillion de transitions.
Ce papier améliore l'analyse de Klivans et al. en démontrant que le degré polynomial nécessaire pour l'apprentissage agnostique de classes de concepts à surface de Gauss bornée est de , établissant ainsi des bornes quasi-optimales pour l'apprentissage des fonctions de seuil polynomial dans le modèle des requêtes statistiques.
Cet article démontre que la dynamique de Langevin combinée à la moyenne des itérés permet de récupérer une direction cachée dans des modèles à haute dimension avec un nombre d'échantillons optimal de l'ordre de , contournant ainsi les limites précédentes sans nécessiter de lissage explicite du paysage d'optimisation.
Ce papier présente TempoSyncDiff, un cadre de diffusion latente conditionné par la référence qui utilise une distillation enseignant-élève pour générer des têtes parlantes pilotées par l'audio avec une faible latence et une stabilité temporelle accrue, visant ainsi à rendre cette technologie viable pour un déploiement sur des dispositifs aux ressources limitées.
Ce papier présente IR-GeoDiff, un modèle de diffusion latente qui reconstruit les géométries moléculaires tridimensionnelles à partir de spectres infrarouges en intégrant les informations spectrales dans les représentations des nœuds et des arêtes, comblant ainsi le fossé entre les données spectrales et la structure 3D.
Cet article propose SGDF, un optimiseur inspiré du filtrage linéaire optimal qui améliore l'apprentissage par gradient stochastique en recalibrant dynamiquement les coefficients de momentum pour équilibrer biais et variance, surpassant ainsi les méthodes conventionnelles sur divers benchmarks.
Ce papier propose un mécanisme zéro-shot permettant aux modèles de langage par diffusion d'estimer et de réduire dynamiquement la fenêtre de contexte avant la génération, offrant ainsi des économies de calcul substantielles sans compromettre les performances sur diverses tâches.
Cet article propose DQE, une nouvelle métrique d'évaluation pour la détection d'anomalies dans les séries temporelles qui, en s'appuyant sur une partition sémantique des événements et une agrégation sur tout le spectre des seuils, surmonte les biais et les incohérences des mesures existantes pour offrir une évaluation plus stable, discriminative et interprétable.
Cet article propose une méthode de gradients de politique partielle pour l'apprentissage par renforcement dans les LLM, qui optimise un sous-ensemble de récompenses futures afin d'apprendre des politiques plus fiables et d'adapter différents niveaux de planification à des problèmes d'alignement conversationnel.
Ce papier démontre que les graphes de codage prédictif constituent un sur-ensemble mathématique des réseaux de neurones à propagation avant, renforçant ainsi leur pertinence dans le domaine de l'apprentissage automatique et la notion de topologie des réseaux neuronaux.
Cette étude démontre que l'application de perturbations d'entrée structurées, telles que le bruit de Perlin, aux réseaux de neurones graphiques permet de générer des prévisions probabilistes bien calibrées de la température de surface de la mer dans la région des îles Canaries sans coût de formation supplémentaire, tout en maintenant une compétence déterministe équivalente à celle d'un modèle unique.
Le papier présente OMEGA, une méthode de recherche apprise généralisable à n'importe quel K qui, en s'entraînant uniquement sur K=1 et en utilisant un raffinement dynamique, surpasse les méthodes existantes en termes de latence et de temps de prétraitement tout en maintenant une haute précision pour des requêtes multi-K.
Cet article propose un cadre en deux étapes pour l'apprentissage de similarités entre écritures, combinant un apprentissage contrastif supervisé sur des alphabets inventés et une distillation non supervisée vers des scripts historiques afin de découvrir des similarités latentes sans dépendre de relations évolutives certifiées.
Cet article introduit le modèle de Forme Quadratique Aléatoire (RQF) pour démontrer que le bruit commun suffit à synchroniser les dynamiques et à expliquer le regroupement des tokens dans les transformers, même en l'absence de mécanisme d'auto-attention.