7710 articles
Ce papier présente le Spectral Sphere Optimizer (SSO), un nouvel algorithme d'optimisation intégré à Megatron qui impose des contraintes spectrales strictes pour aligner pleinement l'entraînement avec la paramétrisation P, surpassant ainsi AdamW et Muon en termes de convergence et de stabilité sur diverses architectures de grands modèles.
Cet article présente le cadre Behavioral Profiling Ensemble (BPE), une approche d'intégration centrée sur le modèle qui, en construisant des profils comportementaux intrinsèques pour chaque apprenant, surpasse les méthodes d'ensemble dynamiques existantes en améliorant la précision prédictive tout en réduisant les coûts computationnels et de stockage.
Le papier présente EmboTeam, un cadre de planification pour des équipes de robots hétérogènes qui combine les capacités de raisonnement des grands modèles de langage avec la rigueur des planificateurs classiques et des arbres de comportement pour exécuter des tâches complexes, validé par une amélioration significative des taux de réussite sur le nouveau benchmark MACE-THOR.
ButterflyMoE est une méthode qui permet de stocker de multiples experts sur des appareils à ressources limitées en remplaçant le stockage linéaire de matrices de poids indépendantes par une représentation géométrique sub-linéaire basée sur des rotations appliquées à un prototype ternaire partagé, réduisant ainsi la consommation mémoire de 150 fois sans perte significative de précision.
Ce papier présente Yuan3.0 Ultra, un modèle de langage open-source de type MoE orienté entreprise qui utilise l'algorithme de pruning d'experts adaptatif par couche (LAEP) pour améliorer l'efficacité du pré-entraînement et obtenir des performances de pointe sur des tâches spécialisées tout en réduisant la taille totale du modèle.
Ce travail présente EGAgent, un cadre agentique innovant basé sur des graphes de scènes d'entités qui permet une compréhension vidéo longitudinale avancée et un raisonnement multi-modal sur des flux vidéo continus de plusieurs jours, surpassant les méthodes existantes sur des tâches complexes d'assistance personnelle.
Ce papier présente le Self-Distilled Reasoner, un cadre d'auto-distillation sur politique où un seul modèle joue à la fois le rôle d'enseignant (conditionné sur des traces de raisonnement privilégiées) et d'élève (ne voyant que la question), permettant d'améliorer les capacités de raisonnement mathématique avec une efficacité tokenique bien supérieure aux méthodes d'apprentissage par renforcement.
Cet article propose une méthode évolutive pour la prédiction du signe des liens dans les graphes signés, qui modélise directement les dépendances statistiques entre les arêtes à l'aide d'une copule gaussienne tout en surmontant les limitations de complexité computationnelle grâce à une représentation factorisée de la matrice de corrélation et une reformulation de la distribution de probabilité conditionnelle.
Cet article établit des garanties de convergence plus précises et rapides pour l'optimiseur Muon en utilisant une analyse directe et simplifiée qui s'affranchit des hypothèses restrictives des travaux antérieurs, offrant ainsi une caractérisation théorique améliorée applicable à une plus large gamme de problèmes d'optimisation non convexe.
L'article présente Latent-IMH, une méthode d'échantillonnage bayésien efficace pour les problèmes inverses linéaires avec des opérateurs coûteux, qui génère des variables latentes via une approximation rapide avant de les affiner avec l'opérateur exact, surpassant ainsi des méthodes de l'état de l'art comme NUTS en termes d'efficacité computationnelle.
Ce papier présente ME-POIs, un cadre novateur qui enrichit les représentations des points d'intérêt en fusionnant des données textuelles avec des schémas de mobilité humaine à grande échelle pour capturer non seulement l'identité d'un lieu, mais aussi sa fonction réelle, surpassant ainsi les approches existantes sur plusieurs tâches d'enrichissement cartographique.
Ce papier propose un cadre variationnel interprétant les couches des transformers comme des itérations d'algorithmes d'optimisation, permettant de concevoir une architecture accélérée par Nesterov qui surpasse les modèles de base sur des tâches de génération de texte.
Ce papier propose MiTA, une nouvelle méthode d'attention efficace qui unifie les approches existantes et améliore l'évolutivité des séquences longues en compressant les poids rapides via une stratégie de routage et de sélection des k meilleures activations.
Le papier présente VIP, une stratégie d'allocation de rollouts adaptative qui optimise l'efficacité de l'apprentissage par renforcement en ligne en attribuant dynamiquement le budget de calcul aux prompts les plus informatifs pour minimiser la variance du gradient, surpassant ainsi les méthodes d'allocation uniforme.
Cet article propose une nouvelle approche de la prévision des séries temporelles, appelée « prévision agentielle », qui dépasse le paradigme traditionnel centré sur le modèle en la reformulant comme un processus dynamique intégrant perception, planification, action, réflexion et mémoire pour permettre une adaptation continue et une interaction avec des outils.
Cet article démontre que les vecteurs de pilotage dans les grands modèles de langage sont fondamentalement non identifiables, car des perturbations orthogonales peuvent produire des effets comportementaux équivalents, révélant ainsi des limites inhérentes à l'interprétabilité de ces interventions.
LatentChem introduit une interface de raisonnement latent qui découple le calcul chimique de la génération textuelle, permettant aux modèles d'effectuer des inférences complexes dans un espace continu pour obtenir des performances supérieures et une accélération significative par rapport aux méthodes traditionnelles basées sur la chaîne de pensée explicite.
Ce papier démontre que l'apprentissage de la magnitude des embeddings, plutôt que de la simple similarité cosinus, améliore significativement les performances en recherche d'information et en RAG en exploitant des rôles distincts pour les magnitudes des requêtes et des documents, au détriment des tâches où les entrées sont interchangeables.
Cet article propose le TAPINN, une architecture de réseaux de neurones informés par la physique qui utilise une régularisation métrique supervisée et une optimisation alternée pour surmonter les biais spectraux et les effondrements de modes lors de la modélisation de systèmes dynamiques à transitions de régime abruptes, comme le démontrent des résultats supérieurs sur l'oscillateur de Duffing.
Cette étude empirique démontre que, malgré des performances compétitives sur certains résidus polynomiaux, les réseaux KAN intégrés dans des architectures HRPINN souffrent d'une fragilité hyperparamétrique et d'une instabilité qui les rendent généralement moins efficaces que les MLP pour la découverte de termes multiplicatifs et de couplages d'états dans les systèmes oscillatoires.