11678 articles
Ce papier présente EDT-Former, un transformateur de jetons dynamiques guidé par l'entropie qui aligne efficacement des encodeurs de graphes figés avec des modèles de langage sans nécessiter leur réentraînement, permettant ainsi d'atteindre des performances de pointe dans la compréhension moléculaire multimodale.
Ce papier présente URSA-GAN, un cadre génératif unifié qui utilise une architecture à double encodage et une perturbation stochastique dynamique pour adapter robustement la reconnaissance et l'amélioration de la parole à des conditions de bruit et de canal inconnues, réduisant ainsi significativement les erreurs et améliorant les métriques perceptuelles.
Cette étude propose un cadre hybride combinant des forêts de régression quantile et des principes physiques, alimenté par des données de véhicules connectés et de systèmes d'information routière météorologique, pour recommander en temps réel des intervalles de vitesse sûrs sur les autoroutes dans diverses conditions météorologiques afin de réduire les risques d'accidents.
Ce papier présente CSRv2, une méthode d'entraînement novatrice qui rend les représentations par embeddings ultra-creux (k-sparse) pratiques et performantes en stabilisant l'apprentissage de la parcimonie, permettant ainsi d'atteindre des gains d'efficacité computationnelle et mémoire considérables sans compromettre la précision par rapport aux embeddings denses ou aux approches existantes.
L'article présente AceGRPO, une méthode d'optimisation de politique relative de groupe améliorée par un curriculum adaptatif et un tampon de données évolutif, qui permet au modèle Ace-30B de surmonter la stagnation comportementale des agents MLE autonomes et d'atteindre des performances compétitives face aux modèles propriétaires.
Cet article présente le premier algorithme incrémental randomisé pour le problème de -clustering sur les graphes, qui maintient une approximation à facteur constant avec un temps de mise à jour quasi-linéaire en gérant des insertions d'arêtes adverses grâce à une adaptation de l'approche bicritère de Mettu et Plaxton combinée à des spanneurs dynamiques.
Le papier présente GPU-Fuzz, un outil de fuzzing qui modélise les paramètres des opérateurs sous forme de contraintes formelles pour générer des cas de test ciblant les conditions limites des noyaux GPU, permettant ainsi de découvrir 13 bugs méconnus dans les frameworks d'apprentissage profond PyTorch, TensorFlow et PaddlePaddle.
Ce papier présente MiniCPM-SALA, une architecture hybride de 9 milliards de paramètres combinant l'attention sparse et linéaire pour permettre un traitement efficace de contextes ultra-long jusqu'à 1 million de tokens tout en réduisant les coûts d'entraînement de 75 % par rapport à un entraînement à partir de zéro.
Ce papier présente Echo, un modèle de langage audio qui surpasse les approches actuelles en adoptant un raisonnement entrelacé avec l'audio, permettant au modèle de réécouter dynamiquement les segments pertinents pour une compréhension approfondie.
Cet article propose FGNO, une nouvelle méthode d'apprentissage auto-supervisé pour les séries temporelles qui utilise un opérateur neuronal guidé par un flot et le transformé de Fourier à court terme pour apprendre des représentations hiérarchiques flexibles à partir de données bruitées, surpassant ainsi les méthodes existantes sur plusieurs tâches biomédicales.
Cette étude évalue les formats HiFloat (HiF8 et HiF4) sur les NPU Ascend pour l'inférence de grands modèles de langage, démontrant leur supériorité dans la gestion des données à forte variance et leur capacité à éviter l'effondrement de la précision en 4 bits par rapport aux formats entiers, tout en restant compatibles avec les cadres de quantification actuels.
Cet article établit une théorie en échantillon fini pour les forêts aléatoires en tant que procédures statistiques, démontrant l'existence d'un plancher de variance inévitable dû à la réutilisation des observations et à l'alignement des partitions, et proposant une méthode de rééchantillonnage synthétique (PASR) pour estimer cette incertitude et construire des intervalles de prédiction fiables pour les résultats continus et les probabilités conditionnelles de classification.
Cet article présente la Directional Reasoning Trajectory Change (DRTC), une méthode d'interprétabilité causale qui identifie les segments de contexte critiques influençant les trajectoires de raisonnement des modèles de langage en détectant les points de basculement et en appliquant des interventions ciblées pour mesurer leur impact sur la probabilité de la réponse.
Ce papier présente Neural-POD, un cadre d'opérateur neuronal plug-and-play qui apprend des bases fonctionnelles non linéaires et orthogonales continues pour surmonter les limitations de discrétisation des modèles d'IA scientifique et améliorer la généralisation hors distribution.
L'article présente CoreCraft, un environnement de simulation d'entreprise haute fidélité qui permet d'entraîner des agents IA pour obtenir des capacités généralisables, démontrant qu'un seul epoch d'entraînement améliore non seulement les performances sur la tâche cible mais aussi sur des benchmarks hors distribution.
Cet article présente WS-KAN, la première architecture d'espace de poids conçue pour les réseaux Kolmogorov-Arnold (KAN), qui exploite leurs symétries de permutation via une représentation graphique pour surpasser significativement les méthodes existantes dans la prédiction des performances sur de nouveaux jeux de données.
Cet article présente l'« effacement agentique », une nouvelle approche introduisant le cadre SBU qui élimine simultanément les informations sensibles des paramètres du modèle et de la mémoire persistante des agents pour prévenir la réintroduction de données via des boucles de rétroaction.
GeneZip est un modèle de compression ADN adaptatif qui exploite l'asymétrie biologique entre les régions codantes et non codantes pour réduire considérablement la longueur des séquences, permettant ainsi l'entraînement de modèles de fondation génomique à très long contexte sur une seule carte graphique sans perte significative de performance.
Cet article présente ST-Prune, une technique novatrice de pruning dynamique d'échantillons qui améliore l'efficacité et la vitesse d'entraînement des modèles de prévision spatio-temporelle en sélectionnant intelligemment les données les plus informatives en fonction de l'état d'apprentissage du modèle.
Ce papier propose OAPL, un nouvel algorithme d'apprentissage par renforcement hors politique qui exploite efficacement les retards de mise à jour entre les politiques d'entraînement et d'inférence pour surpasser les méthodes existantes sur des benchmarks mathématiques et de codage tout en réduisant considérablement le nombre de générations nécessaires.