11899 articles
Cet article présente CAAD-3K, un nouveau benchmark, et un cadre d'apprentissage de compatibilité conditionnelle basé sur des représentations vision-langage pour détecter les anomalies contextuelles en modélisant la compatibilité sujet-environnement, surpassant ainsi les méthodes existantes sur plusieurs jeux de données.
Les auteurs proposent le DDIS, un cadre génératif découplé en espace fonctionnel qui associe un opérateur neuronal à un modèle de diffusion pour résoudre des problèmes inverses d'EDP avec une efficacité supérieure en données et une meilleure précision que les approches couplées existantes.
Cet article propose une méthode de quantisation post-entraînement novatrice pour les modèles de diffusion, qui améliore l'efficacité en apprenant à attribuer des poids optimaux aux échantillons de calibration afin d'aligner les gradients à travers les différents pas de temps.
Ce papier présente le benchmark VDR-Bench, conçu pour évaluer de manière plus réaliste les capacités de recherche visuelle et textuelle des modèles de langage multimodaux en surmontant les limites des benchmarks existants, tout en proposant une méthode de recherche par recadrage itératif pour améliorer leurs performances.
Ce papier propose PSN-RLVR, une méthode qui améliore l'exploration dans l'apprentissage par renforcement avec récompenses vérifiables en perturbant les paramètres du modèle plutôt que les actions, permettant ainsi de découvrir de nouvelles stratégies de raisonnement et d'obtenir de meilleures performances sur des tâches mathématiques complexes.
Cet article établit la borne supérieure exacte de la divergence de Kullback-Leibler entre trois distributions gaussiennes multivariées satisfaisant une inégalité triangulaire relâchée, comblant ainsi une lacune théorique et démontrant son utilité pour la détection de données hors distribution et l'apprentissage par renforcement sûr.
Ce papier présente EDT-Former, un transformateur de jetons dynamiques guidé par l'entropie qui aligne efficacement des encodeurs de graphes figés avec des modèles de langage sans nécessiter leur réentraînement, permettant ainsi d'atteindre des performances de pointe dans la compréhension moléculaire multimodale.
Ce papier présente URSA-GAN, un cadre génératif unifié qui utilise une architecture à double encodage et une perturbation stochastique dynamique pour adapter robustement la reconnaissance et l'amélioration de la parole à des conditions de bruit et de canal inconnues, réduisant ainsi significativement les erreurs et améliorant les métriques perceptuelles.
Cette étude propose un cadre hybride combinant des forêts de régression quantile et des principes physiques, alimenté par des données de véhicules connectés et de systèmes d'information routière météorologique, pour recommander en temps réel des intervalles de vitesse sûrs sur les autoroutes dans diverses conditions météorologiques afin de réduire les risques d'accidents.
Ce papier présente CSRv2, une méthode d'entraînement novatrice qui rend les représentations par embeddings ultra-creux (k-sparse) pratiques et performantes en stabilisant l'apprentissage de la parcimonie, permettant ainsi d'atteindre des gains d'efficacité computationnelle et mémoire considérables sans compromettre la précision par rapport aux embeddings denses ou aux approches existantes.
L'article présente AceGRPO, une méthode d'optimisation de politique relative de groupe améliorée par un curriculum adaptatif et un tampon de données évolutif, qui permet au modèle Ace-30B de surmonter la stagnation comportementale des agents MLE autonomes et d'atteindre des performances compétitives face aux modèles propriétaires.
Cet article présente le premier algorithme incrémental randomisé pour le problème de -clustering sur les graphes, qui maintient une approximation à facteur constant avec un temps de mise à jour quasi-linéaire en gérant des insertions d'arêtes adverses grâce à une adaptation de l'approche bicritère de Mettu et Plaxton combinée à des spanneurs dynamiques.
Le papier présente GPU-Fuzz, un outil de fuzzing qui modélise les paramètres des opérateurs sous forme de contraintes formelles pour générer des cas de test ciblant les conditions limites des noyaux GPU, permettant ainsi de découvrir 13 bugs méconnus dans les frameworks d'apprentissage profond PyTorch, TensorFlow et PaddlePaddle.
Ce papier présente MiniCPM-SALA, une architecture hybride de 9 milliards de paramètres combinant l'attention sparse et linéaire pour permettre un traitement efficace de contextes ultra-long jusqu'à 1 million de tokens tout en réduisant les coûts d'entraînement de 75 % par rapport à un entraînement à partir de zéro.
Ce papier présente Echo, un modèle de langage audio qui surpasse les approches actuelles en adoptant un raisonnement entrelacé avec l'audio, permettant au modèle de réécouter dynamiquement les segments pertinents pour une compréhension approfondie.
Cet article propose FGNO, une nouvelle méthode d'apprentissage auto-supervisé pour les séries temporelles qui utilise un opérateur neuronal guidé par un flot et le transformé de Fourier à court terme pour apprendre des représentations hiérarchiques flexibles à partir de données bruitées, surpassant ainsi les méthodes existantes sur plusieurs tâches biomédicales.
Cette étude évalue les formats HiFloat (HiF8 et HiF4) sur les NPU Ascend pour l'inférence de grands modèles de langage, démontrant leur supériorité dans la gestion des données à forte variance et leur capacité à éviter l'effondrement de la précision en 4 bits par rapport aux formats entiers, tout en restant compatibles avec les cadres de quantification actuels.
Cet article établit une théorie en échantillon fini pour les forêts aléatoires en tant que procédures statistiques, démontrant l'existence d'un plancher de variance inévitable dû à la réutilisation des observations et à l'alignement des partitions, et proposant une méthode de rééchantillonnage synthétique (PASR) pour estimer cette incertitude et construire des intervalles de prédiction fiables pour les résultats continus et les probabilités conditionnelles de classification.
Cet article présente la Directional Reasoning Trajectory Change (DRTC), une méthode d'interprétabilité causale qui identifie les segments de contexte critiques influençant les trajectoires de raisonnement des modèles de langage en détectant les points de basculement et en appliquant des interventions ciblées pour mesurer leur impact sur la probabilité de la réponse.
Ce papier présente Neural-POD, un cadre d'opérateur neuronal plug-and-play qui apprend des bases fonctionnelles non linéaires et orthogonales continues pour surmonter les limitations de discrétisation des modèles d'IA scientifique et améliorer la généralisation hors distribution.