9805 articles
Cet article étend le cadre de l'incertitude des poids en réseaux de neurones bayésiens pour la régression en intégrant une incertitude sur la variance, démontrant que modéliser explicitement la distribution a posteriori de ce paramètre améliore significativement la généralisation du modèle sur diverses architectures et jeux de données.
Cette étude propose d'améliorer l'apprentissage continu et adaptatif des réseaux de neurones artificiels en s'inspirant des dynamiques multi-neuromodulatrices du cerveau biologique pour surmonter l'oubli catastrophique et renforcer la robustesse face aux environnements changeants.
Cette étude propose un cadre de détection des communications covertes dans les réseaux IPv6 en combinant l'analyse de trafic réaliste, l'injection de données chiffrées et l'application de techniques d'apprentissage automatique avancées (incluant des modèles génératifs) pour atteindre une précision supérieure à 90 %.
Cet article propose une méthode d'estimation de gradient multiscale (MGE) et un algorithme d'entraînement Full-Multiscale qui accélèrent considérablement l'entraînement des réseaux de neurones convolutifs sur des images haute résolution en réduisant les coûts de calcul de 4 à 16 fois sans compromettre la performance.
Cet article propose une méthode de prédiction et de commande par horizon glissant pour les systèmes de Hammerstein-Wiener, en utilisant des processus gaussiens implicites structurés et des points de dérivée virtuels pour intégrer la connaissance du modèle physique et surpasser les approches boîte noire.
Cet article présente des fonctions d'activation basées sur des bases orthogonales (polynomiales, trigonométriques et tropicales) qui, grâce à une initialisation préservant la variance, permettent d'entraîner efficacement des modèles profonds comme GPT-2 et ConvNeXt tout en évitant les problèmes d'explosion ou de disparition des gradients et en facilitant le fine-tuning via l'interpolation d'Hermite.
Cette étude démontre que le modèle CLIP encode bien les relations d'attribution objet-qualité de manière unimodale, mais que cette information est perdue lors de l'alignement intermodal, un problème que l'on peut résoudre efficacement par une simple transformation linéaire sans réentraînement coûteux.
Cet article propose une méthode novatrice d'adaptation progressive de l'architecture des réseaux de neurones profonds en profondeur, fondée sur l'utilisation de dérivées topologiques et d'une perspective de contrôle optimal pour déterminer mathématiquement les emplacements optimaux d'insertion de nouvelles couches et leurs initialisations, surpassant ainsi les stratégies d'adaptation existantes sur diverses tâches.
Cet article introduit une nouvelle analyse de faible rang pour le minceur sub-Gaussien, garantissant une compression de haute qualité pour toute distribution et tout noyau lorsque les données sont approximativement de faible rang, tout en améliorant les performances dans des applications telles que l'attention des transformateurs et l'entraînement stochastique.
Cet article présente un cadre d'adaptation robuste pour les grands modèles multimodaux qui améliore la détection des mèmes haineux en augmentant la précision intra-domaine, la généralisation inter-domaines et la résilience aux attaques adverses, tout en surpassant les systèmes existants et en fournissant des justifications plus interprétables.
Ce papier présente SSIBench, un cadre de benchmarking open-source et modulaire qui évalue systématiquement 18 méthodes d'apprentissage auto-supervisé pour la reconstruction IRM accélérée sans données de référence, révélant la nécessité de recherches supplémentaires et proposant de nouvelles améliorations pour favoriser l'adoption industrielle et la reproductibilité.
Le papier présente MoMa, un cadre d'apprentissage profond modulaire qui surpasse les méthodes traditionnelles en entraînant des modules spécialisés puis en les composant de manière adaptative pour la prédiction des propriétés des matériaux, offrant ainsi une amélioration moyenne de 14 % sur 17 jeux de données.
Cette étude démontre que le déploiement de l'IA prédictive à la fois pendant la formation et la pratique des novices en médecine améliore non seulement leur précision diagnostique individuelle, mais préserve également la diversité des erreurs, renforçant ainsi la fiabilité des décisions collectives.
Le papier présente GradientStabilizer, une méthode légère qui remplace la magnitude des gradients par une estimation statistiquement stabilisée tout en préservant leur direction, éliminant ainsi les pics d'instabilité et surpassant le clipping traditionnel dans divers scénarios d'apprentissage profond.
Cette étude de benchmarking évalue la capacité de généralisation de cinq modèles d'apprentissage profond pour l'estimation de la pression artérielle à partir de PPG, révélant une baisse significative des performances sur des données externes et soulignant l'importance cruciale de l'adaptation de domaine pour surmonter les disparités de distribution entre les jeux de données.
Cette étude de benchmark démontre que les réseaux de neurones convolutifs modernes traitant directement les signaux bruts de photopléthysmographie surpassent les approches basées sur des caractéristiques ou des images pour la prédiction de la pression artérielle et de la fibrillation auriculaire.
Cet article propose une méthode fondée sur des preuves théoriques, consistant à entraîner des modèles de diffusion uniquement sur des données bruitées à grande échelle, permettant ainsi de réduire significativement la mémorisation du jeu d'entraînement sans compromettre la qualité de génération des images.
Cet article propose la première variante de la méthode de Frank-Wolfe garantissant une convergence linéaire en espérance et indépendante de la dimension pour la minimisation de fonctions convexes lisses sur le spectrahèdre, tout en n'utilisant que des calculs matriciels de rang un.
Le papier présente LLaVE, un cadre d'apprentissage contrastif pondéré par la difficulté qui améliore l'entraînement des modèles d'encodage multimodaux pour mieux distinguer les paires négatives difficiles, permettant ainsi d'atteindre des performances de pointe sur le benchmark MMEB avec une meilleure efficacité que les modèles précédents.
Le papier présente Vision-R1, un modèle multimodal de langage qui améliore les capacités de raisonnement grâce à une stratégie d'entraînement par apprentissage par renforcement combinant un jeu de données de chaîne de pensée initialisé automatiquement et une suppression progressive de la sur-réflexion, atteignant ainsi des performances compétitives sur les benchmarks de raisonnement mathématique.