9721 articles
Cet article présente des fonctions d'activation basées sur des bases orthogonales (polynomiales, trigonométriques et tropicales) qui, grâce à une initialisation préservant la variance, permettent d'entraîner efficacement des modèles profonds comme GPT-2 et ConvNeXt tout en évitant les problèmes d'explosion ou de disparition des gradients et en facilitant le fine-tuning via l'interpolation d'Hermite.
Cette étude démontre que le modèle CLIP encode bien les relations d'attribution objet-qualité de manière unimodale, mais que cette information est perdue lors de l'alignement intermodal, un problème que l'on peut résoudre efficacement par une simple transformation linéaire sans réentraînement coûteux.
Cet article propose une méthode novatrice d'adaptation progressive de l'architecture des réseaux de neurones profonds en profondeur, fondée sur l'utilisation de dérivées topologiques et d'une perspective de contrôle optimal pour déterminer mathématiquement les emplacements optimaux d'insertion de nouvelles couches et leurs initialisations, surpassant ainsi les stratégies d'adaptation existantes sur diverses tâches.
Cet article introduit une nouvelle analyse de faible rang pour le minceur sub-Gaussien, garantissant une compression de haute qualité pour toute distribution et tout noyau lorsque les données sont approximativement de faible rang, tout en améliorant les performances dans des applications telles que l'attention des transformateurs et l'entraînement stochastique.
Cet article présente un cadre d'adaptation robuste pour les grands modèles multimodaux qui améliore la détection des mèmes haineux en augmentant la précision intra-domaine, la généralisation inter-domaines et la résilience aux attaques adverses, tout en surpassant les systèmes existants et en fournissant des justifications plus interprétables.
Ce papier présente SSIBench, un cadre de benchmarking open-source et modulaire qui évalue systématiquement 18 méthodes d'apprentissage auto-supervisé pour la reconstruction IRM accélérée sans données de référence, révélant la nécessité de recherches supplémentaires et proposant de nouvelles améliorations pour favoriser l'adoption industrielle et la reproductibilité.
Le papier présente MoMa, un cadre d'apprentissage profond modulaire qui surpasse les méthodes traditionnelles en entraînant des modules spécialisés puis en les composant de manière adaptative pour la prédiction des propriétés des matériaux, offrant ainsi une amélioration moyenne de 14 % sur 17 jeux de données.
Cette étude démontre que le déploiement de l'IA prédictive à la fois pendant la formation et la pratique des novices en médecine améliore non seulement leur précision diagnostique individuelle, mais préserve également la diversité des erreurs, renforçant ainsi la fiabilité des décisions collectives.
Le papier présente GradientStabilizer, une méthode légère qui remplace la magnitude des gradients par une estimation statistiquement stabilisée tout en préservant leur direction, éliminant ainsi les pics d'instabilité et surpassant le clipping traditionnel dans divers scénarios d'apprentissage profond.
Cette étude de benchmarking évalue la capacité de généralisation de cinq modèles d'apprentissage profond pour l'estimation de la pression artérielle à partir de PPG, révélant une baisse significative des performances sur des données externes et soulignant l'importance cruciale de l'adaptation de domaine pour surmonter les disparités de distribution entre les jeux de données.
Cette étude de benchmark démontre que les réseaux de neurones convolutifs modernes traitant directement les signaux bruts de photopléthysmographie surpassent les approches basées sur des caractéristiques ou des images pour la prédiction de la pression artérielle et de la fibrillation auriculaire.
Cet article propose une méthode fondée sur des preuves théoriques, consistant à entraîner des modèles de diffusion uniquement sur des données bruitées à grande échelle, permettant ainsi de réduire significativement la mémorisation du jeu d'entraînement sans compromettre la qualité de génération des images.
Cet article propose la première variante de la méthode de Frank-Wolfe garantissant une convergence linéaire en espérance et indépendante de la dimension pour la minimisation de fonctions convexes lisses sur le spectrahèdre, tout en n'utilisant que des calculs matriciels de rang un.
Le papier présente LLaVE, un cadre d'apprentissage contrastif pondéré par la difficulté qui améliore l'entraînement des modèles d'encodage multimodaux pour mieux distinguer les paires négatives difficiles, permettant ainsi d'atteindre des performances de pointe sur le benchmark MMEB avec une meilleure efficacité que les modèles précédents.
Le papier présente Vision-R1, un modèle multimodal de langage qui améliore les capacités de raisonnement grâce à une stratégie d'entraînement par apprentissage par renforcement combinant un jeu de données de chaîne de pensée initialisé automatiquement et une suppression progressive de la sur-réflexion, atteignant ainsi des performances compétitives sur les benchmarks de raisonnement mathématique.
Ce papier présente eMIGM, un modèle unifié de génération d'images masquées qui, grâce à une exploration rigoureuse de l'espace de conception, surpasse des modèles de référence comme VAR et EDM2 sur ImageNet tout en nécessitant moins de calculs.
Cette étude révèle que la plupart des articles SIGIR 2022 sur les systèmes de recommandation basés sur le passage de messages souffrent de pratiques erronées, d'incohérences entre les artefacts et les descriptions, et de comparaisons biaisées, rendant leurs résultats et leurs affirmations de progrès non reproductibles et non validés.
Cet article démontre théoriquement et valide empiriquement que la prédiction du prochain token permet aux grands modèles de langage d'apprendre des concepts latents interprétables par l'humain, dont les représentations correspondent approximativement aux logarithmes des probabilités a posteriori de ces concepts.
Cet article présente un cadre d'évaluation multi-objectif, agnostique et disponible publiquement, conçu pour analyser et visualiser les compromis entre utilité et équité dans les systèmes d'apprentissage automatique, en mettant particulièrement l'accent sur leur application critique dans le domaine de l'imagerie médicale.
Cet article présente un ensemble de données de référence composé de 624 échantillons 2D haute résolution issus de simulations numériques, conçu pour entraîner et évaluer des modèles d'apprentissage automatique simulant les interactions poreuses entre le CO2 et l'eau dans le contexte du stockage géologique.