5306 articles
Cet article propose le cadre « Dual Tuning » pour quantifier les gains du raisonnement dans les tâches multimodales et définir une « frontière de pensée » qui détermine quand l'entraînement au raisonnement est bénéfique, remettant ainsi en question le paradigme du raisonnement universel et guidant le développement de systèmes adaptatifs plus efficaces.
Le papier présente SkillNet, une infrastructure open-source qui permet de créer, évaluer et connecter des compétences d'IA à grande échelle via une ontologie unifiée, améliorant ainsi significativement les performances des agents en évitant la redécouverte constante de solutions.
Cet article propose une approche d'apprentissage profond multi-modal intégrant des réseaux de neurones 3D pour la vidéo et la pose, ainsi qu'un mécanisme d'attention croisée pour les objets, afin d'améliorer la reconnaissance des activités quotidiennes des personnes âgées dans le cadre de la vie assistée ambiante.
Ce papier présente InverseNet, le premier benchmark intermodalité évaluant l'impact du décalage entre les opérateurs théoriques et réels en imagerie compressive, révélant que les méthodes d'apprentissage profond perdent leur avantage face aux bases classiques en cas de désaccord et démontrant que l'adaptation aux opérateurs est cruciale pour la robustesse et la calibration aveugle.
Cette étude analyse diverses stratégies de fusion et de regroupement dans des modèles d'apprentissage profond pour la classification des zones climatiques locales à partir de données de télédétection multimodales, démontrant que l'approche hybride de base combinée au regroupement des bandes et à la fusion des étiquettes atteint la meilleure précision globale de 76,6 % sur le jeu de données So2Sat LCZ42.
Cet article propose un cadre de diffusion unifié nommé Dual-LoRA Controllable Diffusion, qui utilise des priorités spatiales légères sous forme de centroïdes de noyaux et des adaptateurs LoRA spécialisés pour réaliser simultanément la complétion de structures locales et la synthèse globale d'images d'histopathologie, surpassant ainsi les méthodes existantes en termes de fidélité structurelle et de réalisme morphologique.
Ce papier présente le Partial Vision Mamba (PVM), une nouvelle composante architecturale qui adapte les principes des convolutions partielles aux modèles à espace d'état comme Mamba, permettant ainsi de traiter efficacement des données d'entrée comportant des régions invalides arbitraires pour des tâches telles que la complétion de profondeur, l'inpainting d'images et la classification.
Le papier présente PinPoint, un benchmark complet pour l'analyse d'images composé (CIR) intégrant des réponses multiples, des négatifs explicites et des paraphrases, qui révèle des lacunes significatives dans les méthodes actuelles et propose une méthode de réordonnancement basée sur un MLLM pour les améliorer.
Le modèle SGR3 propose un cadre sans entraînement pour la génération de graphes de scènes 3D en combinant des modèles de langage multimodaux avec une génération augmentée par la récupération (RAG) et une sélection de similarité au niveau des patches, permettant ainsi un raisonnement relationnel robuste sans reconstruction 3D explicite.
Spinverse est une méthode de reconstruction microstructurale pour l'IRM de diffusion qui utilise un simulateur de Bloch-Torrey entièrement différentiable pour inverser les mesures en optimisant les perméabilités des faces d'un maillage tétraédrique, permettant ainsi de découvrir des interfaces tissulaires explicites et perméables sans fixer leur topologie à l'avance.
Cette étude démontre que l'approche multimodale combinant des modèles de vision et de langage (GPT-4.1-nano) permet de prédire avec une plus grande précision la difficulté des items de test de littératie en visualisation de données pour les adultes américains, surpassant ainsi les méthodes unimodales basées uniquement sur le texte ou l'image.
Cet article propose une méthode appelée sFRC, basée sur l'analyse de corrélation de Fourier sur de petits patches, pour détecter et quantifier les hallucinations dans les images médicales restaurées par apprentissage profond, démontrant ainsi son efficacité sur divers problèmes de sous-échantillonnage en CT et IRM.
Cet article présente PulseFocus, une méthode d'inférence sans entraînement qui améliore la compréhension d'images multiples par les modèles vision-langage en structurant le raisonnement pour corriger les pulsions d'attention diffuses et les biais positionnels observés lors de la génération de chaînes de pensée.
Cette étude présente une évaluation systématique des méthodes de compression de réseaux de neurones (élagage, quantification et distillation de connaissances) pour la classification d'images hyperspectrales, démontrant qu'elles permettent de réduire significativement la taille et le coût computationnel des modèles tout en maintenant des performances de classification compétitives pour le déploiement sur des plateformes à ressources limitées.
Bien que les grands modèles multimodaux (MLLM) offrent une nouvelle approche pour la détection d'anomalies vidéo via le raisonnement linguistique, cette étude révèle que leur utilisation en mode zéro-shot sur des benchmarks réels souffre d'un biais conservateur entraînant un effondrement du rappel, bien que des instructions spécifiques puissent significativement améliorer les performances globales.
FOZO propose une méthode d'optimisation de prompt sans rétropropagation et économe en mémoire pour l'adaptation au moment du test, utilisant une estimation de gradient d'ordre zéro avec une échelle de perturbation décroissante pour surpasser les méthodes existantes sur des dispositifs à ressources limitées.
Ce papier présente Real-IISR, un cadre unifié d'autorégression guidé par des priors thermiques-structuraux et un nouveau jeu de données FLIR-IISR, conçus pour relever les défis de la super-résolution d'images infrarouges dans des conditions réelles en gérant les dégradations optiques et de capteurs complexes.
Bien que la famille de modèles GPT-5 représente une avancée significative vers un raisonnement clinique multimodal intégré en surpassant GPT-4o dans la synthèse textuelle et l'analyse d'images, cette étude démontre qu'elle ne remplace pas encore les systèmes spécialisés dans des tâches de perception critique hautement spécifiques comme la neuroradiologie et la mammographie.
Ce papier propose une nouvelle architecture GAMDSS qui améliore la reconnaissance des micro-expressions en corrigeant les biais d'annotation humaine, notamment dans les contextes interculturels, grâce à une sélection dynamique de cadres clés et une modélisation spatio-temporelle optimisée sans augmenter le nombre de paramètres.
Cet article présente DSA-SRGS, un cadre pionnier de super-résolution par Gaussian Splatting conçu pour reconstruire des modèles 4D de vaisseaux sanguins à haute fidélité à partir de projections DSA dynamiques et peu nombreuses, en intégrant des modules d'apprentissage de texture multi-fidélité et de densification radiative sub-pixel pour surmonter les limitations de résolution et les artefacts des méthodes existantes.