5561 articles
Cet article propose une méthode en deux étapes utilisant un VQ-VAE et un modèle causal dans l'espace latent pour générer des IRM cérébrales 3D de haute qualité et diversifiées, surmontant ainsi les limitations des modèles génératifs et causaux existants face aux données médicales de petite taille.
Ce papier propose le MV-Adapter, un module d'attention canal adaptatif intégré à l'architecture USIS-SAM, qui améliore significativement la segmentation d'instances sous-marine en compensant dynamiquement les défis environnementaux tels que l'atténuation lumineuse et la distorsion des couleurs.
L'article présente XPoint, une architecture auto-supervisée et modulaire basée sur le modèle VMamba, conçue pour surmonter les défis de l'appariement d'images multispectrales en s'adaptant rapidement à divers couples de modalités sans nécessiter de données étiquetées coûteuses.
Le papier présente EchoMimicV2, une méthode d'animation humaine mi-corps qui, grâce à une harmonisation dynamique audio-poser, une attention partielle sur la tête et une perte de débruitage spécifique aux phases, génère des animations expressives et détaillées tout en simplifiant les conditions d'entrée et en surpassant les méthodes existantes.
Ce papier présente MFP3D, un nouveau cadre utilisant une seule image monoculaire pour estimer avec précision les portions alimentaires en reconstruisant un nuage de points 3D et en combinant ces données avec des caractéristiques d'image 2D pour prédire le volume et l'énergie.
Ce papier propose le paradigme « Grounding-IQA », qui intègre la localisation visuelle aux modèles de langage multimodaux pour améliorer l'évaluation de la qualité d'image, en s'appuyant sur un nouveau jeu de données annoté automatiquement (GIQA-160K) et un benchmark dédié (GIQA-Bench) pour évaluer la description, la réponse aux questions et la précision de la localisation.
Ce papier présente DAWN-FM, une méthode de Flow Matching intégrant des embeddings de données et de bruit pour résoudre de manière robuste les problèmes inverses mal posés tout en permettant une quantification de l'incertitude.
Le papier propose FiLo++, une méthode de détection d'anomalies en contexte zéro ou peu-shot qui améliore la précision et la localisation grâce à des descriptions textuelles fines générées par des modèles de langage et à un module de localisation déformable basé sur Grounding DINO.
Cet article présente des fonctions d'activation basées sur des bases orthogonales (polynomiales, trigonométriques et tropicales) qui, grâce à une initialisation préservant la variance, permettent d'entraîner efficacement des modèles profonds comme GPT-2 et ConvNeXt tout en évitant les problèmes d'explosion ou de disparition des gradients et en facilitant le fine-tuning via l'interpolation d'Hermite.
Cette étude démontre que l'inférence générative profonde appliquée aux cartes de perfusion calculées à partir d'angiographies CT permet de localiser les substrats neuraux des déficits liés à l'AVC ischémique avec une grande fidélité anatomique, offrant ainsi un outil clinique et scientifique prometteur pour la caractérisation précoce des lésions sans nécessiter la connaissance préalable de la lésion parenchymateuse.
Cette étude démontre que le modèle CLIP encode bien les relations d'attribution objet-qualité de manière unimodale, mais que cette information est perdue lors de l'alignement intermodal, un problème que l'on peut résoudre efficacement par une simple transformation linéaire sans réentraînement coûteux.
Le papier présente WorldSense, le premier benchmark omnimodal évaluant la compréhension vidéo intégrée (visuel, audio, texte) à travers 1 662 vidéos annotées par des experts et 3 172 questions, révélant que les modèles actuels peinent encore à maîtriser les scénarios réels complexes.
Cette étude démontre que moins de 1 % des paramètres d'un modèle de diffusion, localisés exclusivement dans ses couches d'attention, suffisent à générer du texte dans les images, permettant ainsi d'améliorer l'efficacité du fine-tuning, d'éditer le contenu textuel et de prévenir la génération de textes toxiques de manière universelle et économique.
Cet article présente un cadre d'adaptation robuste pour les grands modèles multimodaux qui améliore la détection des mèmes haineux en augmentant la précision intra-domaine, la généralisation inter-domaines et la résilience aux attaques adverses, tout en surpassant les systèmes existants et en fournissant des justifications plus interprétables.
Ce papier présente Jumbo, une architecture de Vision Transformer (ViT) qui accélère le traitement en réduisant la largeur des tokens de patchs tout en ajoutant un token global « Jumbo » plus large et efficace, permettant d'améliorer la précision et l'adaptabilité sur diverses tâches sans sacrifier la compatibilité ni la simplicité des ViT standards.
Ce papier présente MemeIntel, une approche qui améliore la détection des memes propagandistes et haineux en introduisant le jeu de données MemeXplain et une optimisation multi-étape pour les modèles vision-langage, permettant ainsi de générer simultanément des prédictions précises et des explications rationnelles.
Le papier présente OpenFly, une plateforme complète pour la navigation aérienne vision-langage qui intègre des moteurs de rendu avancés, un outil automatisé de collecte de données et un vaste benchmark de 100 000 trajectoires pour combler le manque d'études dans ce domaine.
Le papier présente LLaVE, un cadre d'apprentissage contrastif pondéré par la difficulté qui améliore l'entraînement des modèles d'encodage multimodaux pour mieux distinguer les paires négatives difficiles, permettant ainsi d'atteindre des performances de pointe sur le benchmark MMEB avec une meilleure efficacité que les modèles précédents.
Le papier présente Vision-R1, un modèle multimodal de langage qui améliore les capacités de raisonnement grâce à une stratégie d'entraînement par apprentissage par renforcement combinant un jeu de données de chaîne de pensée initialisé automatiquement et une suppression progressive de la sur-réflexion, atteignant ainsi des performances compétitives sur les benchmarks de raisonnement mathématique.
Ce papier présente SemHiTok, un décodeur d'images unifié innovant qui utilise un codebook hiérarchique guidé par la sémantique pour concilier efficacement les exigences contradictoires de la compréhension et de la génération multimodales.