1877 articles
Le papier propose Graph-of-Mark (GoM), une technique de prompt visuel au niveau des pixels qui superpose des graphes de scène aux images pour améliorer la capacité de raisonnement spatial des modèles de langage multimodaux en capturant les relations entre les objets, surpassant ainsi les méthodes existantes comme Set-of-Mark.
Ce papier présente une méthode d'optimisation système pour l'inférence de modèles de génération vidéo basés sur les Diffusion Transformers, utilisant un encodage de position 3D séquentiel-parallèle avec un index temporel global pour réduire la latence et l'empreinte mémoire tout en permettant une génération vidéo quasi temps réel.
Cette étude révèle que l'approche « chaîne de pensée » (CoT) dégrade souvent les performances des modèles vision-langage en médecine en raison d'un goulot d'étranglement perceptif, et propose des interventions d'ancrage visuel pour restaurer la précision diagnostique.
Ce papier présente SJD-PV, un cadre d'accélération sans entraînement pour la génération d'images autoregressive qui améliore l'efficacité du décodage jusqu'à 30 % en vérifiant simultanément des groupes de tokens corrélés, appelés « phrases », plutôt que de les traiter individuellement.
Le papier présente CalibFusion, une méthode de fusion Radar-Caméra basée sur des transformateurs qui affine de manière différentiable l'étalonnage extrinsèque pour améliorer la détection 2D dans les environnements aquatiques, en surmontant les défis liés aux textures limitées et aux interférences des vagues.
Cette étude démontre que l'initialisation par bruit sémantique, bien qu'efficace pour les images, n'apporte pas d'amélioration statistiquement significative aux modèles de génération vidéo par rapport au bruit gaussien standard, soulignant ainsi la nécessité de diagnostics spécifiques dans l'espace du bruit pour ce domaine.
Cet article propose une méthode d'apprentissage profond non supervisée, basée sur un autoencodeur convolutif et une nouvelle fonction de perte de distance angulaire spectrale pondérée, pour décomposer automatiquement et objectivement les images hyperspectrales infrarouges de coupes transversales de peintures à l'huile historiques, comme démontré sur le Retable de Gand.
Le papier présente AutoFigure-Edit, un système intégré capable de générer à partir de textes scientifiques longs des illustrations vectorielles (SVG) entièrement modifiables et adaptables stylistiquement grâce à des images de référence, comblant ainsi les lacunes des systèmes automatisés existants en matière d'édition, de contrôle stylistique et d'efficacité.
Cette étude propose un modèle hybride de classification combinant l'apprentissage par quelques exemples (FSL) et l'intelligence artificielle explicable (XAI) pour identifier avec précision et transparence les maladies des feuilles de maïs, de riz et de blé, même avec des données annotées limitées.
Cet article propose PRPO, une méthode d'optimisation de politique relative parallèle, et MCDR-Bench, une nouvelle plateforme d'évaluation, pour surmonter les limitations actuelles des modèles LVLMs dans l'analyse approfondie de graphiques en résolvant les conflits d'entraînement et en permettant une évaluation objective des capacités de raisonnement complexe.
Ce papier présente MultiGen, un moteur de jeu basé sur la diffusion qui intègre une mémoire externe persistante et modifiable pour permettre un contrôle éditables des environnements et une génération cohérente de mondes multijoueurs interactifs.
Ce papier présente VB, un nouveau benchmark conçu pour évaluer la capacité des modèles vision-langage à déterminer la visibilité d'éléments dans une image et à savoir s'abstenir lorsque la réponse est incertaine, en utilisant des modifications minimales contrôlées pour vérifier la robustesse et la cohérence de leurs jugements.
Ce papier présente RADAR, un nouveau benchmark multimodal axé sur l'analyse des écarts dans les rapports de radiologie abdominale en 3D, conçu pour évaluer la capacité des modèles à réviser et à juger des modifications apportées aux rapports préliminaires par des radiologues seniors.
Le papier présente ECHO, un cadre multi-agents qui améliore l'extraction d'événements multimédias en itérant sur une hypergraphe d'événements partagée et en appliquant une stratégie de liaison avant attribution pour réduire les erreurs de propagation et surpasser les méthodes actuelles.
Cet article présente une méthode innovante utilisant la photogrammétrie par mouvement de structure (SfM) et des algorithmes de segmentation 3D sur des images mobiles pour reconstruire et analyser la taille et la forme des granulats dans les stockpiles, offrant ainsi un outil potentiel pour le contrôle qualité sur chantier.
Le papier présente TimeSpot, un nouveau benchmark évaluant la capacité des modèles vision-langage à déduire des attributs géographiques et temporels à partir d'images réelles, révélant ainsi des lacunes significatives dans leur raisonnement spatio-temporel physique.
Le papier présente « Narrative Weaver », un cadre novateur qui résout le défi de la cohérence visuelle à long terme et du contrôle multimodal dans la génération de contenu en intégrant une planification narrative par un modèle de langage multimodal, un module de contrôle fin avec mémoire dynamique, et une stratégie d'entraînement progressive, le tout validé par un nouveau jeu de données dédié à la publicité e-commerce.
Cet article présente une nouvelle méthode d'apprentissage non supervisé combinant filtrage convolutif et réseaux de neurones pour reconstruire avec une haute résolution les images de faisceaux d'ions bruitées dans les accélérateurs de particules, permettant ainsi une détection inédite des structures de halo au-delà de sept écarts-types sans nécessiter de jeux de données d'entraînement.
Cette étude évalue l'adaptation du modèle fondamental géospatial TerraMind aux tâches d'imagerie hyperspectrale via des stratégies d'ajustement spectral, révélant que bien que l'adaptation soit possible avec une baisse de performance modérée, les modèles natifs restent supérieurs et soulignent la nécessité d'intégrer nativement les données spectrales dans les futures architectures.
Cet article présente un cadre robuste de détection en un seul tir de volant de badminton pour robots mobiles, incluant un nouveau jeu de données annoté semi-automatiquement et un modèle YOLOv8 optimisé pour gérer les vues égocentriques dynamiques et les environnements variés.