1472 articles
Ce papier présente OmniEarth, un nouveau benchmark complet évaluant les modèles vision-langage dans des scénarios d'observation de la Terre à travers 28 tâches de perception, de raisonnement et de robustesse, révélant ainsi les lacunes actuelles des modèles existants face à la complexité géospatiale.
Le papier présente PruneSID, une méthode sans entraînement pour la compression de tokens visuels dans les modèles vision-langage qui, en combinant une analyse des composantes sémantiques principales et une suppression non maximale intra-groupe, atteint des performances de pointe tout en réduisant drastiquement le nombre de tokens et en accélérant le préremplissage.
Cet article propose un cadre novateur de génération d'images à partir de croquis, basé sur une architecture en deux étapes intégrant un autoencodeur à auto-attention et une fusion préservant les coordonnées, qui surpasse les modèles actuels en fidélité et en cohérence spatiale sur divers domaines.
Ce papier propose la distillation diagonale, une méthode asymétrique qui optimise la génération de vidéos en flux continu via des modèles de diffusion en exploitant les dépendances temporelles et en alignant les prédictions de bruit pour réduire la latence tout en préservant la cohérence du mouvement.
L'article présente EvoPrompt, un cadre novateur qui assure une adaptation stable et sans oubli des modèles vision-langage pré-entraînés vers des tâches à peu d'exemples en guidant l'évolution des prompts via un projecteur partagé, une stratégie de mise à jour hiérarchique et une régularisation géométrique des caractéristiques.
Le papier propose SurgFed, un cadre d'apprentissage fédéré multi-tâches guidé par le langage qui améliore la segmentation et l'estimation de profondeur dans les vidéos chirurgicales en surmontant les défis de la diversité tissulaire et des tâches grâce à la sélection de canaux et à une agrégation hyper-personnalisée.
Le papier présente Context-Nav, une méthode sans apprentissage spécifique qui améliore la navigation d'instances en utilisant des alignements texte-image denses pour guider l'exploration globale et une vérification 3D consciente du point de vue pour valider les candidats, atteignant ainsi des performances de pointe sur InstanceNav et CoIN-Bench.
Cet article examine la fiabilité des modèles vision-langage pour la conduite autonome en identifiant leurs limites en matière de cohérence et de raisonnement temporel, puis propose le benchmark FutureVQA et une méthode d'ajustement auto-supervisé pour améliorer ces capacités sans nécessiter d'étiquettes temporelles.
Le papier présente RESBev, une méthode résiliente et plug-and-play qui améliore la robustesse des perceptions en vue aérienne (BEV) face aux dégradations de capteurs et aux attaques adverses en prédisant des caractéristiques saines via un modèle latent du monde.
Le papier présente DCAU-Net, un cadre de segmentation d'images médicales innovant qui améliore la précision et l'efficacité grâce à une nouvelle attention croisée différentielle pour capturer les structures discriminantes et une fusion de caractéristiques canal-spatial pour intégrer adaptativement les informations sémantiques et spatiales.
Cette étude démontre que la progression radiologique de la fibroélastose pleuroparenchymateuse (PPFE) sur les scanners thoraciques à faible dose est un facteur prédictif indépendant de mortalité et d'admissions respiratoires dans deux grandes cohortes de dépistage du cancer du poumon.
Cet article propose une stratégie d'entraînement par renforcement basée sur l'optimisation de politique relative de groupe (GRPO) étendue au domaine multimodal, permettant aux modèles unifiés d'acquérir la capacité de générer des sorties intercalées texte-image cohérentes sans dépendre de vastes jeux de données spécialisés.
Cet article présente DynHiL-EQA, un nouveau jeu de données pour l'analyse de questions-réponses incarnées dans des environnements dynamiques, ainsi que DIVRR, un cadre d'inférence sans entraînement qui améliore la robustesse et l'efficacité en affinant les vues et en sélectionnant sélectivement la mémoire pour gérer les occlusions et les changements temporels.
Cette étude présente une analyse comparative approfondie de diverses méthodes d'imagerie non-ligne-de-vue par temps de vol, en les unifiant sous un modèle commun pour évaluer leurs performances, limites et similitudes dans des conditions expérimentales standardisées.
Le papier présente GeoSolver, un cadre innovant qui améliore le raisonnement étape par étape dans l'interprétation de l'imagerie satellitaire en utilisant une supervision de processus granulaire et un apprentissage par renforcement pour garantir la fidélité visuelle et permettre une mise à l'échelle efficace du temps de test.
Le papier présente GeoAlignCLIP, un cadre unifié qui améliore l'alignement vision-langage à granularité fine dans la télédétection grâce à l'apprentissage de cohérence multi-granulaire et à un nouveau jeu de données nommé RSFG-100k, surpassant ainsi les méthodes existantes sur divers benchmarks.
Cet article présente le paradigme de modélisation langage-panorama (PLM) et le jeu de données PanoVQA pour des scènes omni-environnementales défavorables, démontrant qu'une compréhension holistique des panoramas dépasse la simple somme des perceptions par vues étroites.
Ce papier présente BinaryAttention, une méthode innovante qui remplace les produits scalaires flottants par des opérations binaires sur les signes des requêtes et des clés pour accélérer les Transformers de vision et de diffusion d'un facteur supérieur à deux tout en préservant, voire en surpassant, la précision du modèle complet grâce à un biais apprenable et à des techniques d'entraînement quantification-conscient.
Le papier présente ParTY, un cadre novateur qui améliore l'expressivité des mouvements de synthèse texte-à-mouvement en alignant sémantiquement les descriptions textuelles sur des parties spécifiques du corps tout en assurant la cohérence du mouvement global grâce à un réseau guidé par les parties, un ancrage textuel adaptatif et une fusion holistique-partielle.
Cette étude propose une méthode de classification d'images inspirée des mouvements saccadiers humains, utilisant les cartes d'attention du modèle auto-supervisé DINO pour cibler sélectivement les régions pertinentes et ainsi atteindre, voire dépasser, les performances de l'analyse d'image complète tout en optimisant l'efficacité computationnelle.