2565 articles
Ce papier présente BinaryAttention, une méthode innovante qui remplace les produits scalaires flottants par des opérations binaires sur les signes des requêtes et des clés pour accélérer les Transformers de vision et de diffusion d'un facteur supérieur à deux tout en préservant, voire en surpassant, la précision du modèle complet grâce à un biais apprenable et à des techniques d'entraînement quantification-conscient.
Le papier présente ParTY, un cadre novateur qui améliore l'expressivité des mouvements de synthèse texte-à-mouvement en alignant sémantiquement les descriptions textuelles sur des parties spécifiques du corps tout en assurant la cohérence du mouvement global grâce à un réseau guidé par les parties, un ancrage textuel adaptatif et une fusion holistique-partielle.
Cette étude propose une méthode de classification d'images inspirée des mouvements saccadiers humains, utilisant les cartes d'attention du modèle auto-supervisé DINO pour cibler sélectivement les régions pertinentes et ainsi atteindre, voire dépasser, les performances de l'analyse d'image complète tout en optimisant l'efficacité computationnelle.
Cet article propose un cadre de super-résolution IRM en zéro tirage utilisant une représentation explicite par gaussiennes et un rendu volumique guidé par la physique pour surmonter les compromis entre la dépendance aux données appariées et le coût computationnel des méthodes existantes.
Ce papier présente QDR, un cadre de distillation sans décodeur qui surmonte les défis de l'entraînement quantifié pour la restauration d'images en éliminant les incohérences de capacité et en stabilisant l'optimisation, permettant ainsi à un modèle Int8 de récupérer 96,5 % des performances FP32 tout en atteignant 442 images par seconde sur un périphérique embarqué.
Cet article propose un cadre fondé sur la vision et le langage pour générer et évaluer des données synthétiques interprétables en télédétection, introduisant le jeu de données ARAS400k qui démontre que l'entraînement combiné à des données réelles et synthétiques surpasse systématiquement les modèles basés uniquement sur des données réelles pour les tâches de segmentation sémantique et de légendage d'images.
Ce papier présente X-GS, un cadre open-source extensible qui unifie les techniques de 3DGS pour permettre une SLAM en ligne temps réel enrichie de sémantique et interconnectée avec des modèles multimodaux avancés.
Cet article présente OTPL-VIO, un système de odométrie visuelle-inertielle stéréo robuste qui améliore la précision et la fiabilité dans des environnements à faible texture ou à éclairage variable en associant des segments de ligne via un transport optimal et des descripteurs profonds sans apprentissage, tout en adaptant dynamiquement le poids des contraintes de ligne pour atténuer le bruit de mesure.
Le papier présente KV-Lock, un cadre sans entraînement pour les modèles de diffusion vidéo basés sur DiT, qui améliore la qualité du premier plan tout en préservant la cohérence de l'arrière-plan en ajustant dynamiquement le verrouillage des clés-valeurs et l'échelle de guidage en fonction de la détection d'hallucinations.
DiffWind est un cadre de modélisation différentiable guidé par la physique qui permet de reconstruire et de simuler avec précision la dynamique d'objets déformables sous l'effet du vent en unifiant l'interaction vent-objet, la reconstruction vidéo et la simulation, tout en garantissant la validité physique grâce à des contraintes de dynamique des fluides.
Le papier présente VarSplat, un système de SLAM RGB-D basé sur le splatting gaussien 3D qui améliore la robustesse en apprenant explicitement la variance d'apparence par gaussienne pour générer des cartes d'incertitude différentielles guidant l'estimation de pose et l'optimisation.
Ce papier présente FootMR, une méthode de raffinement du mouvement des pieds qui améliore la reconstruction 3D dans la capture de mouvement humaine sans marqueurs en levant des repères 2D vers la 3D grâce à des données de capture de mouvement à grande échelle et en introduisant le nouveau jeu de données MOOF pour l'évaluation.
Ce papier présente AutoViVQA, un grand ensemble de données construit automatiquement pour le Questionnement Visuel en vietnamien, et explore l'utilisation d'architectures basées sur les transformers ainsi que l'évaluation de différentes métriques automatiques pour améliorer l'alignement avec le jugement humain dans ce contexte multilingue.
Le papier présente DRIFT, une architecture Transformer à double représentation qui fusionne des caractéristiques locales et globales pour améliorer la détection d'objets et l'estimation de la route libre à partir de nuages de points radar 4D, surpassant ainsi les méthodes existantes sur des ensembles de données publics et internes.
Le papier présente TemporalDoRA, une méthode d'adaptation efficace des paramètres intégrant une attention temporelle au sein du goulot d'étranglement d'apprentissage pour améliorer la robustesse et la précision de la réponse aux questions sur des vidéos chirurgicales, validée sur le nouveau jeu de données REAL-Colon-VQA.
Le papier propose TriFusion-SR, un cadre de diffusion conditionnelle guidé par les ondelettes qui réalise une fusion et une super-résolution conjointes d'images médicales tri-modales en décomposant les caractéristiques en bandes de fréquence pour améliorer la qualité diagnostique et réduire les artefacts.
Le papier présente ProGS, un nouveau codec de streaming qui organise les données de 3D Gaussian Splatting dans une structure d'octree pour permettre un codage progressif, réduisant ainsi la taille de stockage de 45 fois tout en améliorant la fidélité visuelle de plus de 10 %.
Ce papier présente GSStream, un système innovant de diffusion de scènes volumétriques en 3D Gaussian Splatting qui combine une prédiction collaborative de la vue et une adaptation du débit par apprentissage par renforcement profond pour surmonter les défis de bande passante et offrir une expérience immersive de haute qualité.
Le papier présente FrameDiT, une architecture de transformateur de diffusion qui introduit l'attention matricielle au niveau des images pour concilier efficacité et cohérence temporelle dans la génération vidéo, surpassant ainsi les méthodes existantes sur plusieurs benchmarks.
Ce papier présente EXPLORE-Bench, un nouveau benchmark évaluant la capacité des modèles de langage multimodaux à prédire les scènes finales d'actions à long terme dans des vidéos à la première personne, révélant ainsi un écart significatif par rapport aux performances humaines et l'importance du raisonnement étape par étape.