2781 articles
Ce papier présente LAP, un modèle de planification de procédures qui surpasse les méthodes existantes en exploitant la richesse des descriptions textuelles issues d'un modèle vision-langage pour générer des séquences d'actions plus précises dans les vidéos d'instruction.
LogoDiffuser est une méthode sans entraînement qui génère et stylise des logos multilingues en injectant des cartes d'attention issues d'images de caractères cibles dans un transformateur de diffusion multimodal, garantissant ainsi le contrôle de la structure des lettres sans déformation.
Ce papier présente PanoAffordanceNet, un cadre novateur et un nouveau jeu de données 360-AGD conçus pour résoudre les défis de l'ancrage holistique des affordances dans les environnements intérieurs panoramiques en surmontant les distorsions géométriques et la dispersion sémantique grâce à des mécanismes de calibration et de densification spécifiques.
Ce papier propose une méthode efficace de personnalisation des modèles vision-langage qui exploite les mécanismes d'attention internes pour extraire des tokens visuels mémorisant des concepts spécifiques, permettant ainsi une adaptation performante sans étapes d'entraînement supplémentaires.
Ce papier démontre que les défenses actuelles contre les portes dérobées sont incomplètes car elles se concentrent uniquement sur la suppression des déclencheurs d'entraînement, alors que des déclencheurs alternatifs peuvent exploiter des directions de porte dérobée latentes dans l'espace des caractéristiques pour activer la backdoor.
Cet article met en évidence l'omission fréquente des concepts absents dans les méthodes d'IA explicable (XAI) et propose des extensions simples aux techniques d'attribution et de visualisation pour révéler ces absences codées, améliorant ainsi l'interprétabilité et le débiaisage des modèles.
Cet article présente la première exploration de l'adaptation test-temps pour l'anticipation d'actions entre les vues égocentrique et exocentrique, en proposant un réseau innovant (DCPGN) qui utilise une croissance de prototypes multi-étiquettes et une cohérence de double indice visuel-textuel pour surmonter les écarts spatio-temporels sans nécessiter de données cibles supplémentaires.
Ce papier présente RA-SSU, une nouvelle tâche d'apprentissage audio-visuel à granularité fine, accompagnée de deux nouveaux jeux de données annotés (f-Music et f-Lifescene) et d'un modèle de référence nommé SSUFormer, conçu pour réaliser une segmentation précise des sources sonores et générer des descriptions textuelles détaillées au niveau de chaque image.
ConfCtrl est un cadre d'interpolation vidéo basé sur l'attention à la confiance qui permet aux modèles de diffusion de générer des vues nouvelles géométriquement cohérentes et plausibles à partir de deux images, en combinant des nuages de points projetés avec des corrections résiduelles pour suivre précisément les trajectoires de caméra tout en reconstruisant les régions non vues.
Le papier présente BrainSTR, un cadre d'apprentissage contrastif spatio-temporel conçu pour modéliser les réseaux cérébraux dynamiques de manière interprétable en identifiant des phases critiques et des sous-réseaux pertinents pour le diagnostic de troubles neuropsychiatriques tels que l'autisme, le trouble bipolaire et la dépression.
Ce papier présente VLM-Loc, un cadre innovant qui exploite le raisonnement spatial des modèles vision-langage pour la localisation texte-nuage de points, en transformant les nuages en images et graphes de scène pour une meilleure précision, et introduit le benchmark CityLoc pour évaluer cette approche.
Cet article présente MA-EgoQA, un nouveau benchmark et une tâche de question-réponse conçus pour évaluer la capacité des modèles à comprendre et à agréger des flux vidéo égocentriques provenant de multiples agents incarnés, révélant ainsi les limites actuelles des approches dans ce domaine.
CycleULM est un cadre d'apprentissage profond unifié et sans étiquettes qui surpasse les méthodes existantes en améliorant la résolution et la précision de la localisation des microbulles pour la microscopie de localisation par ultrasons, tout en permettant un traitement en temps réel sans nécessiter de données d'entraînement annotées.
Le papier présente MissBench, un nouveau cadre et benchmark pour l'analyse affective multimodale qui standardise les protocoles de données manquantes déséquilibrées et introduit deux métriques diagnostiques (MEI et MLI) pour révéler les inégalités modales et les déséquilibres d'optimisation souvent masqués par les évaluations traditionnelles.
Ce rapport présente InternVL-U, un modèle multimodal unifié léger de 4 milliards de paramètres qui démocratise les capacités de compréhension, de raisonnement, de génération et d'édition en surpassant des modèles plus volumineux grâce à une architecture modulaire et un pipeline de données axé sur le raisonnement.
Le papier présente DISPLAY, un cadre de génération vidéo d'interactions humain-objet qui utilise une guidance de mouvement épars (coordonnées du poignet et boîte englobante) et une attention focalisée sur l'objet pour produire des vidéos réalistes et contrôlables sans dépendre de signaux de contrôle denses ou de vidéos modèles.
Cet article présente CourtSI, le premier jeu de données à grande échelle et le benchmark CourtSI-Bench dédiés à l'évaluation et à l'amélioration de l'intelligence spatiale des modèles vision-langage dans les sports de raquette, démontrant ainsi leur potentiel pour combler l'écart de performance entre l'IA et l'humain dans des scénarios dynamiques complexes.
Le papier présente WikiCLIP, un cadre efficace et performant pour la reconnaissance d'entités visuelles en domaine ouvert qui, en exploitant des embeddings de modèles de langage et un adaptateur guidé par la vision, surpasse les méthodes génératives existantes tout en réduisant considérablement la latence d'inférence.
Cet article démontre que l'optimisation directe de la distance de Chamfer conduit inévitablement à un effondrement structurel dû à l'absence de couplage non local, et propose que l'introduction de contraintes de couplage global, telles qu'un prior MPM différentiable, est la condition nécessaire pour supprimer ce phénomène et améliorer la reconstruction de formes 3D.
Cet article propose une méthode de récupération de mouvement textuel interprétable qui utilise une représentation d'images de mouvements basée sur les angles articulaires et une interaction tardive token-patch pour surpasser les approches existantes en préservant les correspondances locales fines.