3898 articles
Ce papier présente SGG-R³, un cadre de raisonnement structuré combinant un ajustement fin supervisé avec augmentation des relations et un apprentissage par renforcement optimisé par GSPO, conçu pour générer des graphes de scènes complets et non biaisés en surmontant les problèmes de distribution à longue traîne et de raisonnement insuffisant des modèles actuels.
Cet article présente EcoG-Bench, un nouveau benchmark bilingue et strict évaluant la capacité des modèles multimodaux à ancrer les déictiques dans le temps et l'espace en synchronisant la parole et les gestes, révélant ainsi un fossé significatif entre les performances humaines et actuelles dû aux limites des interfaces multimodales.
Cet article présente un cadre de suivi d'instruments chirurgicaux résistant aux occlusions en fusionnant plusieurs modalités de détection au sein d'un graphe de scène dynamique, permettant ainsi une visualisation en réalité augmentée plus robuste et cohérente dans les environnements opératoires complexes.
L'article présente AutoReg3D, un détecteur 3D basé sur LiDAR qui reformule la détection comme une génération de séquence dans un ordre causale de proche en loin, éliminant ainsi les composants traditionnels comme les ancres et la suppression non maximale tout en permettant l'intégration d'outils avancés de modélisation séquentielle.
Le papier présente TeamHOI, un cadre d'apprentissage par renforcement qui permet à une politique décentralisée unique de gérer des interactions coopératives homme-objet réalistes et physiquement plausibles avec un nombre variable d'agents humains, en combinant une architecture Transformer pour la coordination d'équipe et une stratégie de priorité de mouvement adversaire masquée pour pallier le manque de données.
Le papier présente AutoTraces, un modèle vision-langage-trajectoire innovant qui exploite les capacités de raisonnement des grands modèles de langage et une nouvelle tokenisation des trajectoires pour prédire avec précision les mouvements humains dans des environnements peuplés, tout en générant automatiquement des chaînes de pensée pour inférer les relations spatio-temporelles.
Ce papier propose un cadre ViSA amélioré pour la navigation aérienne vision-langage, qui surpasse les méthodes actuelles de 70,3 % en taux de réussite grâce à une architecture collaborative permettant aux modèles vision-langage de raisonner directement sur les plans d'image sans entraînement supplémentaire.
Cette étude présente TickTockVQA, un nouveau jeu de données annoté par des humains contenant des horloges analogiques dans des scénarios réels, ainsi que le cadre d'optimisation Swap-DPO, afin de résoudre les difficultés des modèles vision-langage actuels à lire l'heure et à raisonner spatialement dans des environnements complexes.
Cet article propose un cadre innovant guidé par un dictionnaire partagé qui apprend une représentation commune et effectue une inférence dans l'espace des coefficients pour fusionner des images infrarouges et visibles même lorsque la modalité infrarouge manque, évitant ainsi les problèmes de génération incontrôlée tout en améliorant la qualité perceptuelle et les performances de détection.
Ce papier présente VSDiffusion, un cadre de diffusion à deux étapes contraint par la visibilité qui intègre des priors de visibilité et des indices d'éclairage pour générer des ombres portées réalistes et géométriquement cohérentes lors de la composition d'images.
L'article présente AffordGrasp, un cadre basé sur la diffusion qui génère des poses de préhension humaines physiquement stables et sémantiquement fidèles en comblant le fossé entre les représentations d'objets 3D et les instructions textuelles grâce à une annotation automatique et un processus de conditionnement dual.
Cet article présente MambaDance, une nouvelle méthode de génération de danse qui remplace les Transformers par un modèle de diffusion basé sur Mamba et utilise une représentation des battements musicaux pour produire des mouvements synchronisés et expressifs, surpassant les approches existantes sur des séquences de toutes durées.
Cet article propose un cadre en deux étapes combinant un modèle de texte-vers-squelette autoregressif et un générateur vidéo conditionné par la pose avec un encodeur de référence adaptatif, afin de produire des vidéos de mouvements humains complexes à partir de descriptions textuelles tout en palliant le manque de données synthétiques dédiées.
Le papier présente QualiTeacher, un cadre novateur qui transforme les pseudo-étiquettes imparfaites en signaux d'apprentissage conditionnels basés sur la qualité estimée par une évaluation d'image sans référence, permettant ainsi aux modèles de restauration d'images réelles d'éviter les artefacts et de générer des résultats supérieurs à ceux de leur enseignant.
Cette proposition de solution au 10e défi ABAW présente un cadre multimodal robuste intégrant une attention croisée sécurisée et un dropout de modalité pour surmonter les occlusions, les données manquantes et les déséquilibres de classes, atteignant ainsi une précision de 60,79 % sur le jeu de données Aff-Wild2.
Speed3R est un modèle de reconstruction 3D feed-forward qui surmonte la complexité quadratique des méthodes existantes en utilisant un mécanisme d'attention à double branche inspiré de la structure-from-motion, permettant une accélération d'inférence de 12,4 fois avec un compromis minimal sur la précision géométrique.
Ce papier présente « See & Switch », un cadre interactif d'apprentissage et d'exécution robotique qui utilise la vision pour sélectionner dynamiquement des branches dans des graphes de tâches et détecter les contextes inattendus, permettant ainsi aux utilisateurs novices de programmer efficacement des robots pour des tâches de manipulation complexes.
L'article présente ImageEdit-R1, un cadre multi-agent qui utilise l'apprentissage par renforcement pour coordonner des agents spécialisés dans la compréhension et la génération d'images, permettant ainsi de réaliser des modifications complexes et contextuelles qui surpassent les modèles monolithiques existants.
Cet article propose une architecture de classement novatrice et modulaire qui exploite un modèle vision-langage de grande taille (LVLM) pour modéliser explicitement les relations sémantiques entre les images de drones et les vues satellites, améliorant ainsi considérablement la précision de la géolocalisation grâce à une fonction de perte relationnelle innovante.
Ce papier propose une nouvelle approche d'évaluation des modèles génératifs basée sur l'espace des tokens visuels discrets, introduisant des métriques sans entraînement et un benchmark nommé VisForm qui surpassent les méthodes traditionnelles en corrélant mieux avec les jugements humains.