8938 articles
Cet article présente VisionDrop, un cadre d'élagage visuel sans entraînement qui surmonte les désalignements intermodaux en sélectionnant des tokens visuels informatifs via une attention intra-modale, réduisant ainsi considérablement la latence et le coût computationnel des modèles vision-langage tout en préservant leurs performances.
EchoMimicV3 est un cadre efficace de 1,3 milliard de paramètres qui unifie l'animation humaine multi-tâches et multi-modale grâce à des paradigmes innovants et des stratégies d'entraînement avancées, permettant d'obtenir des performances compétitives tout en réduisant les coûts computationnels.
Ce papier propose CLiFT, une méthode de rendu neuronal adaptatif qui représente les scènes sous forme de « jetons de champ lumineux compressés » pour offrir un compromis efficace entre la taille des données, la qualité du rendu et la vitesse de calcul tout en permettant de moduler dynamiquement le nombre de jetons utilisés.
Ce papier présente SeC, un cadre de segmentation d'objets vidéo basé sur la construction progressive de concepts via des modèles vision-langage, qui établit un nouvel état de l'art en surpassant SAM 2 de 11,8 points sur le nouveau benchmark SeCVOS dédié aux scénarios sémantiquement complexes.
Cet article présente un cadre unifié de jumeaux numériques et robotiques, intégrant des environnements de simulation et des bancs d'essai robotisés du laboratoire SLAB de Stanford, pour valider de manière fiable et modulaire les systèmes de guidage, de navigation et de contrôle (GNC) des opérations de rendez-vous spatial et de vol en formation.
Le papier MonoFusion propose une méthode pour reconstruire des scènes dynamiques à partir d'un petit nombre de vues monoculaires en alignant soigneusement les reconstructions indépendantes de chaque caméra, surpassant ainsi les approches précédentes qui nécessitent des captures multi-vues denses et coûteuses.
Cet article propose HGTS-Former, un nouveau modèle Transformer basé sur des hypergraphes hiérarchiques conçu pour améliorer l'analyse des séries temporelles multivariées en capturant les interactions complexes entre les variables, tout en présentant le nouveau jeu de données à grande échelle EAST-ELM640 pour la reconnaissance des modes localisés de bord (ELM) dans la fusion nucléaire.
Cet article propose une nouvelle méthode de simulation IRM rapide qui regroupe les isochromates partageant des propriétés communes pour réduire considérablement les temps de calcul, offrant un gain de vitesse de 3 à 72 fois par rapport aux approches conventionnelles.
Cet article propose d'améliorer la robustesse hors distribution en représentant les interventions par des « Causal Delta Embeddings » invariants visuellement et parcimonieux, permettant d'apprendre des représentations causales à partir de paires d'images sans supervision supplémentaire.
L'article présente Uni-CoT, un cadre de raisonnement en chaîne de pensée unifié qui combine la compréhension et la génération d'images pour effectuer un raisonnement multimodal cohérent et évolutif grâce à une nouvelle paradigme de raisonnement à deux niveaux, atteignant des performances de pointe sur des benchmarks d'édition et de génération d'images tout en étant entraîné efficacement sur seulement 8 GPU A100.
Le papier présente ImagiDrive, un cadre unifié d'imagination et de planification pour la conduite autonome qui intègre un agent de conduite basé sur des modèles vision-langage et un imaginateur de scènes fondé sur des modèles mondiaux de conduite pour affiner itérativement les décisions de trajectoire et améliorer la sécurité dans des environnements dynamiques.
CineTrans est un cadre novateur qui génère des vidéos multi-plans cohérentes avec des transitions cinématographiques fluides en exploitant une nouvelle base de données annotée et un mécanisme de contrôle basé sur des masques dérivé des cartes d'attention des modèles de diffusion.
Ce papier présente MOON, le premier modèle génératif basé sur un grand modèle de langage multimodal (MLLM) conçu pour l'apprentissage de représentations produits dans le commerce électronique, qui surmonte les limites des architectures discriminatives existantes grâce à un module MoE guidé, une détection de régions sémantiques clés et une stratégie d'échantillonnage négatif, tout en introduisant un nouveau benchmark multimodal à grande échelle nommé MBE.
Les auteurs proposent un nouveau cadre de génération d'images, NVG, qui décompose la création visuelle en une séquence hiérarchique de granularités croissantes, permettant un contrôle fin et surpassant les performances de l'état de l'art VAR sur le dataset ImageNet.
Ce papier présente ARMed, un cadre d'apprentissage par renforcement adaptatif qui surmonte l'effondrement des récompenses sémantiques pour améliorer le raisonnement médical ouvert et la généralisation des modèles vision-langage.
Cet article propose un cadre d'apprentissage multi-modal désintriqué qui améliore la caractérisation du cancer en surmontant l'hétérogénéité des modalités et la dépendance aux données appariées grâce à une fusion désintriquée, une intégration multi-échelle et une distillation de connaissances.
L'article propose TADSR, un réseau de diffusion en une seule étape pour la super-résolution d'images réelles qui améliore les performances et permet un compromis contrôlable entre fidélité et réalisme en exploitant dynamiquement les priors génératifs du modèle Stable Diffusion à différents pas de temps grâce à un encodeur VAE et une fonction de perte adaptés au temps.
FastAvatar est un cadre de reconstruction d'avatars 3D unifié et rapide qui utilise un grand transformateur de reconstruction gaussienne (LGRT) pour générer en quelques secondes des modèles 3DGS de haute qualité à partir de diverses sources d'images ou vidéos quotidiennes, tout en permettant une reconstruction incrémentielle et une qualité ajustable.
Cet article propose GACD, une méthode d'inférence basée sur les gradients qui atténue les hallucinations des modèles multimodaux en estimant et en rééquilibrant les biais textuels et visuels sans nécessiter de fine-tuning.
Le papier présente RTGMFF, un cadre innovant qui améliore le diagnostic des troubles cérébraux à partir de l'IRMf en générant automatiquement des descriptions textuelles des régions d'intérêt et en fusionnant ces informations avec des caractéristiques multimodales via un encodeur hybride et un module d'alignement sémantique.