9150 articles
Le papier présente VITA, une méthode d'apprentissage de fonctions de valeur sans échantillon qui améliore la généralisation et le raisonnement temporel des modèles vision-langage grâce à une adaptation au moment du test et une stratégie d'échantillonnage diversifié, surpassant les méthodes existantes dans des tâches de manipulation robotique et le renforcement hors ligne.
VINCIE est une approche novatrice qui apprend l'édition d'images en contexte directement à partir de vidéos en utilisant un transformateur de diffusion à causalité bloc et un benchmark multi-tours, démontrant ainsi des performances de pointe sans dépendre de pipelines ou de modèles experts spécifiques.
Ce papier présente NIC-RobustBench, une boîte à outils open-source complète conçue pour combler le manque d'évaluations de robustesse dans la compression d'images neuronale en intégrant des attaques adverses, des stratégies de défense et des métriques d'impact sur les tâches en aval.
Cet article propose ConCM, un cadre novateur pour l'apprentissage incrémental de classes à peu d'exemples qui résout les conflits de connaissances grâce à une calibration de prototypes inspirée de la mémoire associative et à un appariement structurel dynamique, établissant ainsi de nouvelles performances de pointe sur plusieurs benchmarks.
Cet article présente VisionDrop, un cadre d'élagage visuel sans entraînement qui surmonte les désalignements intermodaux en sélectionnant des tokens visuels informatifs via une attention intra-modale, réduisant ainsi considérablement la latence et le coût computationnel des modèles vision-langage tout en préservant leurs performances.
EchoMimicV3 est un cadre efficace de 1,3 milliard de paramètres qui unifie l'animation humaine multi-tâches et multi-modale grâce à des paradigmes innovants et des stratégies d'entraînement avancées, permettant d'obtenir des performances compétitives tout en réduisant les coûts computationnels.
Ce papier propose CLiFT, une méthode de rendu neuronal adaptatif qui représente les scènes sous forme de « jetons de champ lumineux compressés » pour offrir un compromis efficace entre la taille des données, la qualité du rendu et la vitesse de calcul tout en permettant de moduler dynamiquement le nombre de jetons utilisés.
Ce papier présente SeC, un cadre de segmentation d'objets vidéo basé sur la construction progressive de concepts via des modèles vision-langage, qui établit un nouvel état de l'art en surpassant SAM 2 de 11,8 points sur le nouveau benchmark SeCVOS dédié aux scénarios sémantiquement complexes.
Cet article présente un cadre unifié de jumeaux numériques et robotiques, intégrant des environnements de simulation et des bancs d'essai robotisés du laboratoire SLAB de Stanford, pour valider de manière fiable et modulaire les systèmes de guidage, de navigation et de contrôle (GNC) des opérations de rendez-vous spatial et de vol en formation.
Le papier MonoFusion propose une méthode pour reconstruire des scènes dynamiques à partir d'un petit nombre de vues monoculaires en alignant soigneusement les reconstructions indépendantes de chaque caméra, surpassant ainsi les approches précédentes qui nécessitent des captures multi-vues denses et coûteuses.
Cet article propose HGTS-Former, un nouveau modèle Transformer basé sur des hypergraphes hiérarchiques conçu pour améliorer l'analyse des séries temporelles multivariées en capturant les interactions complexes entre les variables, tout en présentant le nouveau jeu de données à grande échelle EAST-ELM640 pour la reconnaissance des modes localisés de bord (ELM) dans la fusion nucléaire.
Cet article propose une nouvelle méthode de simulation IRM rapide qui regroupe les isochromates partageant des propriétés communes pour réduire considérablement les temps de calcul, offrant un gain de vitesse de 3 à 72 fois par rapport aux approches conventionnelles.
Cet article propose d'améliorer la robustesse hors distribution en représentant les interventions par des « Causal Delta Embeddings » invariants visuellement et parcimonieux, permettant d'apprendre des représentations causales à partir de paires d'images sans supervision supplémentaire.
L'article présente Uni-CoT, un cadre de raisonnement en chaîne de pensée unifié qui combine la compréhension et la génération d'images pour effectuer un raisonnement multimodal cohérent et évolutif grâce à une nouvelle paradigme de raisonnement à deux niveaux, atteignant des performances de pointe sur des benchmarks d'édition et de génération d'images tout en étant entraîné efficacement sur seulement 8 GPU A100.
Le papier présente ImagiDrive, un cadre unifié d'imagination et de planification pour la conduite autonome qui intègre un agent de conduite basé sur des modèles vision-langage et un imaginateur de scènes fondé sur des modèles mondiaux de conduite pour affiner itérativement les décisions de trajectoire et améliorer la sécurité dans des environnements dynamiques.
CineTrans est un cadre novateur qui génère des vidéos multi-plans cohérentes avec des transitions cinématographiques fluides en exploitant une nouvelle base de données annotée et un mécanisme de contrôle basé sur des masques dérivé des cartes d'attention des modèles de diffusion.
Ce papier présente MOON, le premier modèle génératif basé sur un grand modèle de langage multimodal (MLLM) conçu pour l'apprentissage de représentations produits dans le commerce électronique, qui surmonte les limites des architectures discriminatives existantes grâce à un module MoE guidé, une détection de régions sémantiques clés et une stratégie d'échantillonnage négatif, tout en introduisant un nouveau benchmark multimodal à grande échelle nommé MBE.
Les auteurs proposent un nouveau cadre de génération d'images, NVG, qui décompose la création visuelle en une séquence hiérarchique de granularités croissantes, permettant un contrôle fin et surpassant les performances de l'état de l'art VAR sur le dataset ImageNet.
Ce papier présente ARMed, un cadre d'apprentissage par renforcement adaptatif qui surmonte l'effondrement des récompenses sémantiques pour améliorer le raisonnement médical ouvert et la généralisation des modèles vision-langage.
Cet article propose un cadre d'apprentissage multi-modal désintriqué qui améliore la caractérisation du cancer en surmontant l'hétérogénéité des modalités et la dépendance aux données appariées grâce à une fusion désintriquée, une intégration multi-échelle et une distillation de connaissances.