5570 articles
Le papier présente TP-Blend, un cadre léger et sans entraînement qui fusionne de manière précise un objet et un style distincts dans les modèles de diffusion en combinant une fusion d'attention croisée optimisée par transport optimal et une fusion d'attention auto-attentionnelle sensible aux détails via une normalisation instance.
Cet article propose une méthode sans apprentissage préalable pour l'alignement 3D zéro-shot de deux maillages à partir d'une description textuelle, en optimisant directement leur pose relative via des gradients CLIP et des contraintes géométriques pour obtenir des résultats sémantiquement fidèles et physiquement plausibles.
Cet article présente les Perceptual Counterfactual Geodesics (PCG), une méthode qui génère des explications contrefactuelles en suivant des géodésiques dans un espace latent muni d'une métrique riemannienne perceptuelle, garantissant ainsi des transitions sémantiquement valides et robustes aux artefacts hors-manifold.
Le papier présente Vision-DeepResearch, un nouveau paradigme de recherche profonde multimodale qui intègre des capacités de recherche itérative multi-tours, multi-entités et multi-échelles dans les grands modèles de langage multimodaux via un entraînement par supervision et renforcement, surpassant ainsi les modèles existants et les flux de travail basés sur des modèles propriétaires avancés dans des scénarios réels bruyants.
Cet article présente CAAD-3K, un nouveau benchmark, et un cadre d'apprentissage de compatibilité conditionnelle basé sur des représentations vision-langage pour détecter les anomalies contextuelles en modélisant la compatibilité sujet-environnement, surpassant ainsi les méthodes existantes sur plusieurs jeux de données.
Ce papier présente HitEmotion, un benchmark hiérarchique et une méthode d'apprentissage par renforcement (TMPO) guidés par la théorie de l'esprit pour améliorer le raisonnement émotionnel multimodal des grands modèles de langage en modélisant explicitement les états mentaux.
Cet article propose une méthode de quantisation post-entraînement novatrice pour les modèles de diffusion, qui améliore l'efficacité en apprenant à attribuer des poids optimaux aux échantillons de calibration afin d'aligner les gradients à travers les différents pas de temps.
Ce papier présente CaCoVID, une nouvelle méthode de compression de tokens pour la compréhension vidéo qui utilise l'apprentissage par renforcement et une optimisation combinatoire pour sélectionner dynamiquement les tokens les plus contributifs aux réponses correctes, réduisant ainsi la surcharge computationnelle sans sacrifier la performance.
Ce papier présente CloDS, un cadre d'apprentissage non supervisé qui permet d'inférer la dynamique des tissus à partir de simples observations visuelles multi-vues sans connaissance préalable des propriétés physiques, en utilisant une approche de splatting gaussien sur maillage pour gérer les déformations complexes et les occlusions.
Ce papier présente le benchmark VDR-Bench, conçu pour évaluer de manière plus réaliste les capacités de recherche visuelle et textuelle des modèles de langage multimodaux en surmontant les limites des benchmarks existants, tout en proposant une méthode de recherche par recadrage itératif pour améliorer leurs performances.
Cette étude examine les représentations des personnes handicapées dans les modèles de génération d'images comme Stable Diffusion XL et DALL-E 3, révélant des déséquilibres persistants et soulignant la nécessité d'évaluations continues pour promouvoir des portrayals plus inclusifs.
Le papier présente RFDM, un modèle de diffusion causal et efficace qui édite des vidéos de longueur variable en prédisant les résidus entre les trames successives à partir d'un modèle image-à-image, surpassant ainsi les méthodes existantes tout en réduisant les coûts de calcul.
Cette étude comparative démontre que, bien que les modèles de reconstruction 3D à partir d'une seule tranche échouent à produire des volumes précis en raison de l'ambiguïté de profondeur, SAM3D se distingue par une meilleure fidélité topologique sur des données médicales, soulignant ainsi la nécessité cruciale d'adaptations spécifiques au domaine pour des reconstructions fiables.
Le papier présente EchoTorrent, une architecture innovante combinant apprentissage multi-enseignants, calibration adaptative, forçage hybride et raffinement de décodeur VAE pour surmonter les compromis entre latence et stabilité temporelle dans la génération vidéo multimodale en flux continu.
Ce papier présente GPEReg-Net, une méthode innovante d'enregistrement d'images inter-domaines qui élimine l'estimation explicite des champs de déformation en factorisant les images via une attention temporelle positionnée et la normalisation d'instance adaptative, surpassant ainsi les méthodes existantes en précision et en vitesse sur des benchmarks réels et synthétiques.
OmniCT est un modèle unifié de vision-langage pour l'analyse des tomodensitogrammes (CT) qui surpasse les méthodes existantes en combinant une cohérence spatiale volumétrique et une sémantique au niveau des organes pour répondre simultanément aux besoins de détection de détails microscopiques et de raisonnement spatial macroscopique.
Le papier présente Prefer-DAS, une méthode innovante de segmentation adaptative pour la microscopie électronique qui intègre des prompts épars et des préférences humaines locales via des mécanismes d'optimisation de préférence pour surpasser les approches existantes tout en réduisant considérablement le besoin d'annotations.
Les auteurs proposent Hepato-LLaVA, un modèle multimodal spécialisé pour l'analyse des images de lésions hépatocellulaires à l'échelle de la lame entière, qui intègre un mécanisme d'attention topologique parcimonieux et un nouveau jeu de données clinique pour surmonter les limitations des approches actuelles en diagnostic du carcinome hépatocellulaire.
Ce papier propose une méthode d'explication pour les modèles de segmentation d'images médicales basée sur le raisonnement causal, qui quantifie l'influence des régions d'entrée et des composants du réseau via l'effet moyen de traitement, démontrant ainsi une plus grande fidélité que les techniques existantes et révélant des hétérogénéités dans les stratégies perceptives des modèles.
Ce papier propose le cadre DCQ, une méthode de compression au niveau des ensembles de données qui réduit la redondance dans l'espace colorimétrique tout en préservant les informations essentielles à l'entraînement des modèles, permettant ainsi d'améliorer les performances de formation même sous une compression agressive.