2374 articles
Le papier présente ReCoSplat, un modèle de Splatting de Gaussienne feed-forward et autoregressif qui surmonte les défis de la synthèse de vues nouvelles en ligne grâce à un module « Render-and-Compare » pour corriger les erreurs de pose et une stratégie de compression de cache KV pour traiter efficacement de longues séquences.
En introduisant le cadre contrôlé de la superposition de type « sac de mots » (BOWS), cette étude démontre que les corrélations entre caractéristiques permettent d'organiser géométriquement les interférences de manière constructive dans les réseaux de neurones, expliquant ainsi la formation de clusters sémantiques et de structures cycliques observées dans les modèles de langage réels, ce que la vision traditionnelle de la superposition basée sur des caractéristiques non corrélées ne parvenait pas à prédire.
Cet article présente une approche de conception ascendante appelée « microscopie différentiable » () qui, en s'appuyant sur des données, permet de concevoir automatiquement des systèmes de microscopie optique pour la récupération de phase, surpassant les méthodes existantes et validée expérimentalement.
Cet article propose une méthode d'adaptation de domaine pour des cibles mélangées qui, en alignant mutuellement les distributions conditionnelles des catégories et des classes via un discriminateur guidé par l'incertitude et l'augmentation de caractéristiques, surpasse les méthodes actuelles même en l'absence d'étiquettes de domaine et face à des décalages de distribution.
L'article présente altiro3D, une bibliothèque libre qui génère des expériences 3D réalistes et des images à champ lumineux à partir d'une seule image ou vidéo, en combinant l'estimation de profondeur monocular, l'inpainting et des algorithmes de projection 3D pour créer des collages multi-vues affichables sur des écrans LCD à vue libre.
Cet article présente PD-REAL, un nouveau jeu de données à grande échelle pour la détection d'anomalies en 3D basé sur des modèles Play-Doh, ainsi qu'une méthode de distillation multi-échelle par apprentissage enseignant-élève qui améliore la précision de détection en exploitant efficacement les informations RGB-D.
Cet article propose CA-Jaccard, une nouvelle métrique de distance pour la ré-identification de personnes qui atténue l'impact négatif des variations de caméra sur la fiabilité de la distance de Jaccard en intégrant des informations spécifiques à la caméra via des k-plus proches voisins réciproques et une expansion de requête locale.
Le papier présente DivCon, une approche « diviser pour régner » qui améliore la génération d'images à partir de texte en décomposant la prédiction de mise en page et la synthèse d'images en sous-tâches gérables, permettant ainsi aux modèles légers de surpasser les méthodes précédentes dans la gestion de relations spatiales et numériques complexes.
Ce document de recherche propose une revue complète et un benchmark des dernières avancées en matière de génération et de détection de deepfakes, en couvrant les définitions des tâches, les ensembles de données, les méthodes de pointe dans quatre domaines clés (échange de visages, réanimation, génération de visage parlant et édition d'attributs faciaux) ainsi que les défis futurs.
Cet article propose trois nouveaux jeux de données d'évaluation dits « Goldilocks » (Hadrian, Eclipse et ND-Twins) pour tester la robustesse des algorithmes de reconnaissance faciale face à des variations d'attributs et à des jumeaux, sans recourir à une dégradation artificielle de la qualité des images.
Cet article identifie et modélise théoriquement une phase de « corruption » lors du fine-tuning à peu d'exemples de modèles de diffusion, puis propose une solution basée sur les réseaux de neurones bayésiens qui atténue ce phénomène et améliore la fidélité et la diversité des images générées sans coût d'inférence supplémentaire.
Ce papier présente RDM, un modèle de diffusion récurrent qui utilise des flux de normalisation pour générer efficacement de longues séquences de mouvements humains conditionnés par le texte, en évitant le coût computationnel du débruitage complet des trames précédentes.
Ce papier présente PiVOT, un nouveau mécanisme de prompt visuel pour le suivi d'objets générique qui exploite le modèle fondamental CLIP pour générer et affiner dynamiquement des prompts en ligne, permettant ainsi au suiveur de mieux supprimer les distracteurs et d'améliorer ses performances.
Cet article présente le Pose Prior Learner (PPL), une méthode d'apprentissage non supervisé qui extrait des priors de pose généraux à partir d'images pour améliorer la précision de l'estimation de pose, y compris dans des cas d'occlusion, sans nécessiter d'annotations humaines.
Le papier présente ExpGest, un cadre novateur basé sur un modèle de diffusion qui génère des gestes corporels expressifs et contrôlables en synchronisant les informations audio et textuelles pour surmonter les limitations des méthodes existantes.
Cette étude propose un système neurosymbolique capable de reconstruire des images médicales à partir de primitives visuelles pour générer des explications structurelles, surpassant les architectures d'apprentissage profond classiques en précision de classification et en transparence pour le diagnostic des anomalies histologiques.
Ce papier propose un cadre de diffusion adaptatif qui ajuste dynamiquement la trajectoire de génération en fonction de la complexité de chaque échantillon, permettant ainsi de réduire le nombre d'étapes d'échantillonnage tout en maintenant la qualité des images générées.
Le papier présente Prithvi-EO-2.0, un modèle fondamental géospatial open-source amélioré entraîné sur 4,2 millions d'échantillons temporels qui surpasse les modèles existants dans diverses tâches de télédétection et intègre une approche de science ouverte avec des experts du domaine pour des applications allant de la gestion des catastrophes à la surveillance des écosystèmes.
Le papier présente iLLaVA, une méthode novatrice qui accélère de manière end-to-end les modèles multimodaux en optimisant conjointement l'encodeur d'images et le LLM grâce à une stratégie de fusion de tokens recyclant l'information, permettant ainsi d'obtenir des gains significatifs en vitesse et en efficacité tout en surpassant les modèles plus petits.
Ce papier présente HarmonicEval, une métrique d'évaluation automatique sans référence capable d'agréger des scores par critère pour évaluer plusieurs tâches multimodales, et introduit le benchmark MMHE basé sur 18 000 jugements humains pour valider la généralisabilité de cette approche.