7841 articles
L'article présente ArbInterp, un cadre d'interpolation vidéo générative novateur qui permet de synthétiser des trames intermédiaires à n'importe quel moment et de n'importe quelle durée grâce à l'utilisation d'un encodage de position rotatif sensible aux timestamps (TaRoPE) et d'une stratégie de conditionnement découplant l'apparence du mouvement.
Le papier présente D2E, un cadre qui démontre que le pré-entraînement sur des données d'interactions de bureau à grande échelle permet d'acquérir des primitives sensorimotrices transférables vers des tâches d'IA incarnée physique, surpassant des modèles beaucoup plus grands avec des performances de pointe.
Le papier présente Human3R, un cadre unifié et feed-forward capable de reconstruire en temps réel, à partir d'une seule vidéo monoculaire, les trajectoires de caméra, les scènes 3D denses et les corps humains multiples dans un seul passage, éliminant ainsi les dépendances lourdes et les étapes itératives des méthodes précédentes.
Le papier présente MIRAGE, un cadre de planification d'exécution efficace pour la recherche d'images par génération augmentée, qui améliore la précision et réduit les calculs grâce à une décomposition hiérarchique novatrice et à la minimisation des redondances.
Cet article propose RALI, un nouvel algorithme qui aligne directement les images sur des représentations textuelles généralisables apprises par des modèles de langage multimodal via l'apprentissage par renforcement, permettant ainsi d'atteindre des performances d'évaluation de la qualité d'image comparables à celles des modèles de raisonnement tout en réduisant drastiquement les paramètres et le temps d'inférence.
Cette étude utilise l'interprétabilité mécanistique pour révéler les voies d'information internes des modèles de langage vidéo (VideoLLMs), démontrant que leur raisonnement temporel suit un schéma cohérent d'interactions inter-images et d'intégration multimodale, ce qui permet d'améliorer la performance en éliminant jusqu'à 58 % des connexions d'attention superflues.
Cet article présente « Self-Aug », une méthode de décodage sans entraînement pour les grands modèles vision-langage qui combine une augmentation sémantique adaptative à la requête et un seuillage basé sur l'entropie afin de réduire significativement les hallucinations et d'améliorer la cohérence factuelle.
Cet article propose une méthode de reconstruction des terrains martiens pour la réalité virtuelle utilisant un modèle de diffusion inconditionnel entraîné sur des données HiRISE, qui surpasse significativement les techniques d'interpolation traditionnelles en termes de précision géométrique et de similarité perceptuelle.
Cet article présente le CASR-Net, un réseau d'apprentissage profond innovant en trois étapes intégrant un prétraitement avancé et une architecture UNet-DenseNet121 avec décodeur Self-ONN, conçu pour améliorer la précision de la segmentation et du raffinement des artères coronaires sur des angiogrammes X-ray afin de soutenir le diagnostic clinique.
Ce papier présente Kinematify, un cadre automatisé qui synthétise des objets articulés à haut degré de liberté directement à partir d'images RGB ou de descriptions textuelles en inférant leurs topologies cinématiques et en estimant leurs paramètres articulaires pour des applications robotiques.
Ce papier présente DetGain, une méthode de curation de données en ligne pour la détection d'objets qui sélectionne dynamiquement les images les plus informatives en estimant leur contribution marginale à la précision moyenne (AP) du jeu de données, améliorant ainsi la performance et la robustesse des modèles de détection.
Le papier présente PrismAudio, un cadre novateur pour la génération vidéo-à-audio qui intègre l'apprentissage par renforcement avec une décomposition en chaînes de pensée spécialisées et des récompenses multidimensionnelles, résolvant ainsi les problèmes d'entrelacement des objectifs et atteignant des performances de pointe grâce à une méthode d'optimisation efficace et un nouveau benchmark rigoureux.
Ce papier présente Markov-VAR, un nouveau modèle de génération visuelle autoregressive qui remplace la dépendance contextuelle complète par un processus markovien avec prédiction d'échelle et vecteur d'historique glissant, permettant d'améliorer significativement la qualité des images tout en réduisant drastiquement la consommation mémoire.
Ce papier présente ALARM, un cadre de détection d'anomalies visuelles basé sur des modèles de langage multimodaux (MLLM) intégrant une quantification de l'incertitude et des techniques d'assurance qualité pour assurer une prise de décision fiable dans des environnements complexes.
Cet article propose SSMP, une nouvelle méthode de prédiction masquée auto-évaluative et auto-corrective qui surpasse les approches existantes pour la génération automatique de bandes-annonces en modélisant le contexte bidirectionnel et en imitant le processus itératif de correction humaine.
Cet article propose VGG-Flow, une méthode de finetuning basée sur l'appariement de gradients qui utilise la théorie du contrôle optimal pour aligner efficacement les modèles de Flow Matching avec les préférences humaines tout en préservant leur distribution prior, comme démontré sur Stable Diffusion 3.
Ce papier présente AVI-Edit, un cadre d'édition d'instances vidéo synchronisées avec l'audio qui intègre un raffineur de masques sensible à la granularité et un agent audio à rétroaction autonome pour offrir un contrôle spatio-temporel précis, le tout soutenu par un nouveau jeu de données à grande échelle.
Ce papier présente CHAMMI-75, un jeu de données ouvert de 75 études biologiques hétérogènes en microscopie multicanal, conçu pour entraîner des modèles adaptatifs capables de quantifier la morphologie cellulaire sur n'importe quel type d'image microscopique.
L'article présente UniDrive-WM, un modèle du monde unifié basé sur des modèles vision-langage qui intègre la compréhension de la scène, la planification de trajectoire et la génération d'images futures pour améliorer la sécurité et la précision de la conduite autonome.
Cette étude démontre que l'utilisation d'images visuelles en très basse résolution (8x8 pixels) comme alternative aux jetons discrets permet d'atteindre des performances comparables à l'approche traditionnelle pour la modélisation du langage chinois, tout en offrant un démarrage rapide significativement plus efficace.