59 articles
Ce papier présente V2A-DPO, un cadre d'optimisation directe des préférences innovant conçu pour aligner les modèles de génération vidéo-vers-audio sur les préférences humaines grâce à un système de notation AudioScore, une pipeline automatisée de données de préférence et une stratégie d'apprentissage par curriculum, surpassant ainsi les méthodes existantes sur le jeu de données VGGSound.
Cet article propose un cadre basé sur les Transformers pour la reconnaissance des émotions audio-visuelles qui résout le décalage de fréquence d'acquisition entre les modalités grâce à l'utilisation d'encodages de position rotatifs temporellement alignés (TaRoPE) et d'une fonction de perte de correspondance inter-temporelle (CTM) pour améliorer l'alignement et la fusion des caractéristiques.
Ce papier propose un pipeline automatisé et déployable localement utilisant un modèle vidéo-langage pour générer des métadonnées cataloguées et attribuer des œuvres dans les archives audiovisuelles des musées, tout en respectant les contraintes de ressources et de régulation.
Le papier présente SAGE, un cadre d'estimation de la valence et de l'arousal continu qui améliore la robustesse multimodale en adaptant dynamiquement la fusion audio-visuelle à la fiabilité variable des signaux selon les étapes d'interaction.
Ce papier démontre que les schémas de stéganographie « image dans image » sont facilement détectables grâce à une analyse par composantes indépendantes et à une méthode de stéganalyse basée sur les moments statistiques, atteignant jusqu'à 84,6 % de précision, voire plus de 99 % avec des méthodes classiques comme SRM.
Cet article propose un protocole d'affinement fin nommé PE-FT, qui combine un affinage sélectif par couches et une tête de classification auxiliaire pour réactiver l'awareness des indices paralinguistiques dans les modèles de langage audio, surpassant ainsi les stratégies d'affinement traditionnelles sur l'ensemble des couches.
Le papier présente FlashMotion, un cadre d'entraînement novateur qui permet une génération vidéo contrôlée par trajectoire en quelques étapes en combinant l'entraînement d'un adaptateur de trajectoire, la distillation d'un générateur vidéo et un affinage hybride, surpassant ainsi les méthodes existantes en qualité visuelle et en précision du mouvement.
Cet article propose SGMD, une méthode de diffusion de mouvement guidée par le style qui intègre des caractéristiques musicales et des invites stylistiques pour générer des danses réalistes et contrôlables, tout en introduisant de nouveaux benchmarks pour des tâches de génération, d'interpolation et d'inpainting chorégraphiques.
L'article présente altiro3D, une bibliothèque libre qui génère des expériences 3D réalistes et des images à champ lumineux à partir d'une seule image ou vidéo, en combinant l'estimation de profondeur monocular, l'inpainting et des algorithmes de projection 3D pour créer des collages multi-vues affichables sur des écrans LCD à vue libre.
Le papier présente InstructHumans, un cadre innovant pour l'édition de textures 3D d'humains animables via des instructions, qui améliore les méthodes existantes en introduisant une version modifiée de l'échantillonnage de distillation de score (SDS-E) pour garantir la cohérence avec l'avatar source tout en permettant des modifications textuelles fidèles et détaillées.
Ce papier présente EasyAnimate, un cadre de génération vidéo haute performance qui combine l'attention hybride par fenêtres, la rétropropagation de récompense et des stratégies d'entraînement innovantes pour atteindre des résultats de pointe en qualité et en efficacité.
Ce papier présente ExposureEngine, un système automatisé et orienté objet qui améliore la précision de l'analyse de visibilité des sponsors dans les retransmissions sportives en utilisant des boîtes englobantes orientées et une interface conversationnelle pour générer des rapports détaillés.
Cet article démontre théoriquement et empiriquement que l'édition d'images par diffusion fragilise et peut même annuler les filigranes robustes, car le processus de débruitage tend à traiter les messages embarqués comme du bruit à éliminer, nécessitant ainsi de nouvelles conceptions de filigranes adaptées à l'ère des transformations génératives.
Le papier propose DeformTrace, un modèle d'espace d'états déformable enrichi de mécanismes de relais et de dynamiques adaptatives, qui surpasse les méthodes existantes pour la localisation temporelle précise des falsifications dans les vidéos et l'audio.
SarcasmMiner est un cadre d'entraînement postérieur basé sur l'apprentissage par renforcement qui améliore la détection de la sarcasme audio-visuelle en reformulant la tâche comme un raisonnement structuré et en utilisant une stratégie de distillation à double piste avec un modèle de récompense génératif pour optimiser à la fois la précision et la qualité du raisonnement.
L'article présente Export3D, une méthode d'animation de portraits en une seule prise qui génère des vues 3D contrôlables par l'expression sans échange d'apparence, grâce à un générateur de tri-planes conditionné et un cadre de pré-entraînement contrastif pour isoler les paramètres d'expression de l'identité.
Ce papier présente CMI-RewardBench, un écosystème complet incluant des jeux de données, un benchmark et des modèles de récompense conçus pour évaluer et aligner les modèles de génération musicale sur des instructions multimodales composées.
Cet article identifie et quantifie le biais « Order-to-Space » (OTS), un phénomène où l'ordre des entités dans le texte influence indûment la disposition spatiale dans les images générées, et propose des stratégies d'intervention pour atténuer ce problème tout en préservant la qualité de génération.
Le papier présente Crab⁺, un modèle audio-visuel unifié et évolutif qui surmonte le transfert négatif entre tâches hétérogènes grâce à une coopération explicite via un nouveau jeu de données d'instruction (AV-UIE v2) et une architecture d'apprentissage par LoRA interactionnelle (I-LoRA), permettant ainsi d'atteindre des performances supérieures à celles des modèles spécialisés sur la majorité des tâches.