59 articles
Cet article présente CDGLT, un cadre novateur et économe en calcul pour l'identification des métaphores multimodales qui utilise un mécanisme de dérive conceptuelle et un ajustement de la normalisation par couches pour atteindre des performances de pointe sur le benchmark MET-Meme.
Cet article propose une approche novatrice utilisant des avatars virtuels et de la musique générée par l'IA pour transformer les syllabus textuels en présentations audiovisuelles chantées, afin d'améliorer l'engagement, la mémorisation et la compréhension des étudiants.
Cet article propose un cadre de vérification de locuteur robuste basé sur un mélange d'experts conditionné par le bruit, qui décompose l'espace des caractéristiques en sous-espaces spécialisés via un routage automatique, une spécialisation d'experts universels et un apprentissage par curriculum à SNR décroissant pour améliorer la généralisation dans des conditions bruyantes.
Cet article présente le premier cadre formel pour les modèles de monde audiovisuels (AVWM), introduisant le jeu de données AVW-4k et le modèle AV-CDiT basé sur la diffusion pour simuler de manière synchronisée les dynamiques visuelles et sonores, améliorant ainsi significativement la navigation des agents.
Le défi MEGC2026 lance deux nouvelles tâches de question-réponse sur vidéo (ME-VQA et ME-LVQA) pour évaluer les capacités des modèles multimodaux à analyser les micro-expressions faciales, qu'elles soient courtes ou longues, en exploitant leurs puissantes capacités de raisonnement.
Le papier présente VoxEmo, un benchmark complet pour l'évaluation des modèles de langage audio dans la reconnaissance des émotions, qui propose un protocole d'étiquetage souple et des stratégies d'ensemble pour mieux capturer l'ambiguïté inhérente aux émotions humaines et la subjectivité des annotations.
Cette étude examine l'impact de la latence sur la fluidité d'interaction et la présence sociale dans les conférences en réalité virtuelle, en comparant ces dimensions perceptives et cognitives à celles des visioconférences traditionnelles afin d'optimiser les systèmes immersifs.
Ce papier propose le modèle TPIFM, une approche axée sur la tâche pour évaluer la fluidité d'interaction perceptive dans la collaboration AR à distance en tenant compte des caractéristiques intrinsèques des tâches et des contraintes réseau.
Cette étude analyse l'impact de la latence sur la qualité de l'expérience dans les tableaux blancs en réalité virtuelle en réseau, en examinant comment les modes de collaboration et la présence d'avatars modulent les aspects pragmatiques et hédoniques de l'expérience utilisateur.
Le papier présente MORE-R1, un modèle novateur qui améliore l'extraction de relations entre objets visuels et entités textuelles en guidant un grand modèle vision-langage via un raisonnement étape par étape optimisé par apprentissage par renforcement, surpassant ainsi les méthodes existantes sur le benchmark MORE.
Cette étude propose une méthode de génération d'expressions multimodales pilotée par un modèle de langage pour des agents pédagogiques en réalité virtuelle, démontrant que l'alignement dynamique entre le contenu sémantique et les gestes ou la parole améliore significativement l'engagement, l'efficacité perçue et le sentiment de présence sociale des apprenants.
Cet article présente DynHiL-EQA, un nouveau jeu de données pour l'analyse de questions-réponses incarnées dans des environnements dynamiques, ainsi que DIVRR, un cadre d'inférence sans entraînement qui améliore la robustesse et l'efficacité en affinant les vues et en sélectionnant sélectivement la mémoire pour gérer les occlusions et les changements temporels.
Ce papier présente PiVOT, un nouveau mécanisme de prompt visuel pour le suivi d'objets générique qui exploite le modèle fondamental CLIP pour générer et affiner dynamiquement des prompts en ligne, permettant ainsi au suiveur de mieux supprimer les distracteurs et d'améliorer ses performances.
Ce papier présente la tâche 5 du défi DCASE 2025, un benchmark de réponse aux questions audio multi-domaines conçu pour évaluer et améliorer les capacités de raisonnement acoustique des modèles audio-langage face à des scènes sonores variées.
Le papier propose Q-BAR, un cadre hybride quantique-classique qui exploite l'efficacité paramétrique des circuits quantiques variationnels pour détecter les anomalies sémantiques dans les contenus de blogueurs en régimes de données limités, surpassant ainsi les méthodes classiques.
Le papier présente EC-Net, un cadre de modèle d'hypergraphe hyperbolique qui utilise des embeddings dans un disque de Poincaré et un apprentissage contrastif pour améliorer la robustesse et la précision de la compréhension des émotions multimodales, en particulier dans des conditions de bruit ou de données partielles.
Ce papier présente ModalImmune, un cadre d'entraînement qui renforce la robustesse des systèmes multimodaux face à la perte ou la corruption de canaux d'entrée en apprenant intentionnellement à s'adapter à la destruction sélective d'informations modales grâce à des mécanismes de régularisation et d'adaptation automatique.
Le papier présente TimeSpot, un nouveau benchmark évaluant la capacité des modèles vision-langage à déduire des attributs géographiques et temporels à partir d'images réelles, révélant ainsi des lacunes significatives dans leur raisonnement spatio-temporel physique.
Le papier présente CONSTANT, une nouvelle méthode de génération d'écriture manuscrite en un seul coup d'essai basée sur les modèles de diffusion, qui améliore la qualité et l'adaptation aux styles grâce à une quantification consciente du style et à une amélioration par contraste de patchs.
Cet article propose un cadre en deux étapes combinant un modèle de texte-vers-squelette autoregressif et un générateur vidéo conditionné par la pose avec un encodeur de référence adaptatif, afin de produire des vidéos de mouvements humains complexes à partir de descriptions textuelles tout en palliant le manque de données synthétiques dédiées.