💻 computer science

3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio

Ce rapport présente VIRST-Audio, un cadre pratique qui convertit les requêtes audio en texte pour réaliser la segmentation d'objets vidéo référé par l'audio, obtenant la 3ᵉ place du track MeViS-Audio du 5ᵉ PVUW grâce à une mécanisme de contrôle d'existence réduisant les prédictions hallucinées.

Auteurs originaux : Jihwan Hong, Jaeyoung Do

Publié 2026-03-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jihwan Hong, Jaeyoung Do

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎙️ Le Défi : Trouver l'aiguille dans la botte de foin... en écoutant

Imaginez que vous regardez une vidéo très animée avec plein de gens qui bougent, des voitures qui passent et des animaux qui courent. Soudain, quelqu'un vous dit à l'oreille : "Regarde le chien qui porte un chapeau rouge !".

Votre cerveau doit faire deux choses en même temps :

Comprendre la phrase (c'est un chien, avec un chapeau rouge).
Suivre ce chien précis dans la vidéo, frame par frame, même s'il se cache derrière un arbre ou s'il y a d'autres chiens.

C'est ce qu'on appelle la segmentation vidéo par référence audio. Le problème, c'est que les ordinateurs sont souvent très forts pour lire des textes, mais ils ont du mal à "entendre" et à comprendre les sons directement pour faire ce travail.

🏆 La Solution : VIRST-Audio (Le Traducteur Magique)

L'équipe de l'université de Séoul (SNU AIDAS) a créé un système nommé VIRST-Audio qui a terminé 3ème dans un grand concours mondial (le 5ème PVUW). Voici comment ils ont fait, avec une analogie simple :

1. Le Secret : Ne pas réinventer la roue, mais la faire tourner

Au lieu d'essayer d'enseigner à l'ordinateur à comprendre les sons de zéro (ce qui est très difficile et demande des milliers d'exemples), ils ont utilisé un traducteur.

L'analogie : Imaginez que vous avez un détective très intelligent qui ne parle que le français, mais qui doit résoudre un crime dans un pays où tout le monde parle japonais. Au lieu d'apprendre le japonais au détective (ce qui prendrait des années), vous lui donnez un traducteur instantané.
Dans le papier : Le système prend l'audio (la voix de la personne) et le passe dans un module de reconnaissance vocale (ASR) qui le transforme en texte.
- Audio : "Le chien avec le chapeau."
- Texte : "Le chien avec le chapeau."
Ensuite, le détective (le modèle d'intelligence artificielle) lit le texte et fait son travail habituel. C'est comme ça qu'ils ont pu utiliser un modèle déjà entraîné sur du texte pour résoudre un problème audio, sans avoir besoin de nouvelles données d'entraînement !

2. Le Problème des "Hallucinations" : Quand l'ordinateur voit des fantômes

Il y a un piège dans ce jeu. Parfois, la personne dit : "Regarde l'éléphant qui vole !".
Dans la vidéo, il n'y a pas d'éléphant.
Un ordinateur bête va essayer de trouver un objet qui ressemble à un éléphant et va dessiner un masque n'importe où sur l'image. C'est ce qu'on appelle une hallucination. C'est comme si le détective dessinait un fantôme sur le mur juste parce qu'on lui a demandé de chercher un fantôme.

3. Le Gardien de la Vérité (Le mécanisme de "Gating")

Pour éviter ces hallucinations, l'équipe a ajouté un gardien (un mécanisme de contrôle) devant la porte de sortie.

L'analogie : Imaginez un portier très vigilant à l'entrée d'un club. Avant de laisser entrer quelqu'un (le résultat de la segmentation), le portier demande : "Est-ce que l'objet demandé existe vraiment dans cette pièce ?".
Comment ça marche :
- Si le portier dit "OUI" (l'objet est là), il laisse passer le détective pour dessiner le contour de l'objet.
- Si le portier dit "NON" (l'objet n'est pas là, comme l'éléphant volant), il ferme la porte et dit : "Rien à voir ici". Il ne dessine rien.
Cela évite que l'ordinateur ne crée des masques fantômes et rend le système beaucoup plus fiable.

📊 Les Résultats : Pourquoi c'est impressionnant ?

Dans le concours, ce système a obtenu la 3ème place sur 13 équipes.

La force : Il est très bon pour ne pas se tromper quand l'objet n'est pas là (il ne hallucine pas).
La précision : Quand l'objet est là, il le suit très bien, même s'il y a beaucoup de mouvement.
L'astuce : Le plus beau, c'est qu'ils n'ont pas eu besoin d'entraîner leur modèle avec des milliers d'exemples de sons. Ils ont juste utilisé leur modèle de texte et ajouté le "traducteur" et le "portier". C'est une solution intelligente, économique et efficace.

En résumé

VIRST-Audio, c'est comme donner à un expert en lecture un oreille magique (le traducteur) et un instinct de réalité (le gardien). Au lieu d'essayer d'apprendre à l'ordinateur à entendre comme un humain, on lui permet de lire ce qu'il entend, puis on lui demande de vérifier si ce qu'il lit est réel avant de dessiner quoi que ce soit.

C'est une victoire de l'intelligence : utiliser ce qu'on sait déjà faire (lire) pour résoudre un nouveau problème (entendre), avec une touche de prudence pour éviter les erreurs.

1. Problématique : Segmentation Vidéo par Référence Audio (ARVOS)

Le papier s'intéresse à la tâche de Segmentation Vidéo d'Objets par Référence Audio (ARVOS). Contrairement à la segmentation vidéo classique (VOS) qui suit des objets sans instruction externe, ou à la segmentation par référence textuelle (RVOS) qui utilise des descriptions linguistiques, l'ARVOS vise à segmenter des objets dans une vidéo en se basant sur une requête audio.

Défi principal : Le défi réside dans le pont à établir entre les signaux acoustiques et les représentations visuelles spatio-temporelles.
Spécificité du contexte MeViS-Audio : Contrairement aux tâches AVOS (Audio-guided VOS) qui utilisent des sons d'objets ou du bruit ambiant (souvent ambigus), le contexte ARVOS est principalement piloté par la parole. L'audio contient des descriptions sémantiques explicites des objets cibles (ex: "l'homme qui court", "le chien qui aboie").
Problème de l'hallucination : Un défi critique est la prédiction d'objets inexistants (faux positifs). Si le modèle segmente un objet alors que la requête audio indique un objet absent, cela dégrade la fiabilité du système. Des métriques spécifiques comme la N-acc. (précision de l'absence) et la T-acc. (précision de la présence) ont été introduites pour évaluer ce comportement.

2. Méthodologie : VIRST-Audio

L'approche proposée, VIRST-Audio, est un cadre pratique qui évite l'entraînement spécifique sur des données audio. Elle repose sur une architecture hybride combinant un modèle expert de RVOS pré-entraîné et une architecture vision-langage.

A. Conversion Audio vers Texte (ASR)

Au lieu d'entraîner un encodeur audio spécifique, l'équipe convertit l'entrée audio en texte brut à l'aide d'un module de Reconnaissance Automatique de la Parole (ASR), spécifiquement Whisper-Large.

Principe : La tâche ARVOS est ainsi reformulée en une tâche de segmentation par référence textuelle.
Avantage : Cela permet de transférer les capacités de raisonnement sémantique d'un modèle entraîné sur du texte (RVOS) vers le domaine audio sans nécessiter de nouvelles données d'entraînement audio-vidéo.

B. Architecture de Base (VIRST)

Le cœur du système est VIRST (Video-Instructed Reasoning Assistant for Spatio-Temporal Segmentation), un modèle pré-entraîné sur des données RVOS (ReVOS, MeViSv1, Ref-YouTube-VOS, etc.).

Composants :
- Encodeurs : CLIP (pour les caractéristiques vidéo) et SAM2 (Segment Anything Model 2) pour l'encodage visuel.
- Fusion Spatio-Temporelle (ST-Fusion) : Un module qui fusionne les caractéristiques visuelles et les tokens d'instruction textuelle via une attention croisée.
- Décodage : Le modèle SAM2 génère les masques de segmentation.
Adaptation : Seuls le module ST-Fusion, les couches LoRA et les modules de mémoire/décodage de SAM2 sont affinés (fine-tuned) sur les données MeViSv2-Text, tandis que le reste du modèle reste figé.

C. Mécanisme de "Gating" Conscient de l'Existence

Pour résoudre le problème des hallucinations (prédire un objet absent), les auteurs introduisent un mécanisme de porte (gating) conscient de l'existence.

Fonctionnement : Un module léger prédit la probabilité $p$ que l'objet mentionné existe réellement dans la vidéo, basé sur les sorties du module de fusion ST-Fusion.
Logique d'inférence :
- Si la probabilité $p$ est inférieure à un seuil $\tau$ (ex: 0.8), le modèle supprime la segmentation et renvoie un masque vide.
- Si $p \ge \tau$ , la segmentation normale est effectuée.
Entraînement : Ce module est supervisé par une perte d'entropie croisée binaire (BCE) basée sur la présence réelle de l'objet dans le masque de vérité terrain. Les échantillons sans objet cible sont exclus de la supervision de segmentation pour éviter d'apprendre à générer des masques fantômes.

3. Contributions Clés

Transfert Cross-Modal sans Données Audio : Démonstration qu'il est possible d'atteindre des performances solides en ARVOS en convertissant simplement l'audio en texte et en utilisant un modèle RVOS pré-entraîné, éliminant le besoin de données d'entraînement audio-vidéo spécifiques.
Mécanisme de Réduction des Hallucinations : Introduction d'une porte d'existence explicite qui améliore considérablement la fiabilité du modèle en supprimant les prédictions pour les objets absents, un problème majeur dans les tâches de référence multimodale.
Performance Robuste : La méthode atteint un équilibre entre la qualité de segmentation (quand l'objet est présent) et la précision de détection d'absence (quand l'objet est absent).

4. Résultats Expérimentaux

Les évaluations ont été menées sur la piste MeViS-Audio du défi PVUW 2026.

Classement : VIRST-Audio a obtenu la 3ème place sur 13 équipes participantes.
Métriques Principales :
- Score J & F (moyenne de similarité de région et précision de frontière) : 0.54 (J=0.52, F=0.56).
- N-acc. (Précision d'absence) : 0.70.
- T-acc. (Précision de présence) : 0.82.
- Score Final (moyenne pondérée) : 0.68.
Analyse des Ablations (Tableau 2) :
- L'ajout du mécanisme de gating a augmenté le score J & F de 0.49 (baseline) à 0.54.
- Le seuil optimal $\tau = 0.8$ a offert le meilleur compromis, maximisant la robustesse aux hallucinations (N-acc. élevé) tout en maintenant une bonne détection d'objets (T-acc.).
- Sans le gating, le modèle tendait à générer des masques même pour des objets absents, dégradant le score N-acc.

Qualitatif : Les résultats visuels montrent que le modèle distingue correctement plusieurs objets dans des scènes complexes et, crucial, ne produit aucune segmentation lorsque l'objet demandé n'est pas présent dans la vidéo.

5. Signification et Conclusion

Ce travail démontre l'efficacité d'une approche "Text-First" pour les tâches audio-vidéo complexes. En exploitant la richesse des modèles Vision-Langage (VLM) pré-entraînés sur du texte, l'équipe a contourné la pénurie de données d'entraînement audio-vidéo de haute qualité.

L'intégration d'un mécanisme de vérification d'existence simple mais efficace a permis de stabiliser les prédictions, rendant le système beaucoup plus fiable pour des applications réelles où la détection d'absence est aussi importante que la segmentation. VIRST-Audio prouve que la combinaison du transfert de connaissances inter-modales et de la modélisation explicite de l'existence est une voie prometteuse pour la segmentation vidéo par référence multimodale.

Le code est disponible publiquement sur le dépôt GitHub de l'équipe SNU AIDAS.