💻 computer science

3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio

Dit artikel presenteert VIRST-Audio, een framework dat audio-gebaseerde video-objectsegmentatie bereikt door audio om te zetten naar tekst voor supervisie en een existentie-bewust mechanisme implementeert om hallucinaties te verminderen, waarmee het de 3e plaats behaalde in de MeViS-Audio track van de 5e PVUW Challenge.

Oorspronkelijke auteurs: Jihwan Hong, Jaeyoung Do

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jihwan Hong, Jaeyoung Do

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎧 De "Oor-En-Oog" Detective: Hoe VIRST-Audio Werkt

Stel je voor dat je een detective bent die een video bekijkt, maar je kunt de video niet zien. Je hebt alleen een geluidsopname (een stem die iets beschrijft) en je moet precies vertellen welk object in de video waar zit.

Dit is wat het team van SNU AIDAS (onder leiding van Jihwan Hong en Jaeyoung Do) heeft gedaan. Ze wonnen de 3e plaats in een wereldwijd wedstrijd (de 5e PVUW Challenge) voor het oplossen van dit probleem. Hun oplossing heet VIRST-Audio.

Hier is hoe het werkt, stap voor stap:

1. De Vertaler: Van Geluid naar Tekst 🗣️ ➡️ 📝

Het grootste probleem bij dit soort taken is dat computers heel goed zijn in het begrijpen van tekst, maar minder goed in het direct begrijpen van spraak in combinatie met video.

De Analogie: Stel je voor dat je een vreemde taal spreekt (spraak) en een vertaler nodig hebt die naar een andere taal (tekst) vertaalt, zodat een expert die die taal spreekt het kan begrijpen.
Hoe ze het deden: In plaats van te proberen de computer een nieuwe "spraak-vaardigheid" aan te leren (wat heel moeilijk is), gebruikten ze een spraak-naar-tekst vertaler (een ASR-module, zoals Whisper).
- De computer hoort: "Kijk naar de hond die speelt met de bal."
- De vertaler zet dit om in: "Kijk naar de hond die speelt met de bal." (als tekst).
- Vervolgens geeft de computer deze tekst door aan een slimme "tekst-expert" die al weet hoe hij objecten in video's moet vinden.

Het resultaat: Ze hoeven niet te leren hoe de computer geluid moet begrijpen; ze gebruiken gewoon de kracht van de tekst-expert die ze al hadden. Het is alsof je een meesterkok bent die alleen koken met een recept (tekst) kent, en je gebruikt een tolk om de mondelinge instructies van de klant om te zetten in een recept.

2. De Waakzame Poortwachter: "Is het er wel?" 🚪👮‍♂️

Een groot probleem bij dit soort AI's is dat ze soms hallucineren. Als je vraagt: "Waar is de rode auto?" en er is geen rode auto in de video, zou de AI soms toch een rode auto moeten "tekenen" omdat hij denkt dat hij iets moet laten zien. Dit noemen ze een "foute positie".

De Analogie: Stel je een poortwachter voor bij een museum. Als er niemand in de rij staat, laat de poortwachter niemand naar binnen. Maar als de poortwachter niet goed kijkt, duwt hij misschien toch een willekeurige bezoeker naar binnen, zelfs als er niemand was.
Hoe ze het oplosten: Ze bouwden een slimme poortwachter (een "Existence-Aware Gating Mechanism") in het systeem.
- Voordat de AI begint met het tekenen van objecten, vraagt deze poortwachter: "Is het object dat de stem noemt, überhaupt wel in de video te zien?"
- Als het antwoord "Nee" is (bijvoorbeeld: er is geen hond, alleen een kat), dan zegt de poortwachter: "Stop! Maak geen tekening."
- Als het antwoord "Ja" is, dan mag de AI aan de slag.

Dit zorgt ervoor dat de AI niet meer "dwaalt" en valse objecten uit het niets creëert. Het maakt het systeem veel betrouwbaarder.

3. De Resultaten: Waarom wonnen ze de 3e prijs? 🥉

In de wedstrijd kregen ze video's met spraakopnames en moesten ze de juiste objecten markeren.

Succes: Hun systeem (VIRST-Audio) eindigde op de 3e plek van 13 teams.
Sterke punten:
1. Het kon heel goed omgaan met complexe situaties (bijvoorbeeld meerdere objecten tegelijk).
2. Het maakte bijna geen fouten als het gezochte object niet in de video zat (dankzij de poortwachter).
3. Het werkte goed zonder dat ze het systeem eerst moesten "trainen" met duizenden voorbeelden van spraak. Ze gebruikten alleen hun kennis van tekst en vertaalden de spraak er gewoon naar om.

Samenvattend in één zin:

VIRST-Audio is als een slimme detective die eerst een tolk inschakelt om spraak om te zetten in tekst, en daarna een waakzame bewaker heeft die zorgt dat er alleen gezocht wordt als het gezochte object echt aanwezig is, waardoor hij nooit iets verzonnen uit zijn duim zuigt.

Dit maakt de technologie niet alleen slimmer, maar ook veel praktischer voor echte toepassingen, zoals het automatisch vinden van specifieke dingen in video's op basis van wat mensen zeggen.

Titel: VIRST-Audio: 3e Plaats in de MeViS-Audio Track van de 5e PVUW

Team: SNU AIDAS (Seoul National University)
Context: 5e Pixel-level Video Understanding in the Wild (PVUW) Challenge.

1. Het Probleem

Het paper richt zich op Audio-based Referring Video Object Segmentation (AR-VOS). De taak bestaat uit het segmenteren van specifieke objecten in een video op pixelniveau, gebaseerd op een audio-query.

Uitdaging: De kernuitdaging ligt in het overbruggen van akoestische signalen (spraak) met ruimtelijk-temporele visuele representaties.
Specifieke context: In tegenstelling tot algemene audio-gestuurde segmentatie (die vaak om omgevingsgeluiden gaat), is AR-VOS in deze setting voornamelijk spraakgedreven. De audio bevat semantische beschrijvingen van de doelobjecten.
Huidige beperkingen: Directe audio-coderingsmodellen zijn vaak weinig flexibel en vereisen specifieke training voor audio-taken. Daarnaast is het een groot probleem dat modellen "hallucineren" (foute segmentaties maken) wanneer het doelobject niet in de video aanwezig is.

2. Methodologie: VIRST-Audio

De auteurs stellen VIRST-Audio voor, een praktisch framework dat een voorgeïmplementeerde RVOS (Referring Video Object Segmentation) expert combineert met een vision-language architectuur. Het innovatieve aspect is dat het geen specifieke AR-VOS trainingsdata vereist.

De architectuur bestaat uit drie hoofdblokken:

ASR-Module (Automatic Speech Recognition):
- De invoer-audio wordt eerst omgezet naar tekst met behulp van een ASR-module (in dit geval Whisper-Large).
- Hierdoor wordt het AR-VOS-probleem herformuleerd naar een tekstgebaseerd verwijzingsprobleem.
Visueel-Taal Integratie (VIRST Framework):
- Het model gebruikt de bestaande VIRST-architectuur, die is gebaseerd op Vision-Language Models (VLM).
- Het combineert CLIP-gebaseerde video-encoder features en SAM2 (Segment Anything Model 2) encoder features via een ST-Fusion module (Spatio-Temporal Fusion).
- De getranscribeerde tekst dient als taalinput voor de VLM, die vervolgens de maskers genereert via de SAM2 decoder.
- Belangrijk: Het model is getraind op tekst-gebaseerde RVOS-data (zoals MeViSv2-Text) en generaliseert hierdoor effectief naar audio-scenario's zonder extra audio-supervisie.
Existence-Aware Gating Mechanisme (Bestaansbewuste Poort):
- Om het probleem van hallucinaties aan te pakken (waar het model een masker voorspelt terwijl het object er niet is), introduceren de auteurs een existence-aware gating mechanism.
- Een lichtgewicht module voorspelt de waarschijnlijkheid ( $p$ ) dat het doelobject aanwezig is in de video, gebaseerd op de fused features.
- Inferentie: Als de voorspelde waarschijnlijkheid lager is dan een drempelwaarde $\tau$ (bijv. 0.8), wordt de segmentatiemodule genegeerd en wordt een leeg resultaat (geen masker) teruggegeven.
- Dit vermindert "false positives" aanzienlijk en stabiliseert het systeem.

3. Belangrijkste Bijdragen

Cross-modale Transfer: Het bewijzen dat een model, getraind puur op tekst-gebaseerde verwijzende segmentatie, zeer effectief kan worden toegepast op audio-gestuurde taken door simpelweg spraak om te zetten naar tekst.
Hallucinatiemitigatie: De introductie van het existence-aware gating mechanism dat specifiek is ontworpen om foutieve segmentaties te onderdrukken wanneer het doelobject ontbreekt. Dit verbetert de betrouwbaarheid in real-world scenario's.
Efficiëntie: Het vermijden van complexe audio-visual alignment training; in plaats daarvan wordt gebruikgemaakt van bestaande, krachtige tekst-gebaseerde redeneervermogens.

4. Resultaten

Het team nam deel aan de MeViS-Audio track van de 5e PVUW Challenge en behaalde de 3e plaats van de 13 deelnemende teams.

Kwalitatieve Prestaties:
- J & F Score: 0.54 (J = 0.52, F = 0.56).
- Het model slaagt erin om correcte objecten te onderscheiden in multi-object scenario's en levert consistente resultaten op wanneer het object duidelijk is omschreven.
- In gevallen waar het object ontbreekt, geeft het model correct geen segmentatie terug (onderdrukking van hallucinaties).
Kwantitatieve Metrieken:
- N-acc. (No-target accuracy): 0.70 (vermogen om afwezigheid correct te voorspellen).
- T-acc. (Target accuracy): 0.82 (vermogen om aanwezigheid correct te voorspellen).
- De balans tussen deze twee metrieken toont aan dat het model zowel robuust is bij negatieve queries als effectief bij positieve queries.
Ablatiestudie:
- Zonder het gating mechanisme daalde de J & F score naar 0.49.
- Met het gating mechanisme (optimaal bij drempel $\tau = 0.8$ ) steeg de score naar 0.54 en verbeterde de N-acc. aanzienlijk, wat aantoont dat de poort effectief "spurious predictions" (onnodige voorspellingen) filtert.

5. Betekenis en Conclusie

VIRST-Audio demonstreert dat het niet noodzakelijk is om specifieke, zware audio-visual modellen te trainen voor audio-gestuurde video-segmentatie. Door slim gebruik te maken van Automatic Speech Recognition en bestaande Vision-Language Modellen, kan men de kracht van tekstuele redenering overbrengen naar het audio-domein.

De toevoeging van het existence-aware gating mechanism is cruciaal voor de praktische toepasbaarheid, omdat het de betrouwbaarheid verhoogt door te voorkomen dat het systeem objecten "uit het niets" genereert. Deze aanpak biedt een schaalbare en robuuste oplossing voor real-world toepassingen waar modellen moeten omgaan met ongedwongen input en variabele omstandigheden. De code is open-source beschikbaar gesteld.