What Do Audio-Visual Synchronization Metrics Actually Measure?

In de wereld van kunstmatige intelligentie leren machines om video's te maken die geluid bevatten, of om geluid te genereren dat perfect past bij een bewegend beeld. Dit is een complexe taak omdat de computer moet ervoor zorgen dat een donderslag precies op het moment verschijnt dat er een bliksemflits te zien is, of dat de lippen van een zanger in de pas bewegen met de noten die zij zingt. Om deze machines te onderwijzen en om te beslissen welke het beste werk leveren, vertrouwen onderzoekers op automatische scoresystemen. Deze systemen fungeren als scheidsrechters, die een enkel getal aan een video toekennen om aan te geven hoe goed het geluid en het beeld gesynchroniseerd zijn. Hoe hoger het getal, hoe beter de match. Deze enkele score wordt gebruikt om verschillende AI-modellen te rangschikken en zelfs om ze te trainen, waarbij de software wordt gestuurd over hoe ze kunnen verbeteren. Als de scheidsrechter onbetrouwbaar is, kan het trainingsproces fout gaan, waardoor de machine wordt geleerd om voor de verkeerde zaken te optimaliseren.

Jarenlang heeft de wetenschappelijke gemeenschap verschillende verschillende scoresystemen gebruikt voor deze taak, maar ze hebben zelden gecontroleerd of deze scheidsrechters met elkaar overeenstemmen of dat ze daadwerkelijk meten wat ze beweren te meten. Een nieuwe studie door onderzoekers van Virginia Tech en Accenture besloot deze scoresystemen onder een microscoop te leggen. Ze beschouwden de metrieken niet als perfecte instrumenten, maar als instrumenten die gecontroleerd moesten worden. De onderzoekers wilden weten of deze scores op een voorspelbare manier zouden veranderen wanneer ze doelbewust de timing van een video verstoorden, of de scores stabiel zouden blijven wanneer de video licht werd aangepast in grootte of bijgesneden, en of de verschillende scoresystemen het met elkaar eens zouden zijn over welke video's goed en welke slecht waren.

De onderzoekers namen een grote collectie echte, goed gesynchroniseerde videoclips en creëerden een reeks gecontroleerde fouten. Ze verschoven het geluid iets naar voren of naar achteren, versnelden de audio, husselden de videofragmenten door elkaar, of dempten het geluid kortstondig. Omdat ze precies wisten hoeveel ze elke clip hadden veranderd, hadden ze een perfecte grondwaarheid om tegenover te vergelijken. Vervolgens haalden ze deze aangepaste clips door de vier meest gebruikte scoresystemen in het vakgebied. Het doel was simpel: een goed scoresysteem zou een lagere score moeten geven naarmate de fout erger wordt, in een vloeiende en consistente lijn.

De resultaten onthulden een verrassende splitsing in de capaciteiten van deze tools. Geen enkel scoresysteem was het beste in alles. Eén systeem, dat een geleerd model gebruikt om de exacte tijdsafstand tussen geluid en beeld te voorspellen, was uitzonderlijk goed in het detecteren van eenvoudige tijdsverschuivingen. Wanneer de audio een fractie van een seconde werd vertraagd, merkte dit systeem het onmiddellijk op en gaf het een lagere score. Echter, wanneer de onderzoekers complexere problemen introduceerden, zoals het husselen van de videoclips of het dempen van het geluid, had ditzelfde systeem moeite. Het was als een specialist die briljant is in het meten van tijd, maar in de war raakt door veranderingen in de inhoud zelf.

In contrast hiermee waren andere scoresystemen die zich richten op de algemene betekenis en visuele gelijkenis tussen het geluid en het beeld veel beter in het opsporen van deze verstoringen in de inhoud. Ze merkten op wanneer de video werd gehusseld of het geluid werd uitgeschakeld, maar ze waren minder gevoelig voor kleine timingfouten. De studie toonde aan dat deze verschillende systemen vaak van mening verschilden. Wanneer de onderzoekers hen vroegen om dezelfde set video's te rangschikken, gaven de systemen vaak verschillende volgordes aan, met zeer weinig overeenstemming tussen hen. Sterker nog, het niveau van onenigheid was zo hoog dat het bijna onmogelijk was om te bepalen welk systeem juist was zonder een menselijke waarnemer.

De onderzoekers testten ook of deze systemen om kunnen gaan met de kleine verschillen tussen twee zeer vergelijkbare AI-modellen. In de echte wereld hebben ontwikkelaars vaak twee versies van een model die bijna identiek zijn, en moeten ze weten welke er iets beter is. De studie toonde aan dat voor de meeste scoresystemen de minuscule verschillen tussen deze vergelijkbare modellen verloren gingen in de ruis. De scores fluctueerden zo sterk dat de systemen niet betrouwbaar het betere model van het slechtere model konden onderscheiden. Alleen het specialistische timingsysteem kon de twee consistent van elkaar scheiden, maar het faalde in het vastleggen van de bredere kwaliteitsaspecten die de andere systemen opmerkten.

Misschien wel het belangrijkste: de onderzoekers probeerden al deze verschillende scores te combineren tot één meesterscore, in de hoop dat een mix van hen een perfecte scheidsrechter zou creëren. Ze gebruikten wiskundige methoden om de resultaten te mengen, maar dit werkte niet. De gecombineerde score was niet beter dan het beste enkele systeem op zichzelf. Dit suggereert dat het probleem niet alleen een gebrek aan data is, maar dat de systemen fundamenteel verschillende dingen meten. Het ene systeem meet de precieze timing van gebeurtenissen, terwijl een ander de algemene harmonie van de scène meet. Omdat ze naar verschillende aspecten van de video kijken, kunnen ze niet gemakkelijk worden samengevoegd tot één getal.

De studie concludeert dat het vakgebied moet stoppen met het vertrouwen op een enkele synchronisatiescore om AI-modellen te beoordelen. In plaats daarvan bevelen de onderzoekers een nieuwe aanpak aan genaamd een "Reliability Card" (Betrouwbaarheidskaart). Dit zou een rapport zijn dat vermeldt hoe een model presteert over verschillende soorten fouten, waarbij de sterktes en zwaktes duidelijk worden getoond. Bijvoorbeeld, een model kan uitstekend zijn in het bijhouden van de tijd, maar slecht in het afhandelen van complexe scènes. Door deze details met betrouwbaarheidsintervallen te rapporteren, kunnen ontwikkelaars en onderzoekers weloverwogen beslissingen nemen over welk model te gebruiken voor een specifieke taak. De bevindingen laten zien dat hoewel we krachtige instrumenten hebben om audio-visuele synchronisatie te meten, we moeten begrijpen dat geen enkel instrument het hele verhaal vertelt, en dat het vertrouwen op slechts één getal tot misleidende conclusies kan leiden.