OVIBench: Benchmarking Online Video Question Answering under Interruption
Dit artikel introduceert OVIBench, de eerste gestandaardiseerde benchmark en bijbehorende trainingsdataset die is ontworpen om het vermogen van Vision Language Models om te gaan met realistische gebruikersonderbrekingen — zoals annuleringen, foutieve triggers en correcties — tijdens online video-vraagbeantwoording te evalueren en te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een live uitzending van een natuurdocumentaire kijkt. Je leunt naar voren, gefascineerd door een schildpad die eendjes over een vijver draagt, wanneer je plotseling beseft dat de verteller het verkeerde dier beschrijft. In een echt gesprek zou je onderbreken door te zeggen: "Wacht, dat is een kat, geen eend," of misschien: "Stop, ik hoef de rest niet te horen." Decennialang hebben de kunstmatige intelligentiesystemen die ontworpen zijn om video's te bekijken en vragen te beantwoorden, op een veel rigidere manier gefunctioneerd. Ze waren gebouwd om te wachten tot de hele video was afgespeeld voordat ze begonnen te spreken, waarbij ze een enkele, ononderbroken monoloog leverden. Deze aanpak werkte goed voor statische tests, maar slaagde er niet in de rommelige, dynamische realiteit te vatten van hoe mensen daadwerkelijk met technologie omgaan. Wij wachten niet tot een machine haar gedachte heeft afgemaakt voordat we haar corrigeren; we onderbreken, we sturen bij, en we stoppen haar midden in een zin.
Een team van onderzoekers heeft nu een nieuwe manier ontwikkeld om te testen of deze video-bekijkende computers de echte wereld aankunnen. Ze creëerden een benchmark genaamd OVIBench, die de ervaring simuleert van een gebruiker die een model onderbreekt terwijl het midden in het genereren van een antwoord zit. In plaats van het model de video van begin tot eind te laten bekijken en dan te laten spreken, zetten de onderzoekers een scenario op waarbij het model begint te praten, en dan, op een specifief moment, een gebruikerssignaal ertussen komt. Dit signaal kan het model de opdracht geven om volledig te stoppen met praten, om een foutieve opdracht te negeren, of om een foutieve bewering die het net maakte te corrigeren. De onderzoekers categoriseerden deze onderbrekingen in drie verschillende typen: een "annulering", waarbij de gebruiker wil dat het gesprek eindigt; een "valse trigger", waarbij de gebruiker per ongeluk iets zegt dat op een commando lijkt maar dat niet is; en een "correctie", waarbij de gebruiker op een fout wijst en om een nieuw antwoord vraagt.
Om dit te testen, verzamelde het team duizenden video's uit diverse bronnen, variërend van kookinstructies tot misdaadbeelden en natuurclips. Ze gebruikten een geavanceerd systeem om vragen over deze video's te genereren en voegden vervolgens onderbrekingen op willekeurige momenten in tijdens de reactie van het model. Omdat real-time testen met duizenden modellen chaotisch en traag zou zijn, ontwikkelden ze een slimme offline simulatie. Ze registreerden precies hoe snel een model spreekt, berekenden welke frames van de video het model had gezien op het moment dat een onderbreking plaatsvond, en voedden dat specifieke fragment van de video, samen met het gedeeltelijke antwoord en het onderbrekingssignaal, weer terug in het model. Hierdoor konden ze testen hoe het model reageerde op de onderbreking alsof deze live gebeurde, waardoor elk model exact onder dezelfde omstandigheden werd getest.
De resultaten toonden een aanzienlijke kloof tussen hoe goed deze modellen presteren in stille, gecontroleerde tests en hoe ze omgaan met dynamische onderbrekingen. Hoewel veel van de top videomodellen vragen correct konden beantwoorden als ze met rust gelaten werden, hadden ze enorme moeite wanneer ze werden gevraagd zich aan te passen aan een commando van een gebruiker halverwege een zin. Ze faalden vaak in het herkennen wanneer ze moesten stoppen met praten of, nog kritischer, wanneer ze hun antwoord moesten aanpassen aan een correctie. In veel gevallen bleven de modellen tekst genereren die in tegenspraak was met de nieuwe instructie van de gebruiker, of raakten ze in de war door een vals alarm en stopten ze met praten terwijl ze dat eigenlijk niet hadden moeten doen. De studie toonde aan dat het vermogen om dergelijke onderbrekingen te verwerken niet slechts een kleine functie is, maar een fundamentele zwakte in de huidige technologie, vooral wat betreft het opvolgen van correctieverzoeken.
Om dit aan te pakken, creëerden de onderzoekers een nieuwe trainingsdataset die specifiek is ontworpen om modellen te leren hoe ze op deze onderbrekingen moeten herkennen en reageren. Ze namen een standaard videomodel en verfijnden dit met behulp van duizenden voorbeelden waarbij het model de juiste reactie op een onderbreking moest kiezen. De resultaten van deze training waren opmerkelijk. Het nieuw getrainde model, dat relatief klein van omvang was, presteerde veel beter dan veel grotere, krachtigere modellen die deze specifieke training niet hadden ontvangen. Het leerde het onderscheid te maken tussen een echt commando om te stoppen en een vals signaal, en het werd aanzienlijk beter in het herzien van zijn antwoord wanneer het te horen kreeg dat het fout zat. Sterker nog, dit kleinere, gespecialiseerde model presteerde beter dan sommige van de grootste beschikbare modellen, wat suggereert dat het juiste soort trainingsdata belangrijker is dan simpelweg het model groter maken.
De onderzoekers ontwikkelden ook een gedetailleerde set criteria om niet alleen te beoordelen of het model het juiste antwoord gaf, maar ook hoe goed het de interactie afhandelde. Ze maten of de reactie van het model na de onderbreking natuurlijk verliep, of het zich aan de feiten in de video hield, en of het de delen van het gesprek die niet gewijzigd hoefden te worden, intact liet. Deze tests bevestigden dat hoewel huidige modellen steeds beter worden in het begrijpen van video-inhoud, ze nog grotendeels onvoorbereid zijn op de vloeiende, onderbreekbare aard van menselijke gesprekken. Het werk suggereert dat voor video-assistenten om echt bruikbaar te worden in real-world settings zoals livestreams of online onderwijs, ze niet alleen geleerd moeten worden om te zien en te spreken, maar ook om te luisteren en zich aan te passen terwijl ze aan het spreken zijn. Deze nieuwe benchmark biedt een duidelijk pad voorwaarts, en laat zien dat we met de juiste data en evaluatiemethoden systemen kunnen bouwen die even responsief zijn op de stem van een mens als op de beelden op het scherm.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.