Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video
Dit artikel onthult dat huidige Video-LLM's er grotendeels niet in slagen om specifieke personages in langdurige video's echt te volgen, maar in plaats daarvan vertrouwen op oppervlakkige genderkenmerken en falen in het onderscheiden van personen van hetzelfde geslacht, wat ertoe leidt dat benchmarkscores hun werkelijke temporele redeneer- en identiteitsvolgend vermogen overschatten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente, 7- tot 8-miljard-parameters tellende robotdetective hebt ingehuurd om een hele aflevering van The Big Bang Theory te bekijken. Je missie voor de robot is simpel: "Bekijk Sheldon, en vertel me in welke exacte volgorde zijn outfits veranderen."
Je zou verwachten dat de robot als een havik zou zijn, zijn ogen op Sheldons gezicht gericht, hem door elke scène volgend en elke garderobeverschuiving met perfecte precisie genotend. Maar hier komt de twist: de robot kijkt eigenlijk niet naar Sheldon. Hij raadt het alleen maar op basis van een zeer luie afkorting.
De Grote "Sheldon"-wissel
Om uit te zoeken wat er aan de hand was, gebruikten de onderzoekers een slimme truc. Ze namen exact dezelfde video en exact dezelfde meerkeuzeantwoorden, maar ze wisselden simpelweg de naam in de vraag om.
- Oorspronkelijke vraag: "In welke volgorde verandert Sheldon van outfit?"
- De wissel: "In welke volgorde verandert Leonard van outfit?" (Zelfde video, zelf antwoorden).
Als de robot echt personages zou volgen, zou hij moeten zeggen: "Wacht even, Leonard draagt andere kleren dan Sheldon!" en een ander antwoord moeten kiezen. Maar raad eens? De robot gaf er niet om.
In ongeveer 7% tot 17% van de gevallen bij swaps van hetzelfde geslacht (zoals Sheldon vervangen door Leonard), veranderde de robot zijn antwoord. Dat is nauwelijks beter dan het gooien van een dobbelsteen. Hij negeerde de naam grotendeels en koos gewoon een antwoord dat hij leuk vond.
De "Geslacht"-fout
Dus, als hij niet naar de persoon kijkt, waar kijkt hij dan wel naar? De onderzoekers ontdekten dat de robot een zeer grove, wazige filter gebruest: Geslacht.
Wanneer ze een mannelijk personage vervingen door een vrouwelijk personage (zoals Sheldon door Penny), veranderde de robot veel vaker van antwoord (20% tot 43% van de tijd). Het leek erop dat hij dacht: "Oh, de vraag veranderde van een 'man' naar een 'vrouw', dus de kleding moet anders zijn!"
Maar als je de ene man voor een andere man verving, was de robot volledig de weg kwijt. Hij kon Sheldon niet beter onderscheiden van Howard dan hij een kat van een hond kon onderscheiden. Hij zag "mannelijk" en "vrouwelijk", maar hij kon geen "Sheldon" zien.
De "Magische Doos"-illusie
Het paper controleerde ook of de robot aan het spieken was door de show uit zijn trainingsdata te hebben geleerd (alsof hij het script vooraf had gelezen). Ze testten dit door de robot alleen de tekst van de vraag en de titel van de show te laten zien, zonder enige video. De robot scoorde nagenoeg op het niveau van een willekeurige gok (rond de 18–20%). Hij was dus niet aan het spieken met een script; hij was gewoon slecht in het visuele gedeelte.
Ze probeerden het ook door de robot meer frames (meer "snapshots" van de video) te geven om te zien of hij gewoon meer nodig had. Het geven van 32 frames in plaats van 16 maakte hem iets beter in het herkennen van kleding in het algemeen, maar hij werd nog steeds niet beter in het volgen van een specifiek personage. Het was alsof je een blinde persoon een betere bril gaf; ze kunnen de kleding beter zien, maar ze weten nog steeds niet wie ze dragen.
De Meerkeuze-valstrik
Hier is het meest verrassende deel: de robot kreeg 37–38% van de antwoorden goed op de standaardtest. Dat klinkt indrukwekkend! Maar dat score was een fata morgana.
Toen de onderzoekers de robot vroegen om het antwoord in eigen woorden op te schrijven (Open-Ended) in plaats van te kiezen uit een lijst (Multiple Choice), daalde de score met 18 tot 25 punten.
- Meerkeuze-score: ~38%
- Open-Ended-score: ~13–19%
Waarom die daling? Omdat de meerkeuzetest de robot een "magische doos" van vijf opties gaf. Zelfs als de robot gewoon aan het gokken was of het antwoord koos dat hij het leukst vond (zoals "E" of "A"), had hij een kans van 1 op 5 om het goed te hebben. Wanneer hij werd gedwongen het antwoord vanuit het niets te genereren, had hij geen vangnet meer en faalde hij volledig. Sterker nog, nul van de 151 open-ended antwoorden van de open-source robots waren volledig correct.
De Kern van het Verhaal
Het paper concludeert dat deze Video-LLM's niet daadwerkelijk personages volgen. Ze "hallucineren" een connectie tussen de naam en de video. Ze zijn goed in het opmerken dat "een persoon een shirt draagt", maar ze zijn verschrikkelijk in het beantwoorden van de vraag "Welke persoon?".
De onderzoekers suggereren dat de hoge scores op benchmarks misleidend zijn. Ze meten hoe goed de modellen kunnen gokken op basis van geslachtscues of gelukkige meerkeuze-gokken, en niet hoe goed ze daadwerkelijk een verhaal kunnen volgen. Totdat een model de "Naam Wissel"-test en de "Open-Ended"-test kan halen, kunnen we niet zeggen dat het de video echt "bekijkt".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.