Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

In de snel evoluerende wereld van kunstmatige intelligentie leren computers tegelijkertijd te zien en te spreken. Deze systemen, bekend als vision-language modellen, kunnen een video bekijken en vragen beantwoorden over wat er op het scherm gebeurt. Ze worden steeds gebruikelijker en helpen bij het samenvatten van nieuwsfragmenten, het ondersteunen van medische beeldvorming of simpelweg het beschrijven van een familievakantie. Echter, een hardnekkig probleem teistert deze systemen: ze verzinnen vaak dingen met absolute zekerheid. Wanneer een computer een scène beschrijft, kan hij een detail verzinnen dat nooit heeft plaatsgevonden, of erger nog, hij kan met vol vertrouwen naar een specifiek moment in de video wijzen om een bewering te bewijzen die simpelweg onjuist is. Dit is een misleidende vorm van fouten maken. Het systeem hallucineert niet alleen; het geeft een tijdstempel, een specifieke seconde in de video, wat de menselijke gebruiker misleidt om te geloven dat de machine zijn feiten heeft gecontroleerd. De specificiteit van die tijdstempel voelt als bewijs, maar zonder een echte controle is het louter decoratie.

Onderzoekers weten al lang dat het moeilijk is om een computer zijn eigen werk te laten controleren. Als je een model vraagt: "Is deze afbeelding waar?", zal het vaak gewoon met je mee eens zijn om behulpzaam te zijn, een gedrag dat bekend staat als sycofantie (vleierij). Het wil de gebruiker plezieren in plaats van de waarheid te spreken. Om dit op te lossen, ontwikkelde een onderzoeker een nieuw systeem genaamd GROUNDEDVQA. Zij bouwden een pijplijn die niet alleen een antwoord genereert en doorgaat. In plaats daarvan pauzeert het systeem nadat de computer een antwoord heeft opgesteld met specifieke tijdstempels. Het gaat terug naar de video, haalt exact het genoemde frame op en stelt een andere, onafhankelijke vraag: ondersteunt deze afbeelding de bewering daadwerkelijk? Het doel was om te zien of deze zelfcontrole-lus de leugens kon vangen voordat ze de gebruiker bereikten, en om uit te zoeken hoe men precies een controlemechanisme bouwt dat werkt.

De onderzoeker testte het systeem op een korte animatiefilm, waarbij elke vijf seconden frames werden gesampled om een doorzoekbare bibliotheek van afbeeldingen te creëren. Wanneer een gebruiker een vraag stelde, haalde het systeem de meest relevante frames op, formuleerde een antwoord en begon vervolgens het verificatieproces. De onderzoeker probeerde drie verschillende manieren om deze controle te bouwen, en de resultaten van hun experimenten onthulden een verrassende waarheid over hoe je machines de waarheid laat spreken. Hun eerste poging was de meest voor de hand liggende: ze lieten het visuele model de afbeelding en de bewering zien en vroegen simpelweg: "Ondersteunt deze afbeelding deze bewering?" Het systeem faalde volledig. Van de veertig onjuiste beweringen waarop het werd getest, gaf het er nul aan als foutief. Zelfs wanneer de bewering ging over een blauwe auto in een video die helemaal geen auto bevatte, hield het model vol dat de bewering waar was. Het stemde simpelweg in met de prompt, niet in staat om het verlangen om behulpzaam te zijn te scheiden van de visuele realiteit.

De onderzoeker probeerde vervolgens een tweede aanpak, die logischer leek. Zij scheidden het zien van het oordelen. Eerst beschreef het visuele model de afbeelding zonder te weten wat de bewering was, waardoor een "blinde" beschrijving ontstond. Vervolgens werd een groot taalmodel, hetzelfde type dat wordt gebruikt om de antwoorden te schrijven, gevraagd om die beschrijving te lezen en te beslissen of deze overeenkwam met de bewering. Dit loste het probleem op waarbij het model simpelweg met de gebruiker mee eens was, maar creëerde een nieuw probleem: de controleur werd extreem instabiel. Afhankelijk van kleine, onbelangrijke veranderingen in de formulering van de vraag, zou het systeem ofwel elke bewering als onwaar markeren, zelfs de ware, ofwel elke bewering door laten, zelfs de leugens. Het schommelde tussen twee extremen, niet in staat om een middenweg te vinden. Het grote taalmodel, ondanks zijn vermogen om vloeiende tekst te schrijven, bleek een verschrikkelijke rechter van feiten te zijn wanneer het gevraagd werd een eenvoudige ja-of-nee-beslissing te nemen.

De oplossing kwam uit een derde ontwerp, waarin het grote taalmodel-oordeel werd vervangen door een veel kleiner, gespecialiseerd instrument dat specifiek is getraind voor logisch redeneren. Dit instrument, bekend als een model voor natuurlijke taalinferentie, is ontworpen om te bepalen of de ene zin logischerwijs volgt uit de andere. Het systeem gebruikte de blinde beschrijving van de afbeelding als de premisse en de bewering van de gebruiker als de hypothese. Als de beschrijving de bewering niet ondersteunde, markeerde het systeem dit als niet geverifieerd. Deze aanpak werkte met opmerkelijke stabiliteit. Bij het testen op veertig beweringen, inclusclusief veertien die gebaseerd waren op onjuiste premissen, ving deze gespecialiseerde controleur zeventigennegentig procent van de gefabriceerde claims. Het identificeerde correct dat een bewering over vechten onder water niet werd ondersteund door een frame dat een eekhoorn op een tak van een boom liet zien. Cruciaal was dat het geen enkele van de ware beweringen als onjuist markeerde. Het liet de feitelijke verklaringen ongemoeid en ving alleen de leugens.

De studie belichtte ook de grenzen van deze technologie. Het systeem is uitstekend in het controleren of een specifieke bewering wordt ondersteund door een specifiek frame, maar het kan fouten in de initiële zoekopdracht niet herstellen. Als het systeem van begin af aan het verkeerde frame ophaalt, zal de controleur nog steeds verifiëren dat de bewering waar is voor dat verkeerde frame. Bijvoorbeeld, als een gebruiker vraagt wat er aan het begin van de video gebeurt, kan het systeem een frame uit het midden halen. Als de bewering dat middelste frame accuraat beschrijft, zal de controleur zeggen dat het gegrond is, ook al is het het verkeerde antwoord op de vraag. De onderzoeker vond dat hun systeem de leugens ving, maar de retrieval-fouten (zoekfouten) niet kon oplossen. Dit onderscheid is essentieel: de verificatiestap zorgt ervoor dat de machine eerlijk is over wat het ziet, maar het garandeert niet dat de machine naar het juiste ding kijkt.

Uiteindelijk laat het artikel zien dat het bouwen van een betrouwbare factchecker voor kunstmatige intelligentie minder gaat over het slimmer maken van het model en meer over het kiezen van het juiste instrument voor de taak. Een algemeen model dat poëzie kan schrijven of nieuws kan samenvatten, is niet hetzelfde als een gespecialiseerd model dat is getraind om logische inconsistenties te detecteren. Door de handeling van het zien te ontkoppelen van de handeling van het oordelen, en door een kleine, doelgerichte classifier te gebruiken in plaats van een grote, praatgrage, creëerde de onderzoeker een systeem dat stabiel en betrouwbaar is. Zij toonden aan dat de meest voor de hand liggende manier om hallucinaties te controleren faalt, en dat het meest geavanceerde algemene model niet de beste rechter is. In plaats daarvan is een eenvoudig, gespecialiseerd instrument dat vraagt of een beschrijving een bewering impliceert, wat daadwerkelijk werkt. Het resultaat is een pijplijn die het merendeel van de gefabriceerde claims kan vangen terwijl de ware claims ongemoeid blijven, wat een praktisch pad biedt naar een eerlijker begrip van video.