KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation
Het artikel introduceert KnowHal, een uitgebreide benchmark die de evaluatie van entiteit-, attribuut-, relatie- en kennishallucinaties in Multimodale Grote Taalmodellen verenigt via een nieuw gepaard vraagontwerp, waarbij wordt onthuld dat kennisgerelateerde fouten en het accepteren van valse premissen nog steeds significante uitdagingen vormen voor de huidige modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot leert de wereld te begrijpen. Deze robot, een Multimodal Large Language Model (of MLLM voor kort), is als een briljante student die tegelijkertijd een plaatje kan bekijken en een boek kan lezen. Het is geweldig in het beschrijven van wat het ziet, zoals zeggen: "Dat is een rode appel op een houten tafel." Maar soms wordt deze robot een beetje té creatief. Het kan naar een foto van een kat kijken en vol vertrouwen tegen je zeggen: "Deze kat vliegt een ruimteschip," ook al kunnen katten niet vliegen en is er geen ruimteschip in de foto te zien. Dit wordt een "hallucinatie" genoemd. Het is alsover de robot aan het dagdromen terwijl hij eigenlijk aan het werk zou moeten zijn.
Waarom is dit belangrijk? Omdat we deze robots willen vertrouwen met belangrijke taken, zoals het helpen van artsen bij het diagnosticeren van ziekten of het begeleiden van zelfrijdende auto's. Als een robot dingen gaat verzinnen, kunnen de resultaten gevaarlijk zijn. Wetenschappers hebben geprobeerd tests te bouwen om deze dagdromen te vangen. De meeste van deze tests controleren of de robot eenvoudige dingen in een plaatje correct kan identificeren, zoals "Is er een hond?" of "Is de hond bruin?". Maar er is een lastig deel: soms weet de robot de feiten over de wereld (zoals "honden hebben een staart"), maar raakt hij in de war wanneer de foto niet overeenkomt, of verzint hij feiten die helemaal niet in de foto staan. Tot nu toe hadden we geen enkele, eerlijke test die zowel controleerde wat de robot ziet als wat hij weet over de wereld, allemaal in één keer.
Maak kennis met KnowHal, een nieuwe en slimme test die is ontworpen om deze dagdromen op een heel nieuwe manier te vangen. Denk aan KnowHal als een "zoek de verschillen"-spel, maar dan voor robotbreinen. De onderzoekers hebben een enorme collectie van 1.800 plaatje-en-vraagparen gebouwd, verspreid over 10 verschillende levensgebieden, van sport tot muziek. Voor elk plaatje hebben ze twee soorten vragen gemaakt: "Positieve" vragen die gaan over dingen die daadwerkelijk in de foto zitten of ware feiten over het object, en "Negatieve" vragen die verraderlijk zijn. Deze vallen klinken erg aannemelijk, maar zijn eigenlijk leugens. Bijvoorbeeld, als een foto een echte hond laat zien, stelt een positieve vraag: "Welke kleur heeft de hond?". Een negatieve valstrik zou zijn: "Welke kleur heeft de onzichtbare blauwe hoed van de hond?".
De onderzoekers hebben 14 verschillende robotbreinen getest op dit nieuwe spel. Ze kwamen een aantal verrassende dingen tegen. Ten eerste waren de robots over het algemeen prima in staat om de "Positieve" vragen te beantwoorden, maar ze struikelden hard over de "Negatieve" vallen. Het is alsof een student zijn rekenregels perfect kent, maar in de war wordt door een vraag die vraagt: "Als 2 plus 2 gelijk is aan 5, wat is dan 2 plus 2?". De robots zeiden vaak "5" in plaats van de leugen te corrigeren. Dit laat zien dat zelfs de slimste robots niet erg goed zijn in het zeggen van: "Wacht, dat klopt niet," wanneer ze worden misleid.
De grootste verrassing was dat het moeilijkste deel voor bijna elke robot de "Kennis"-dimensie was. Dit is waar de robot feiten moet gebruiken die hij heeft geleerd uit boeken of het internet, niet alleen wat hij in de foto ziet. Zelfs de beste robots gingen hier vaker de fout in dan bij eenvoudige visuele vragen. Dit suggereert dat hoewel deze robots beter worden in het zien, ze nog steeds worstelen met het onderscheid tussen wat ze zien en wat ze denken te weten.
De studie keek ook naar hoe de grootte van het robotbrein de prestaties beïnvloedde. Ze ontdekten dat grotere breinen over het algemeen beter presteerden, maar zelfs de grootste breinen hadden nog steeds moeite met de lastige "Kennis"-vragen en de "Negatieve" vallen. Dit vertelt ons dat het groter maken van de robot niet zomaar een magische oplossing is; we moeten ze leren om voorzichtiger en sceptischer te zijn.
Kortom, het artikel introduceert KnowHal, een nieuwe benchmark die echte vragen koppelt aan lastige, valse vragen om te testen hoe goed robots het verschil zien tussen waarheid en fictie. De resultaten suggeries dat hoewel onze AI-vrienden slimmer worden, ze nog een lange weg te gaan hebben voordat ze volledig te vertrouwen zijn om een leugen te herkennen of toe te geven dat ze het antwoord niet weten. De auteurs geloven dat deze nieuwe test toekomstige robots zal helpen om betrouwbaarder te worden en minder geneigd te zijn om verhalen te verzinnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.