Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models
De SHROOM-Visions 2026 shared task, gehost bij de UncertaiNLP Workshop, heeft succesvol 27 teams betrokken bij het ontwikkelen van model-agnostische systemen voor het detecteren en classificeren van fijnmazige hallucinaties in grote vision-language modellen over vier talen, waarbij significante prestatieverbeteringen ten opzichte van baselines werden behaald met behulp van de SHEEP-dataset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie heeft een nieuwe generatie computers geleerd om tegelijkertijd te zien en te spreken. Deze systemen, bekend als grote visuele-taalmodellen, kunnen naar een foto kijken en deze in vloeiende zinnen beschrijven, of vragen beantwoorden over wat ze zien. Ze zijn opmerkelijk bekwaam, maar ze lijden aan een specifief soort fout die een hallucinatie wordt genoemd. Dit is geen visuele truc zoals een fata morgana, maar een verbale: de computer produceert tekst die zelfverzekerd en grammaticaal perfect klinkt, maar feitelijk onjuist of volkomen ongerelateerd aan de afbeelding waar hij naar kijkt. Het kan een object verzinnen dat er niet is, een kleur onjuist beschrijven of een bord verkeerd lezen. Nu deze hulpmiddelen gebruikelijker worden in het dagelijks leven, van het helpen van artsen bij het lezen van scans tot het assisteren van reizigers, is het vermogen om deze zelfverzekerde leugens te ontdekken een cruciaal veiligheidskwestie geworden.
Om dit probleem aan te pakken, organiseerden onderzoekers een wereldwijde competitie genaamd SHROOM-Visions 2026. Het doel was niet om een betere beeldgenerator te bouwen, maar om een betere detector van fouten te creëren. Tweeentwintig teams uit de hele wereld namen deel en dienden honderden verschillende computersystemen in die ontworpen zijn om een afbeelding, een vraag en een gegenereerd antwoord te scannen, en vervolgens precies aan te wijzen welke woorden leugens waren en wat voor soort leugen het was. De competitie maakte gebruik van een enorme collectie van twintig duizend voorbeelden in vier talen: Engels, Chinees, Frans en Italiaans. Cruciaal was dat de onderzoekers niet uitsluitend vertrouwden op fouten gemaakt door andere computers, die bevooroordeeld of repetitief kunnen zijn. In plaats daarvan voegden ze duizenden voorbeelden toe waarbij mensen doelbewust valse beschrijvingen van afbeeldingen hadden geschreven, om ervoor te zorgen dat de testdata robuust en onafhankelijk was van de specifieven van een specifieke machine.
De resultaten lieten zien dat hoewel computers aanzienlijke vooruitgang hebben geboekt, de taak moeilijk blijft. De beste systemen in de competitie slaagden erin om deze fouten met een matig niveau van nauwkeurigheid te identificeren en te categoriseren, waarbij ze de basismethoden aanzienlijk overtroffen met een marge van dertig tot veertig punten. Echter, zelfs de beste presteerders behaalden geen perfecte scores. De meest succesvolle systemen konden de locatie van een gehallucineerd woord ongeveer de helft van de tijd correct identificeren en de fout ook met een vergelijkbare betrouwbaarheid classificeren. Dit suggereert dat we weliswaar beter worden in het aanleren van het controleren van de eigen output door machines, maar dat het probleem van het onderscheiden van waarheid van fictie in een visuele context nog lang niet is opgelost.
Een verrassende bevinding kwam naar voren uit de analyse van hoe deze systemen presteerden. De onderzoekers ontdekten dat de rangschikking van de teams niet zo stabiel was als een eenvoudige lijst met scores zou doen vermoeden. Wanneer dezelfde systemen werden getest op verschillende subsets van de data, verschoof hun relatieve positie aanzienlijk. Een team dat in één groep tests de duidelijke leider leek te zijn, kon in een andere groep aanzienlijk zakken. Deze instabiliteit geeft aan dat de prestaties van deze detectoren zeer gevoelig zijn voor de manier waarop de testdata wordt geconstrueerd. Sommige systemen presteerden uitzonderlijk goed op data gegenereerd door andere machines, maar hadden moeite met menselijke fouten, terwijl andere het tegenovergestelde lieten zien. Dit suggereert dat het succes van een systeem niet alleen draait om de ruwe intelligentie, maar ook om hoe nauw de trainingsdata overeenkomt met het specifieke type fout dat het gevraagd wordt te vinden.
De competitie benadrukte ook de complexiteit van de fouten zelf. De onderzoekers categoriseerden hallucinaties in vijf verschillende typen: het verzinnen van iets dat niet bestaat, het onjuist beschrijven van iets dat zichtbaar is, het verkeerd lezen van tekst binnen een afbeelding, het verkeerd tellen van objecten en andere diverse fouten. De systemen vonden dat sommige soorten fouten gemakkelijker te vangen waren dan andere. Bijvoorbeeld, telfouten waren over het algemeen gemakkelijker te detecteren dan subtiele onjuiste beschrijvingen van de eigenschappen van een object. Bovendien varieerde de moeilijkheid per taal, waarbij Engels de meest uitdagende taal bleek te zijn voor de systemen om te hanteren, terwijl Chinees een iets hogere gemiddelde prestatie liet zien.
Uiteindelijk toonde de SHROOM-Visions 2026-taak aan dat het detecteren van hallucinaties een genuanceerd probleem is dat meer vereist dan slechts één enkele maatstaf voor succes. De onderzoekers ontdekten dat het vermogen van een systeem om een fout te lokaliseren en het vermogen om correct te labelen wat voor soort fout het was, gerelateerde maar verschillende vaardigheden zijn. Een systeem kan goed zijn in het vinden van de verkeerde woorden, maar slecht in het uitleggen waarom ze fout zijn. De studie concludeert dat voor deze hulpmiddelen om werkelijk betrouwbaar te zijn, toekomstige evaluaties rekening moeten houden met deze onzekerheid en divers, door mensen geïnformeerde data moeten gebruiken in plaats van enkel te vertrouwen op door machines gegenereerde data. De weg vooruit ligt in het bouwen van benchmarks die bestand zijn tegen de snelle veranderingen in technologie, om ervoor te zorgen dat de detectoren die we vandaag bouwen, effectief blijven naarmate de modellen die zij monitoren blijven evolueren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.