Hallucinations in AI Chatbots: A Comparative Analysis

In de afgelopen jaren is een nieuw type computerprogramma een veelvoorkomend hulpmiddel geworden voor het schrijven, coderen en vinden van informatie. Deze programma's, bekend als grote taalmodellen, zijn getraind op enorme hoeveelheden tekst van het internet. Ze zijn ontworpen om te voorspellen welk woord als volgende in een zin zou moeten komen, waardoor ze mensachtige reacties op vragen kunnen genereren. Hoewel ze ongelooflijk nuttig zijn, hebben ze een vreemde tekortkoming: ze beweren soms dingen die volkomen onwaar zijn met totale overtuiging. Onderzoekers noemen deze fouten "hallucinaties". Een hallucinatie kan lijken op een echt feit, een authentiek citaat uit een boek of een werkende regel code, maar het is in werkelijkheid een fabricage. Dit is niet zomaar een kleine storing; wanneer deze programma's worden gebruikt voor schoolwerk, medisch advies of professioneel onderzoek, kan een verzonnen feit leiden tot echte verwarring of gevaar in de echte wereld. De vraag die wetenschappers en gebruikers voorleggen is niet of deze fouten voorkomen, maar hoe vaak ze voorkomen, welke programma's er het meest vatbaar voor zijn en hoe mensen ze kunnen herkennen voordat ze problemen veroorzaken.

Een team van onderzoekers van het Usman Institute of Technology zette zich in om dit probleem te begrijpen door te kijken naar de vier meest populaire AI-chatbots die vandaag de dag beschikbaar zijn: GPT-4, Gemini, Claude en Microsoft Copilot. In plaats van de machines alleen in een laboratorium te testen, vroegen de onderzoekers 80 echte gebruikers naar hun ervaringen in de echte wereld. Ze wilden weten hoe vaak deze gebruikers onjuiste informatie tegenkwamen, hoe ze de fouten opmerkten en wat ze deden om ze te herstellen. De studie richtte zich op taken die een hoge mate van nauwkeurigheid vereisen, zoals het schrijven van academische papers, het schrijven van computercode en het uitvoeren van onderzoek. Het doel was om verder te gaan dan technische benchmarks en te zien hoe deze tools zich gedragen in de handen van gewone mensen die hen gebruiken voor belangrijk werk.

De resultaten van het onderzoek toonden aan dat hallucinaties een hardnekkig probleem zijn, zelfs in de meest geavanceerde systemen. De meeste mensen die deelnamen aan de enquête gaven aan dat ze deze AI-tools dagelijks of meerdere keren per dag gebruiken. Ze vertrouwen erop voor het schrijven van code, onderzoek en het schrijven van teksten. De meerderheid rapporteerde echter ook dat ze regelmatig te maken krijgen met verzonnen informatie of valse referenties. De onderzoekers ontdekten dat deze fouten niet willekeurig gebeuren; ze hebben de neiging vaker voor te komen naarmate een gesprek langer wordt. Nadat een gebruiker vijf tot twintig berichten met de bot heeft uitgewisseld, neemt de waarschijnlijkheid toe dat het programma een fout maakt en inconsistente of onjuiste details geeft. Dit suggereert dat hoe langer je met de machine praat, hoe groter de kans dat hij de grip op de waarheid verliest.

Wanneer gebruikers beseften dat er iets mis was, vertrouwden ze niet op de computer om hen dat te vertellen. In plaats daarvan gebruikten ze hun eigen kennis. De meest voorkomende manier waarop mensen een hallucinatie opmerkten, was wanneer het antwoord van de AI in strijd was met iets wat zij al als waar wisten. Een ander groot alarmsignaal was de aanwezigheid van valse citaties. Als het programma een boek, een studie of een website vermeldde die niet gevonden kon worden of niet bestond, wisten gebruikers onmiddellijk dat de informatie gefabriceerd was. De studie toonde aan dat het detecteren van deze fouten nog steeds grotendeels een menselijke taak is. Het hangt af van het vermogen van de gebruiker om feiten te verifiëren en van de bereidheid om de machine in twijfel te trekken, in plaats van op een automatische veiligheidsschakelaar die in de software zelf is ingebouwd.

De onderzoekers vergeleken ook de vier verschillende chatbots om te zien of een van de anderen veiliger of betrouwbaarder was dan de andere. Ze ontdekten dat elk systeem zijn eigen sterktes en zwaktes heeft. GPT-4 werd geprezen om zijn vermogen om complexe problemen door te denken, terwijl Gemini werd opgemerkt om zijn sterke vermogen om informatie uit zoekresultaten te halen, wat helpt om de antwoorden geworteld te houden in de realiteit. Claude viel op door zijn focus op veiligheid en eerlijkheid, vooral in gevoelige gebieden zoals de gezondheidszorg, waar het een hoge nauwkeurigheid liet zien. Microsoft Copilot werd erkend om de nauwe integratie met andere softwaretools, wat het nuttig maakt voor productiviteit. Geen van de vier modellen was echter perfect. Ze produceerden allemaal nog steeds valse citaties en onbetrouwbare code op bepaalde momenten. De studie concludeerde dat hoewel deze tools krachtig zijn, ze nog niet betrouwbaar genoeg zijn om zonder menselijk toezicht te worden gebruikt, vooral in hoogwaardige velden zoals de geneeskunde of academisch onderzoek.

Dus, wat kan er gedaan worden om dit op te lossen? De deelnemers aan de enquête boden een duidelijk antwoord. Zij geloofden niet dat de oplossing uitsluitend ligt in het slimmer maken van de AI. In plaats daarvan zeiden zij dat de meest effectieve manier om fouten te verminderen is door de AI te verplichten om zijn werk te laten zien. De gebruikers gaven overweldigend de voorkeur aan reacties die geverifieerde citaties bevatten, wat betekent dat het programma voor elk feit dat het beweert, naar een echte, bestaande bron moet verwijzen. Menselijke controle was de op één na populairste oplossing, gevolgd door automatische fact-checking systemen. De mensen die deze tools gebruiken, willen transparantie; ze willen zien waar de informatie vandaan komt, zodat ze deze zelf kunnen controleren. De onderzoekers suggereren dat toekomstige verbeteringen zich moeten richten op het laten uitleggen van bronnen door de AI en het laten toegeven wanneer de AI onzeker is, in plaats van alleen maar te proberen meer tekst te genereren.

Uiteindelijk benadrukt deze studie een cruciale realiteit over de huidige staat van kunstmatige intelligentie. Deze tools worden geavanceerder en worden gebruikt voor complexere taken, maar het probleem van het verzinnen van zaken is niet verdwenen. De onderzoekers ontdekten dat gebruikers zich bewust zijn van het risico en dit actief omzeilen door feiten te dubbelchecken en bewijs te eisen. Om deze systemen echt betrouwbaar te maken, vooral in kritieke gebieden zoals de gezondheidszorg en het onderwijs, moeten ze evolueren om duidelijke, verifieerbare bronnen voor hun antwoorden te bieden. Tot die tijd blijft de verantwoordelijkheid voor nauwkeurigheid stevig in menselijke handen, waarbij de AI dient als een behulpzame assistent in plaats van een definitieve autoriteit.