Humans and LLMs Diverge on Probabilistic Inferences
Dit onderzoek introduceert de ProbCOPA-dataset om aan te tonen dat state-of-the-art redenerende LLM's systematisch afwijken van menselijke waarschijnlijkheidsinferences en geen mensachtige verdelingen van oordelen genereren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Waarom Mensen en AI niet op dezelfde manier "gokken" over de toekomst
Stel je voor dat je een vriend vraagt: "Als er een ongeluk gebeurt op de snelweg, wat is dan de kans dat het verkeer vastzit?"
Jij, als mens, denkt waarschijnlijk: "Nou, waarschijnlijk wel, maar het kan ook zijn dat iedereen het nieuws al heeft gehoord en een andere route kiest, of dat de hulpdiensten het heel snel opruimen." Je geeft geen vast antwoord, maar een gok gebaseerd op ervaring, met een beetje twijfel erin.
Dit is wat wetenschappers probabilistisch redeneren noemen: het maken van conclusies op basis van onvolledige informatie, waarbij het antwoord zelden 100% zeker is, maar meer een "waarschijnlijkheid".
In dit nieuwe onderzoek hebben onderzoekers gekeken of de slimste AI-modellen (LLMs) dit ook zo doen als mensen. Het antwoord is verrassend: nee, ze doen het heel anders.
Hier is de uitleg, vertaald naar alledaagse taal:
1. De "Gok-Test" (PROBCOPA)
De onderzoekers hebben een speciale test gemaakt, genaamd PROBCOPA. Het is een lijst met 210 situaties, zoals:
- Premisse: "Er was een droogte in de regio."
- Gevolg: "De gewassen zijn verdord."
In plaats van te vragen of dit "waar" of "onwaar" is, vroegen ze mensen en AI-modellen om een cijfer van 0 tot 100 te geven.
- 0 = "Dit gebeurt nooit."
- 100 = "Dit gebeurt altijd."
- 50 = "Het is een eerlijke 50/50 kans."
2. Hoe mensen gokken: De "Golvende Zee"
Wanneer de onderzoekers de antwoorden van de mensen keken, zagen ze iets moois:
- Mensen gaven een breed scala aan antwoorden.
- Voor moeilijke vragen gaven mensen vaak cijfers in het midden (bijvoorbeeld 40 of 60).
- Het was alsof een groep mensen een golvende zee was: soms hoog, soms laag, maar vaak ook rustig in het midden. Mensen durven onzekerheid toe te geven.
3. Hoe AI gokt: De "Strakke Spanningslijn"
Toen ze dezelfde test gaven aan de slimste AI-modellen (zoals GPT-5, Gemini, DeepSeek), gebeurde er iets vreemds:
- De AI's gaven bijna nooit een antwoord in het midden.
- Ze waren extreem zeker. Of het was een 95 ("Bijna zeker"), of een 5 ("Bijna onmogelijk").
- Ze deden alsof ze een strakke spanningslijn waren: geen golfjes, geen twijfel, alleen maar harde uitspraken.
De analogie:
Stel je voor dat je een weersvoorspelling vraagt.
- Een mens zegt: "Het is waarschijnlijk regen, maar misschien valt het mee, ik zou een paraplu meenemen voor de zekerheid."
- Een AI zegt: "Het regent. 100% zeker." (Zelfs als het eigenlijk maar 60% kans is).
De AI's lijken overmoedig. Ze durven geen "misschien" te zeggen, zelfs niet als de situatie vaag is.
4. Waarom is dit belangrijk?
Dit is een groot probleem voor de toekomst.
- Mensen leven met onzekerheid. We weten dat de wereld niet zwart-wit is. We kunnen omgaan met "misschien".
- AI's proberen alles zwart-wit te maken. Ze missen de nuance. Als je een AI vraagt of een bepaalde medische behandeling werkt, en het is een "misschien", zal de AI waarschijnlijk zeggen "Ja, het werkt" of "Nee, het werkt niet", in plaats van "Het is onzeker".
5. Wat gebeurt er in het hoofd van de AI?
De onderzoekers keken ook naar de "gedachten" van de AI (de tekst die de AI schrijft voordat het antwoord geeft). Ze zagen dat de AI's vaak alternatieve scenario's bedenken.
- Voorbeeld: "De fietsband is leeg. Ik pompt er lucht in. Misschien helpt dat. Maar misschien moet ik de band vervangen. Of misschien ga ik naar de fietsenmaker."
De AI denkt dus wel na over verschillende opties, maar vergeet uiteindelijk die twijfel in het eindantwoord. Het komt erop neer dat de AI de "twijfel" uit zijn eigen gedachten filtert en alleen de zekerheid naar buiten brengt.
Conclusie: Een spiegel die niet klopt
Dit onderzoek laat zien dat AI's, hoe slim ze ook zijn, nog steeds niet denken zoals mensen als het gaat om onzekere situaties.
- Mensen zijn flexibel en geven ruimte voor twijfel.
- AI's zijn star en proberen alles te verzilveren tot een vast antwoord.
Voor de toekomst betekent dit dat we AI's niet blindelings moeten vertrouwen als het gaat om complexe, onzekere situaties (zoals in de geneeskunde, het weer of het nieuws). We moeten ze leren om te zeggen: "Ik weet het niet zeker, het is een gok." Want dat is precies wat het leven is: een reeks van goks, geen reeks van feiten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.