Om te begrijpen hoe een computerprogramma over waarheid denkt, moeten we eerst begrijpen hoe het met het woord "niet" omgaat. In de studie naar kunstmatige intelligentie vragen onderzoekers een model vaak om een bewering te beoordelen, zoals "De lucht is blauw." Als het model "onwaar" zegt, weten we dat het gelooft dat de lucht niet blauw is. Maar wat als het model "onwaar" zegt tegen de bewering "De lucht is blauw" en ook "onwaar" zegt tegen de bewering "De lucht is niet blauw"? Dit creëert een logische puzzel. Het model zegt niet simpelweg dat de lucht een andere kleur heeft; het verwerpt zowel de bewering als het tegenovergestelde ervan. In de logica wordt deze staat een "gap" (leegte) genoemd, wat suggereert dat het model de bewering ziet als iets dat helemaal geen waarheidswaarde heeft, misschien omdat de vraag zelf gebrekkig is. Deze methode van het stellen van twee aparte vragen—één over een bewering en één over de ontkenning ervan—wordt bilaterale evaluatie genoemd. Het is ontworpen om te onthullen of een kunstmatige geest met tegenstrijdigheden kan omgaan of dat hij simpelweg in de war raakt door de structuur van de taal.

De inzet van deze vraag is hoog vanwege beroemde filosofische puzzels, zoals de "leugenaarsparadox", een zin die zegt: "Deze zin is onwaar." Als de zin waar is, dan moet hij onwaar zijn. Als hij onwaar is, dan moet hij waar zijn. Decennialang hebben filosofen gedebatteerd over de vraag of dergelijke zinnen onmogelijk op te lossen zijn, of dat ze tegelijkertijd waar én onwaar zijn. Naarmate kunstmatige intelligentiesystemen bekwaamder worden, zijn onderzoekers begonnen deze te gebruiken om deze oude ideeën te testen, in de hoop te zien of machines van nature een van deze complexe logische standpunten aannemen. Echter, een nieuwe studie suggereert dat wanneer we nauwkeurig kijken naar hoe deze machines antwoorden, we vaak een fout zien in hun vermogen om het woord "niet" te verwerken, in plaats van een diep filosofisch inzicht.

Maikel Leyva, een onderzoeker van universiteiten in Chili en Ecuador, zette zich af om zes verschillende taalmodellen te testen om te zien of ze werkelijk op deze complexe manieren redeneren. De studie begon met een eenvoudig maar rigoureus plan: voordat de onderzoeker de modellen naar moeilijke filosofische raadsels vroeg, vroeg hij ze eerst naar feiten die onmiskenbaar waar of onwaar zijn. Hij presenteerde 150 duidelijke stellingen, zoals "De som van 11 en 35 is 46" en "De hoofdstad van Frankrijk is Parijs", samen met hun ontkenningen. Hij vroeg vervolgens aan elk model, in aparte gesprekken, of de oorspronkelijke stelling waar was en of de ontkende stelling waar was. Als een model correct werkt, zou het "waar" moeten zeggen tegen de één en "onwaar" tegen de ander. Als het "onwaar" zegt tegen beide, heeft het een "gap" gecreëerd. Als het "waar" zegt tegen beide, heeft het een "glut" (overvloed) of een tegenstrijdigheid gecreëerd.

De resultaten van deze initiële test waren verbijsterend. Van de zes geteste modellen faalden er vier bij een basiscontrole van hun eigen logica. Wanneer ze geconfronteerd werden met eenvoudige wiskundige problemen, ontkenden deze modellen vaak zowel de juiste som als de onjuiste som. Bijvoorbeeld, één model ontkende dat 11 plus 35 gelijk is aan 46, en ontkende ook dat 11 plus 35 niet gelijk is aan 46. Dit gebeurde in meer dan de helft van de wiskundevragen voor sommige modellen. De onderzoeker stelde vast dat dit falen niet kwam door een gebrek aan kennis; de modellen maakten deze fouten zelfs wanneer de wiskunde correct was. In plaats daarvan leken de modellen te worstelen met de handeling van de ontkenning zelf. Ze ontdekten geen logische leegte in de aard van de rekenkunde; ze faalden simpelweg in het verwerken van het woord "niet".

Om de bevindingen in perspectief te plaatsen, stelde de onderzoeker een strikte regel, of "gate" (poort), vast voor het interpreteren van de resultaten. De antwoorden van een model konden alleen als een echte logische gap worden beschouwd als het model eerst goed presteerde op de eenvoudige, bekende feiten. Als een model te veel fouten maakte op de gemakkelijke vragen, konden de antwoorden op de moeilijke vragen niet worden vertrouwd. Wanneer deze regel werd toegepast, veranderde het beeld drastisch. Vier van de modellen werden gediskwalificeerd omdat ze de gate niet haalden. Een vijfde model maakte weliswaar niet veel logische fouten, maar weigerde te antwoorden of gaf antwoorden die niet begrepen konden worden in meer dan 30 procent van de gevallen, waardoor de resultaten onmeetbaar waren. Dit liet slechts één model over, een kleiner systeem genaamd Gemini 3.1 Flash Lite, dat betrouwbaar genoeg was om verder te worden bestudeerd.

Met dit enkele, gekalibreerde model keerde de onderzoeker terug naar de beroemde leugenaarsparadox. Vóór de kalibratie had een ongekalibreerde lezing van de gegevens van een groot, open-source model gesuggereerd dat de machine de paradox behandelde als een logische gap, waarbij het weigerde een waarheidswaarde toe te kennen. Dit leek erop dat de machine de logica van een filosoof genaamd Kripke volgde, die betoogde dat dergelijke zinnen geen waarheidswaarde hebben. Echter, zodra de kalibratie werd toegepast, verdween die conclusie. Het enige model dat betrouwbaar was, behandelde de leugenaarszin niet als een gap. In plaats daarvan antwoordde het dat de zin niet waar is en dat de zin onwaar is, waarmee het effectief een standaard "onwaar"-oordeel gaf. Het zag de zin niet als zowel waar als onwaar, noch zag het de zin als iets zonder waarde. Het verwierp de stelling simpelweg.

De studie concludeert dat de belofte om kunstmatige intelligentie te gebruiken om oude logische puzzels op te lossen, momenteel beperkt wordt door de zwaktes van de machines zelf. De "gaps" en "gluts" die onderzoekers in het gedrag van deze modellen hoopten te vinden, waren vaak slechts fouten in hoe de modellen met ontkenning omgaan. Het ene model dat de strikte test doorstond, bood geen nieuwe filosofische oplossing voor de leugenaarsparadox; het bood een standaard, tweezijdig antwoord. Het onderzoek bewijst niet dat machines niet op complexe manieren kunnen denken, maar het bewijst wel dat we er niet zomaar vanuit kunnen gaan dat ze dat doen. Om te weten wat een machine echt denkt, moeten we eerst zeker weten dat het het verschil begrijpt tussen een bewering en het tegenovergestelde ervan. Totdat we de modellen kunnen kalibreren om de eenvoudige logica van "niet" te hanteren, blijven alle diepe conclusies die we trekken uit hun antwoorden op complexe raadsels onbewezen.