Abductive Reasoning with Syllogistic Forms in Large Language Models

Dit artikel onderzoekt de nauwkeurigheid en mogelijke bias van grote taalmodellen in abductief redeneren door syllogismen om te vormen, met als doel het begrip van menselijke en machinecognitie te verbeteren.

De kern

Titel: Waarom Slimme Computers Slechter zijn in "Gokken" dan in "Rekenen"

Stel je voor dat je een zeer slimme robot hebt die alles wat hij ooit heeft gelezen in zijn hoofd heeft. Hij is een meester in het oplossen van wiskundepuzzels en het volgen van strikte regels. Maar wat gebeurt er als je hem vraagt om een raadsel op te lossen waarbij hij niet alle stukjes van de puzzel heeft, maar toch een plausibel verhaal moet bedenken?

Dat is precies wat deze studie van onderzoekers van de Universiteit van Keio in Japan onderzoekt. Ze kijken naar hoe grote taalmodellen (zoals de slimme AI's die we vandaag de dag gebruiken) omgaan met twee soorten denken: deductie (rekenen) en abductie (gokken op een verklaring).

Hier is een simpele uitleg van hun ontdekkingen, met wat creatieve metaforen.

1. Twee manieren om te denken: De Rekenaar en de Detective

Om het verschil te begrijpen, laten we twee karakters bedenken:

• De Rekenaar (Deductie): Dit is het strikte logische denken.

  • Voorbeeld: "Alle mensen die lachen, zijn blij. Deze persoon lacht. Dus, deze persoon is blij."
  • Dit is waterdicht. Als de regels kloppen, is het antwoord 100% zeker. Computers zijn hier vaak heel goed in.

• De Detective (Abductie): Dit is het denken dat we elke dag gebruiken om verklaringen te vinden voor dingen die we zien. Het is het "beste gokje" doen op basis van beperkte informatie.

  • Voorbeeld: Je ziet een natte straat (Observatie). Je weet dat regen de straat nat maakt (Regel). Wat is de oorzaak?
  • De Detective zegt: "Het regende waarschijnlijk."
  • Maar wacht! Het kan ook zijn dat iemand de straat heeft afgespoten. De Detective moet een verklaring bedenken, niet zomaar een zeker feit.

De onderzoekers wilden weten: Zijn deze slimme AI's ook goede Detectives, of zijn ze alleen maar Rekenaars?

2. Het Experiment: De Omgekeerde Puzzel

De onderzoekers maakten een speciale test. Ze namen bekende logische puzzels (syllogismen) en draaiden ze om.

• In een normale puzzel geven ze je de regels en de feiten, en vraag je het antwoord.
• In hun "Abductie-puzzel" gaven ze de regels en het resultaat, en vroegen ze de AI om de oorzaak te raden.

Ze gaven de AI's (zoals GPT-4 en Llama) twee soorten vragen:

1. Logische vragen: Waar de regels strikt kloppen.
2. Vragen die botsen met ons gevoel: Waar de regels tegen onze dagelijkse ervaring ingaan (bijvoorbeeld: "Alle taarten in deze bakkerij zijn giftig").

3. De Verbluffende Resultaten

De uitkomsten waren verrassend en een beetje triest voor de AI's:

• De Rekenaar wint: De AI's waren veel beter in het "rekenen" (deductie) dan in het "gokken" (abductie).
• De "Niets" Probleem: In de abductie-test waren er vragen waarbij het juiste antwoord was: "Geen van de opties is een goede verklaring." De AI's faalden hier bijna volledig. Ze gaven liever een verkeerd antwoord dan toe te geven dat ze het niet wisten. Het is alsof een detective die geen aanwijzingen heeft, toch maar een verdachte aanwijst in plaats van te zeggen: "Ik heb geen idee."
• Menselijke Vooroordelen: Net als mensen, lieten de AI's zich beïnvloeden door wat ze "wisten" of "voelden". Als een vraag tegen hun "gezonde verstand" inging (bijvoorbeeld: "Alle bloemen zijn blauw"), werden ze verward en maakten ze meer fouten. Ze konden de logica niet losmaken van hun kennis over de echte wereld.

4. Waarom is dit belangrijk?

Stel je voor dat je een AI gebruikt in een ziekenhuis of in de rechtspraak.

• Als de AI alleen maar rekenen kan, is hij goed voor het controleren van medicijndoseringen.
• Maar als de AI detective moet spelen (bijvoorbeeld: "Deze patiënt heeft koorts, wat is de oorzaak?"), dan moet hij kunnen gokken op de beste verklaring.

De studie laat zien dat deze AI's momenteel nog te veel als "rekenaars" werken. Ze worstelen met het bedenken van nieuwe ideeën of het toegeven van onzekerheid. Ze proberen vaak een logisch antwoord te forceren, zelfs als de situatie dat niet toelaat.

Conclusie: De AI moet nog leren "gokken"

De onderzoekers concluderen dat we AI's niet moeten afrekenen op hun fouten in het "gokken" (abductie), omdat ze daarvoor zijn getraind op enorme hoeveelheden tekst waar vaak strikte logica in staat, maar minder vaak het proces van het bedenken van hypotheses.

Het is alsof je een meester in het oplossen van kruiswoordraadsels (rekenen) vraagt om een detectiveverhaal te schrijven (gokken). Hij kent alle woorden, maar het creatieve "gokken" op een plot is nog niet zijn sterkste punt.

Kortom: Deze slimme computers zijn geweldige rekenmachines, maar ze zijn nog geen echte detectives. Ze moeten nog leren hoe ze met onvolledige informatie om moeten gaan en hoe ze eerlijk kunnen zeggen: "Ik heb geen idee, maar hier is een gok."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Abductive Reasoning with Syllogistic Forms in Large Language Models" in het Nederlands.

Titel: Abductief Redeneren met Syllogistische Vormen in Groot Taalmodellen (LLMs)

Auteurs: Hirohiko Abe, Risako Ando, Takanobu Morishita, Kentaro Ozeki, Koji Mineshima, en Mitsuhiro Okada (Keio University & Universiteit van Tokio).

---

1. Probleemstelling

Ondanks de snelle vooruitgang van Large Language Models (LLMs) en hun vermogen om deductieve redeneertaken uit te voeren, blijft er een kritische vraag bestaan over hun prestaties in abductief redeneren.

• Context: Bestaand onderzoek toont aan dat LLMs, net als mensen, vooroordelen vertonen (bijvoorbeeld het afwijzen van logisch geldige conclusies die strijdig zijn met gemeenschappelijke overtuigingen). Echter, deze kritiek is vaak onbillijk omdat LLMs voornamelijk worden getraind op deductie, terwijl menselijk dagelijks redeneren sterk afhankelijk is van abductie.
• Definitie: Abductie is het proces van het afleiden van een hypothese (een minor-premise) uit een observatie en een regel, om een verklaring te bieden voor een waargenomen feit. Het is de inverse van een syllogisme.
• Het Gaten: Er is weinig onderzoek gedaan naar hoe goed LLMs abductief kunnen redeneren, en of ze hierbij dezelfde menselijke cognitieve bias vertonen als bij deductie.

2. Methodologie

Dataset Constructie

De auteurs hebben een nieuwe dataset ontwikkeld om abductief redeneren systematisch te testen binnen het kader van syllogismen.

• Structuur: De dataset is gebaseerd op het werk van Charles Sanders Peirce. Een deductief syllogisme (Major Premise + Minor Premise $\rightarrow$ Conclusie) wordt omgezet in een abductieve taak:
  • Rule (Regel): Major premise (bijv. "Alle A zijn B").
  • Observation (Observatie): Conclusie van het oorspronkelijke syllogisme (bijv. "Deze C is B").
  • Hypothesis (Hypothese): Minor premise die moet worden afgeleid (bijv. "Deze C is A").
• Categorieën: De dataset bevat 216 problemen, verdeeld in correcte en incorrecte patronen.
• Beliefs Bias Labels: Elk probleem is gelabeld als Consistent (de regel strookt met gezond verstand), Inconsistent (de regel strijdt met gezond verstand) of Neutral.
• Vergelijking: Er is een parallelle dataset voor deductieve taken gemaakt om een directe vergelijking mogelijk te maken.

Experimenteel Opzet

• Modellen: Vier state-of-the-art modellen werden getest: GPT-3.5, GPT-4, Llama-3-8B en Llama-3-70B.
• Aanpak: Er werd gebruikgemaakt van In-Context Learning (prompting) zonder fine-tuning.
  • Zero-shot: Geen voorbeelden in de prompt.
  • Few-shot: Acht voorbeelden van abductieve patronen in de prompt.
• Taak: Het model moet kiezen uit drie opties: de hypothese (H), de ontkenning van H, of "Geen van beide is een goede verklaring".

3. Belangrijkste Resultaten

Prestatieverschil: Abductie vs. Deductie

• Algemene prestatie: LLMs presteren over het algemeen slechter op abductieve taken dan op deductieve taken.
  • Voorbeeld: GPT-4 behaalde in de zero-shot setting 41,67% nauwkeurigheid op abductie, maar 72,22% op deductie.
  • In de few-shot setting verbeterde Llama-3-70B aanzienlijk (75,46% op abductie), maar bleef nog steeds achter bij zijn deductieve prestaties (84,72%).
• Moeilijkheidsgraad: Modellen hebben grote moeite met problemen waarbij het correcte antwoord "Geen van beide" (Neither) is. Ze neigen vaak ten onrechte een negatieve hypothese te kiezen.

Menselijke Bias (Belief Bias)

• Bevestiging: LLMs vertonen menselijke vooroordelen in zowel abductie als deductie.
• Inconsistentie: De nauwkeurigheid daalt significant bij problemen waarbij de regel ("Rule") in strijd is met gemeenschappelijke overtuigingen (Inconsistent), in vergelijking met Consistente of Neutrale problemen.
• Atmosfeer-effect: Er is een sterke neiging om een negatieve conclusie te kiezen als er een ontkenning ("not" of "No") voorkomt in de regel of observatie, zelfs als dit logisch onjuist is.

Foutpatronen

• Verwarring met deductie: De auteurs onderzochten of modellen abductieve problemen per ongeluk als deductieve problemen behandelen. Hoewel er enige overeenkomst is (vooral bij positieve antwoorden), is de overeenkomst niet hoog genoeg om aan te nemen dat ze de taak volledig verkeerd interpreteren. Ze lijken echter wel te worstelen met de specifieke logica van abductie (het afleiden van een oorzaak uit een gevolg).
• Woordkeuze: Het vervangen van het woord "Hypothesis" door "Reden" (Reason) had geen significant effect op de prestaties, wat suggereert dat de verwarring niet puur semantisch is.

4. Kernbijdragen

1. Nieuwe Dataset: Introductie van een gestructureerde dataset voor het testen van abductief redeneren bij LLMs, gebaseerd op syllogistische vormen en Peirce's theorie.
2. Empirisch Bewijs: Het leveren van bewijs dat LLMs significant minder goed presteren op abductieve taken dan op deductieve taken, in tegenstelling tot wat men zou verwachten gezien de "dagelijkse" aard van abductie.
3. Bias-analyse: Het aantonen dat menselijke geloofsvooroordeels (belief biases) en het "atmosfeer-effect" (invloed van ontkenningen) ook sterk aanwezig zijn in abductieve taken bij LLMs.
4. Richting voor XAI: Het onderstrepen dat voor Explainable AI (XAI) en het beantwoorden van "waarom"-vragen, het vermogen tot abductief redeneren cruciaal is en momenteel een zwak punt vormt in LLMs.

5. Betekenis en Toekomstperspectief

Dit onderzoek is van groot belang voor het begrijpen van de cognitieve beperkingen van LLMs. Het toont aan dat het simpelweg trainen op natuurlijke taal niet voldoende is om menselijk-achtig abductief redeneren (het vormen van hypothesen uit beperkte informatie) te repliceren.

• Implicaties: Voor toepassingen zoals diagnostiek, wetenschappelijke ontdekking en het oplossen van complexe problemen waar geen duidelijke deductieve route is, moeten LLMs verder worden ontwikkeld.
• Toekomstig werk: De auteurs pleiten voor verdere vergelijkingen met menselijke prestaties, het onderzoeken van abductie als "Inference to the Best Explanation" (IBE) in plaats van alleen syllogistische vormen, en het toepassen van probabilistische (Bayesiaanse) benaderingen om de onzekerheid in abductie beter te modelleren.

Kortom, terwijl LLMs sterke deductieve redenaars zijn, vertonen ze in abductieve taken nog aanzienlijke tekortkomingen en menselijke cognitieve biases, wat een belangrijke uitdaging vormt voor de volgende generatie AI-systemen.