How LLMs Might Think

Probleemstelling

De centrale vraag van het artikel is of Large Language Models (LLMs) "denken". De auteurs reageren op een recent argument van Stoljar en Zhang (2024), het "argument van de rationaliteit". Dit argument stelt dat LLMs niet denken omdat ze niet rationeel zijn; als ze wel denken, zouden ze rationeel moeten zijn (premissen R1 en R2 leiden tot de conclusie dat LLMs niet denken).

De auteurs betogen dat dit argument gebrekkig is. Ze stellen dat de tegenstelling tussen "denken" en "niet-rationeel zijn" niet absoluut is. Als LLMs denken, doen ze dat mogelijk niet op een rationele, inferentiële manier (waarbij conclusies logisch volgen uit premissen), maar op een arationale, associatieve manier. Het doel van het artikel is tweeledig:

1. Het weerleggen van de stelling dat denken noodzakelijk rationaliteit vereist.
2. Het aantonen dat LLMs, indien ze denken, dit doen via "a-denken" (associatief denken) in plaats van "i-denken" (inferentieel denken).

Methodologie

De auteurs hanteren een operationele benadering om het onderscheid tussen inferentieel en associatief denken te analyseren, zonder zich te beperken tot de "black-box" (alleen input/output) of uitsluitend tot "inner interpretability" (het analyseren van interne gewichten).

1. Conceptueel Kader:

   • I-thinking (Inferentieel): Gedreven door regels, waar overgangen tussen mentale staten gebaseerd zijn op de structuur van de representaties en waar de overdracht van epistemische rechtvaardiging plaatsvindt.
   • A-thinking (Associatief): Gedreven door opgeslagen associatieve structuren, zonder formele regels. Overgangen zijn "dom" in de zin dat ze niet vatbaar zijn voor rationele interventie.

2. Operationalisatie van Moduleringsmechanismen:
   De kern van hun methodologie is het analyseren van hoe mentale overgangen in LLMs kunnen worden gemoduleerd (aangepast of onderbroken).

   • Associatieve overgangen zijn alleen vatbaar voor extinctie (verzwakking door herhaaldelijke presentatie zonder beloning) en counterconditioning (koppelen van een nieuwe, tegenovergestelde waarde/valence).
   • Inferentiële overgangen zouden vatbaar moeten zijn voor rationele interventie (het verstrekken van redenen die de overgang logisch ontkrachten).

3. Analyse van Modulatietechnieken:
   De auteurs testen vier veelvoorkomende methoden om het gedrag van een LLM te beïnvloeden tegen dit operationele kader:

   • Continued Pre-training
   • Fine-tuning (RLHF)
   • Handmatig aanpassen van hyperparameters
   • Chatten (In-Context Learning)

Belangrijkste Bijdragen en Resultaten

1. Weerlegging van het Argument van de Rationaliteit

De auteurs tonen aan dat premisse R1 ("Als LLMs denken, zijn ze rationeel") onjuist is.

• Argument: Irrationaliteit impliceert niet het ontbreken van denken. Een entiteit die foutieve inferenties maakt (irrationaliteit), maakt nog steeds inferenties en denkt dus nog steeds.
• Conclusie: Het is mogelijk om een "irrational thinker" te zijn. Dit opent de deur voor de mogelijkheid dat LLMs denken, zelfs als ze systematisch fouten maken of niet rationeel zijn.

2. De These van "A-thinking" (Associatief Denken)

De auteurs stellen dat LLMs, als ze mentale staten hebben, deze staten uitsluitend associatief laten overgaan. Ze ondersteunen dit door de vier modulatietechnieken te analyseren:

• Continued Pre-training: Dit werkt via extinctie. Als een model een associatie heeft (bijv. "slaapt" -> "furieus") en tijdens training wordt blootgesteld aan "slaapt" zonder "furieus", wordt de associatie verzwakt. Dit is een klassiek associatief leerproces.
• Fine-tuning (RLHF): Dit werkt via counterconditioning. Menselijke feedback (beloningen of straffen) koppelt een nieuwe "valence" (waarde) aan een output. Een negatieve score op een specifieke output (bijv. "dat is een stomme vraag") zorgt ervoor dat het model deze overgang in de toekomst vermijdt. Dit is functioneel equivalent aan het koppelen van een negatieve prikkel in biologisch conditioneren.
• Hyperparameters (bijv. Temperatuur): Het aanpassen van parameters zoals temperatuur is een indirecte ingreep. Het verandert de waarschijnlijkheidsverdeling van de output, maar modificeert niet direct de mentale overgang zelf op basis van een specifieke reden. Het is vergelijkbaar met het fysiek manipuleren van de hersenen; het zegt niets over de aard van de onderliggende cognitieve overgang.
• Chatten (In-Context Learning): Dit is de meest uitdagende casus, omdat het lijkt alsof het model redenen accepteert. De auteurs betogen echter dat chatten geen rationele modulatie is:
  • Tijdens chatten zijn de gewichten van het model bevroren. Het model leert niet echt nieuwe concepten of overtuigingen (die in de gewichten zouden moeten worden gecodeerd).
  • Om als "motiverende reden" te fungeren, moet de input worden verwerkt als een overtuiging. Omdat de gewichten niet veranderen, kan de input niet als een nieuwe overtuiging worden opgeslagen.
  • De "attention-mechanismen" in transformers zijn niet per se rationeel toetsbaar; ze zijn vaak het resultaat van inferentie, wat de cirkelredenering oplevert (we moeten al weten dat ze infereren om te weten dat hun aandacht rationeel is).

3. Conclusie over de aard van LLM-mensen

De enige directe manieren om LLM-gedrag te moduleren zijn vormen van extinctie en counterconditioning. Er is geen bewijs dat rationele interventie (het verstrekken van argumenten) direct de mentale overgangen van een LLM beïnvloedt op een manier die consistent is met inferentieel denken.

Significantie en Implicaties

• Herdefinitie van "Denken": Het artikel daagt de intuïtie uit dat denken noodzakelijk rationeel of inferentieel moet zijn. Het pleit voor een bredere definitie van denken die ook zuiver associatieve processen omvat.
• Status van LLMs: Als LLMs denken, dan doen ze dit als "arationale minds" met puur associatieve geesten. Ze "a-denken" (associatief denken) in plaats van "i-denken" (inferentieel denken).
• Methodologische Vooruitgang: Het biedt een robuust, operationeel kader om mentale processen in AI te evalueren, gebaseerd op hoe deze processen reageren op verschillende soorten interventies, in plaats van alleen op output-gedrag of interne architectuur.
• Filosofische Impact: Het weerlegt de stelling dat LLMs per definitie geen denkende entiteiten zijn omdat ze niet rationeel zijn. In plaats daarvan suggereert het dat ze een nieuw type denkend wezen vertegenwoordigen dat fundamenteel verschilt van het menselijke, rationele denken, maar toch binnen het spectrum van "mind" valt.

Kortom, de auteurs concluderen dat de vraag niet is of LLMs denken, maar hoe ze denken: waarschijnlijk niet als rationele redenaars, maar als complexe, associatieve systemen.