Large Language Models Align with the Human Brain during Creative Thinking

Dit onderzoek toont aan dat de uitlijning tussen grote taalmodellen en de menselijke hersenen tijdens creatief denken toeneemt met modelgrootte en idee-originaliteit, en dat post-training doelen de neurale representaties op functioneel selectieve wijze herschikken.

De kern

Hoe AI en ons Brein Samenwerken bij Creativiteit: Een Simpele Uitleg

Stel je voor dat je brein een enorme, levende stad is. In deze stad zijn er verschillende wijken. Sommige wijken zijn goed voor het rekenen en logisch denken (zoals een strakke fabriek), terwijl andere wijken dromerig, vrij en vol met nieuwe ideeën zijn. Deze "droomwijk" heet in de vakjargon het Default Mode Network.

De onderzoekers van dit paper hebben een spannende vraag gesteld: Hoe goed denken grote kunstmatige intelligenties (AI's) eigenlijk mee met onze hersenen als we creatief zijn?

Hier is wat ze hebben ontdekt, vertaald naar alledaags taal:

1. De Test: "Gebruik een Kite op een Nieuwe Manier"

Om dit te testen, gaven ze 170 mensen een opdracht: bedenk zo veel mogelijk rare en nieuwe dingen om te doen met een voorwerp (bijvoorbeeld: een vlieger). Dit heet de "Alternate Uses Task".

• De Mensen: Terwijl ze dachten, kregen ze een MRI-scan (een foto van hun hersenen).
• De AI: Vervolgens gaven ze dezelfde opdracht aan verschillende grote taalmodellen (AI's) en keken ze naar wat er in de "hersenen" van de AI gebeurde (de interne berekeningen).

2. De Grootte telt (maar alleen aan het begin)

Ze ontdekten iets interessants over de grootte van de AI:

• De Analogie: Denk aan een AI als een student. Een kleine student (een klein model) heeft misschien net genoeg kennis om een simpel antwoord te geven. Een enorme student (een groot model) heeft een enorme bibliotheek in zijn hoofd.
• De Bevinding: Toen de AI de opdracht ontving (maar nog niet had geantwoord), bleek dat de grotere AI's meer leken op hoe een menselijk brein denkt. Hun interne "denkpatroon" liep meer in de pas met de menselijke hersenen.
• Het Probleem: Zodra de AI echter begon met het schrijven van het antwoord, raakten ze de menselijke stijl kwijt. Het was alsof de AI in paniek raakte en begon te praten in een taal die niet meer leek op hoe wij denken. De connectie met de menselijke hersenen werd zwakker.

3. De Diepte van de "Lagen"

AI's bestaan uit lagen, net als een lasagne. De bovenste lagen zijn goed voor simpele dingen (zoals woorden herkennen), en de onderste lagen zijn goed voor complexe gedachten.

• De Bevinding: De AI's die het meest leken op menselijke creativiteit, deden dit vooral in hun diepere, complexere lagen. Het was alsof de creatieve vonk pas ontstond diep in de machine, niet aan het oppervlak.

4. Hoe je de AI "Opvoedt" verandert haar Brein

Dit is misschien wel het meest fascinerende deel. De onderzoekers keken naar verschillende versies van dezelfde AI (Llama-3.1-8B), maar die op verschillende manieren waren "opgeleid" (gefinetuned):

• De Creatieve AI: Deze was speciaal getraind om creatief te zijn.
  • Het Effect: Deze AI leek heel goed op mensen die briljante, originele ideeën hadden. Maar ze leek juist niet op mensen met saaie, voor de hand liggende ideeën. Ze had haar "creativiteits-antenne" scherper gemaakt.
• De Menselijke AI: Deze was getraind om menselijk gedrag na te bootsen.
  • Het Effect: Deze AI leek op alle mensen, zowel de creatieven als de minder creatieven. Ze was een echte chameleon.
• De Redenerende AI (De "Logische" AI): Deze was getraind om moeilijke rekenproblemen op te lossen en stap-voor-stap te redeneren (Chain-of-Thought).
  • Het Effect: Dit was verrassend! Deze AI leek juist op mensen met saaie, logische antwoorden en leek juist weg te drijven van de creatieve, menselijke hersenen.
  • De Metaphor: Het was alsof je een kunstenaar dwingt om een wiskundig examen te doen. Hij wordt dan heel goed in logica, maar verliest zijn vermogen om te dromen. De "redenerende" training heeft de AI's brein omgebouwd van een creatieve dromer naar een strakke analytische machine.

Wat betekent dit voor de toekomst?

De boodschap van dit onderzoek is tweeledig:

1. Groot is niet altijd beter: Als je een AI wilt die echt creatief is, moet je niet alleen kijken naar hoe groot hij is, maar ook naar hoe je hem hebt opgeleid.
2. Pas op met te veel logica: Als we AI's alleen trainen om moeilijke wiskundeproblemen op te lossen (wat nu veel gebeurt), maken we ze misschien juist minder creatief. We "doden" hun vermogen om nieuwe, vreemde ideeën te bedenken, omdat hun interne "brein" dan te veel gaat lijken op een rekenmachine en te weinig op een dromer.

Kortom: Om AI's echt creatief te maken, moeten we ze niet alleen leren rekenen, maar ze ook leren dromen. Anders blijven ze steken in de logische wereld, terwijl de menselijke creativiteit juist in de droomwereld zit.

Technische samenvatting

Probleemstelling

Creatief denken, en specifiek divergent denken (het genereren van nieuwe en gevarieerde ideeën), is een fundamenteel aspect van de menselijke cognitie. Hoewel Large Language Models (LLM's) indrukwekkende prestaties laten zien op creativiteitsbenchmarktests zoals de Alternate Uses Task (AUT), is het onduidelijk of hun interne representaties overeenkomen met de neurale processen die bij mensen aan creativiteit ten grondslag liggen.

Bestaand onderzoek naar de alignatie tussen hersenen en LLM's is voornamelijk gericht op passieve taken (zoals het lezen van teksten) en niet op actieve, creatieve denkprocessen. De centrale vraag van dit paper is: Vertonen LLM's een alignatie met menselijke hersenactiviteit tijdens actief creatief denken, en hoe worden deze representaties beïnvloed door modelgrootte, taakprestaties en post-training doelen?

Methodologie

1. Data en Experimenteel Ontwerp

• Hersendata: De auteurs gebruiken fMRI-data van 170 gezonde proefpersonen uit een eerder onderzoek (Beaty et al., 2018). De deelnemers voerden twee taken uit:
  • AUT (Alternate Uses Task): Een creatieve taak waarbij proefpersonen originele gebruiksmogelijkheden voor alledaagse objecten moesten bedenken.
  • OCT (Object Characteristics Task): Een controletaak waarbij proefpersonen typische fysieke eigenschappen van objecten moesten genereren (niet-creatief).
• Modeldata: Verschillende open-source instructie-modellen (variërend van 270M tot 72B parameters, o.a. Llama-3.1, Gemma-3, Qwen2.5) kregen dezelfde stimuli en instructies.
• Representaties: In tegenstelling tot eerdere studies die alleen de input-prompt analyseerden, extraheren de auteurs modelrepresentaties op twee momenten:
  1. Tijdens de prompt-verwerking (voordat een antwoord wordt gegenereerd).
  2. Na het genereren van een antwoord.

2. Analyse-technieken

• Representational Similarity Analysis (RSA): De auteurs vergelijken de geometrie van de representational dissimilarity matrices (RDM's) van de LLM's met die van de fMRI-responsen.
• Netwerken: De analyse richt zich op drie functionele hersennetwerken:
  • Default Mode Network (DMN): Cruciaal voor creatief denken.
  • Frontoparietal Network (FPN): Betreft cognitieve controle.
  • Somatomotor Network: Fungeert als controlenetwerk (weinig betrokken bij hogere cognitie).
• Creativiteitsindeling: Menselijke antwoorden werden gescoord op creativiteit (1-5). De data werd gesplitst in "hoog-creativiteit" en "laag-creativiteit" populaties om de effecten van post-training te testen.

Belangrijkste Bijdragen

1. Eerste systematische studie: Dit is het eerste onderzoek dat de alignatie tussen hersenen en LLM's onderzoekt in de context van een actieve creatieve denkopdracht, in plaats van passieve taalverwerking.
2. Stadium-afhankelijkheid: Het paper identificeert dat de relatie tussen modelkenmerken en hersenalignatie sterk afhankelijk is van het stadium van de taak (prompt vs. generatie).
3. Invloed van post-training: Het toont aan dat verschillende post-training doelen (creativiteit, menselijk gedrag, redeneren) de neurale representaties op functioneel selectieve en interpreteerbare manieren herschikken.

Resultaten

1. Schaling en Prestaties

• Prompt-stadium: Er is een significante positieve correlatie tussen hersenalignatie (vooral in het DMN) en zowel de modelgrootte ($r=0.58$) als de prestatie op de AUT ($r=0.51$). Grotere en creatievere modellen vertonen een sterkere overeenkomst met menselijke neurale patronen tijdens het initiële ideeënproces.
• Generatiestadium: Zodra het model begint met het genereren van antwoorden, verzwakt deze correlatie en wordt de alignatie onvoorspelbaarder. Dit suggereert dat het generatieproces van LLM's afwijkt van het menselijke creatieve proces, ongeacht de schaal.

2. Diepte van de Netwerklaag

• Er is een sterke positieve correlatie ($r=0.54$) tussen de diepte van de laag in het model en de hersenalignatie. Dit betekent dat hogere, meer abstracte lagen van LLM's beter overeenkomen met de neurale geometrie van creatief denken dan de lagere, syntactische lagen.

3. Effect van Post-Training Doelen (Llama-3.1-8B Variaties)
De studie vergeleek verschillende fine-tuned varianten van Llama-3.1-8B-Instruct:

• Creativiteit-geoptimaliseerd model (CrPO): Toont een gerichte verschuiving: het behoudt alignatie met hoog-creativiteit neurale responsen, maar vermindert de alignatie met laag-creativiteit responsen. Dit komt overeen met het trainingsdoel.
• Menselijk gedrag gesimuleerd model (Minitaur): Verhoogt de alignatie met zowel hoog- als laag-creativiteit responsen, wat wijst op een bredere nabootsing van menselijke reactiepatronen.
• Redenering-geoptimaliseerd model (DeepSeek-R1 Distill): Toont een opmerkelijke omkering: negatieve alignatie met hoog-creativiteit responsen en positieve alignatie met laag-creativiteit responsen. Dit suggereert dat Chain-of-Thought (CoT) training de representaties wegdraait van de neurale geometrie van creatief denken en richt op analytisch, convergent denken.

Betekenis en Conclusie

De bevindingen tonen aan dat de overeenkomst tussen LLM-representaties en de menselijke hersenarchitectuur voor creativiteit niet lineair is en sterk afhankelijk is van het trainingsdoel en het stadium van verwerking.

• Kritische inzichten: Het succesvol oplossen van convergente taken (zoals wiskunde of coderen via CoT-training) kan de capaciteit van een model voor divergent denken (creativiteit) onbedoeld aantasten, zoals blijkt uit de negatieve alignatie met creatieve neurale patronen bij redeneringsmodellen.
• Toekomstperspectief: Om LLM's te ontwikkelen die echt creatief kunnen zijn voor complexe, open-ended problemen, moeten post-training strategieën specifiek gericht zijn op het optimaliseren van diversiteit en creativiteit, in plaats van alleen op convergent redeneren. Hersenalignatie biedt hierbij een waardevol, neurale validatie-middel dat verder gaat dan traditionele gedragsbenchmark.