The role of System 1 and System 2 semantic memory structure in human and LLM biases

Probleemstelling

Impliciete vooroordelen (implicit biases) en stereotypen vormen een significant maatschappelijk risico, zowel bij mensen als bij Large Language Models (LLMs). Hoewel er uitgebreid onderzoek is gedaan naar het functionele onderscheid tussen snelle, associatieve denkprocessen (Systeem 1) en langzame, deliberatieve redenering (Systeem 2) volgens de dual-process theorie, ontbreekt er een mechanistisch inzicht in hoe de representatiestructuur van kennis bijdraagt aan deze bias.

De centrale vraag is of LLMs dezelfde cognitieve architectuur delen als mensen, en of het introduceren van gestructureerde kennis (vergelijkbaar met Systeem 2) in LLMs daadwerkelijk leidt tot een regulatie van bias, net zoals bij mensen. Bestaande theorieën zijn vaak te abstract en vermengen proces met representatie, waardoor het moeilijk is om empirisch te meten hoe verschillende vormen van kennisorganisatie (associatief vs. regelgebaseerd) bias beïnvloeden.

Methodologie

De auteurs hanteren een vergelijkende aanpak waarbij ze Systeem 1 en Systeem 2 denken modelleren als meelaagse semantische netwerken (multilayer semantic networks). Ze gebruiken vergelijkbare datasets gegenereerd door mensen en twee open-source LLMs: Mistral (mistral-7b) en Llama3 (llama3.1-8b).

1. Constructie van de Meelaagse Netwerken:
Voor elk systeem (mens, Mistral, Llama3) wordt een netwerk opgebouwd uit drie lagen die verschillende vormen van conceptuele kennis vertegenwoordigen:

• Laag 1: Associatief (Systeem 1 proxy): Gebaseerd op vrije associaties.
  • Mensen: Gebruik van het SWOW-dataset (Small World of Words).
  • LLMs: Gebruik van het LWOW-dataset (LLM World of Words), gegenereerd door prompten.
  • Structuur: Koppeling van cue-woorden aan responswoorden, gewogen op frequentie.
• Laag 2: Kenmerkgebaseerd (Systeem 2 proxy): Gebaseerd op definities.
  • Mensen: Woorddefinities uit WordNet.
  • LLMs: Definities gegenereerd door de modellen zelf, op basis van woordbetekenissen.
  • Structuur: Koppeling van een woord aan de woorden in zijn definitie (logische voorwaarden).
• Laag 3: Categorieel/Taxonomisch (Systeem 2 proxy): Gebaseerd op relationele kennis.
  • Mensen & LLMs: Synoniemen, antoniemen, hyperoniemen en hyponiemen uit WordNet (voor mensen) of gegenereerd door de LLMs.
  • Structuur: Koppeling van woorden op basis van logische categorieën en hiërarchieën.

2. Analyse van Structurele Reducibiliteit:
Om te bepalen of de lagen empirisch onderscheidende structuren zijn, wordt een reducibiliteitsanalyse uitgevoerd met behulp van een informatie-theoretische maatstaf (relatieve entropie).

• Als de lagen irreducibel zijn (samenvoegen verliest veel informatie), betekent dit dat ze unieke structurele informatie bevatten.
• Als lagen samengevoegd kunnen worden zonder veel informatie te verliezen, zijn ze structureel overlappend of redundant.

3. Meting van Impliciete Bias:
De auteurs gebruiken een spreading activation-framework om bias te kwantificeren, analoog aan de Implicit Association Test (IAT).

• Primes: Geslachtsidentiteiten (bijv. man, vrouw, moeder, vader).
• Targets: Woorden gerelateerd aan genderstereotypen (bijv. beroepen, eigenschappen, huis vs. carrière).
• Proces: Activatie van een prime-node verspreidt zich door het netwerk. De uiteindelijke activatieniveaus van de target-nodes worden gemeten.
• Bias-maatstaf: Het verschil in activatie tussen stereotype-consistente paren (bijv. man – dokter) en inconsistente paren (bijv. vrouw – dokter). Een groter verschil wijst op sterkere bias.

Belangrijkste Bijdragen

1. Conceptueel Kader: De studie biedt een principieel raamwerk om Systeem 1 en Systeem 2 te modelleren als distincte, maar verbonden, lagen in een semantisch netwerk, waardoor representatiestructuur en cognitief proces van elkaar kunnen worden onderscheiden.
2. Vergelijkende Analyse Mens vs. Machine: Het is een van de eerste studies die systematisch de relatie tussen semantische netwerktopologie en bias vergelijkt tussen menselijke cognitieve structuren en LLMs.
3. Empirische Validatie: De studie toont aan dat LLMs bepaalde vormen van menselijke conceptuele kennis (specifiek taxonomische kennis) missen of anders structureren, wat fundamentele verschillen in bias-regulatie verklaart.

Resultaten

1. Structurele Reducibiliteit:

• Mensen: De drie lagen (associatief, definities, categorieel) zijn irreducibel. Het samenvoegen van lagen resulteert in een meetbaar verlies van structurele informatie. Dit bevestigt dat mensen verschillende, gescheiden vormen van conceptuele kennis bewaren.
• LLMs (Mistral & Llama3): De netwerken tonen partiële reducibiliteit. De associatieve en categorische lagen kunnen worden samengevoegd met minimaal verlies van informatie. Dit suggereert dat LLMs geen duidelijk onderscheid maken tussen associatieve relaties en echte taxonomische/kategoriale relaties; hun "categorische" kennis is vaak slechts een andere vorm van associatie.

2. Relatie tussen Structuur en Bias:

• Mensen: Er is een consistent patroon. De associatieve laag (Systeem 1) vertoont de sterkste genderstereotypen. De Systeem 2-achtige lagen (definities en categorieën) tonen een significante vermindering van bias. Dit ondersteunt de theorie dat gestructureerde kennis bias kan reguleren.
• LLMs: Er is geen consistent patroon. De bias varieert willekeurig per onderwerp (topic) en per laag. Soms toont een Systeem 2-laag meer bias dan de associatieve laag, soms minder, zonder systematische trend. Dit suggereert dat gestructureerde kennis in LLMs niet werkt als een mechanisme voor bias-regulatie zoals bij mensen.
• Opmerkelijke bevinding bij mensen: In de categorische laag van mensen zijn vrouwelijke targets soms sterker geassocieerd met mannelijke primes dan andersom, wat wijst op een historische "male default" in taxonomische hiërarchieën (bijv. in WordNet), maar dit is nog steeds een gestructureerd effect in tegenstelling tot de willekeurigheid bij LLMs.

Betekenis en Conclusie

De studie concludeert dat er fundamentele verschillen zijn tussen menselijke en machine cognitie wat betreft bias:

• Menselijke Bias-regulatie: Berust op de aanwezigheid van structuraal onderscheidende kennislagen. De mogelijkheid om concepten via logische, taxonomische of definitorische relaties te benaderen (Systeem 2) helpt stereotypen te onderdrukken die voortkomen uit pure associaties (Systeem 1).
• LLM Bias-regulatie: LLMs lijken te missen aan deze structurele differentiatie. Hun "categorische" kennis is vaak slechts een verkapte vorm van associatie. Daarom kunnen ze, zelfs met geavanceerde redeneertaken, geen effectieve bias-regulatie bereiken via gestructureerde kennis, omdat die kennis niet fundamenteel verschilt van hun associatieve basis.

Implicaties:
Dit onderzoek suggereert dat het simpelweg toevoegen van gestructureerde kennisbronnen (zoals kennisgrafieken) aan LLMs niet voldoende is om bias te elimineren, tenzij de interne representatiestructuur van het model daadwerkelijk in staat is om onderscheid te maken tussen associatieve en logische kennis. Het benadrukt de noodzaak om de representatiestructuur van AI-systemen te bestuderen om bias effectief te begrijpen en te mitigeren.