Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing

Technische Samenvatting: Vergelijking van Semantische Navigatie bij Mensen en Large Language Models

Probleemstelling
Semantisch geheugenherstel wordt geconceptualiseerd als een navigatieproces door een conceptuele ruimte. Waar eerder onderzoek gebruikmaakte van de Verbale Fluency Taak (VFT) om menselijke semantische zoekprocessen te modelleren—vaak geframed als een balans tussen lokale exploitatie (clustering) en globale exploratie (switching)—bieden recente ontwikkelingen in Large Language Models (LLMs) een nieuwe weg voor vergelijking. Hoewel LLMs coherente taal genereren en hun interne representaties enige overeenkomst vertonen met menselijke hersenactiviteit, blijft het onduidelijk of hun onderliggende zoekdynamiek de menselijke cognitieve processen weerspiegelt. Eerdere studies wijzen erop dat door LLM's afgeleide semantische netwerken vaak zwakkere lokale clustering en een minder goede globale integratie vertonen dan menselijke netwerken. Er bestaat echter een gat in het kwantificeren van hoe deze systemen stapsgewijs door semantische inhoud navigeren, met name door middel van metrieken die rekening houden met de accumulerende context van de retrieval-historie, in plaats van woorden als onafhankelijke statische punten te behandelen.

Methodologie
De studie maakte gebruik van een comparatief ontwerp met gedragsgegevens van 82 menselijke participanten en outputs van drie state-of-the-art LLMs: GPT-4o, Gemini-2.5-Pro en Claude-Sonnet-4.5.

• Taak: Alle agenten voerden een semantische verbale fluency taak uit voor de categorie "dieren". Menselijke data werden afkomstig uit de SNAFU-database (3 minuten limiet). LLMs werden geprompt met behulp van een role-playing inductie (het aannemen van specifieke beroepsperspectieven) om de outputdiversiteit te vergroten. Om vergelijkbaarheid te garanderen zonder kunstmatige tijdslimieten op de modellen op te leggen, werden de outputlengtes van de LLMs gematcht aan de empirische distributie van het aantal menselijke reacties.
• Experimentele Manipulatie: De LLMs werden getest over acht temperatuurinstellingen (0.0 tot 1.0) om de stochastische bemonstering te moduleren, variërend van deterministisch tot zeer diverse outputs.
• NLP Metrieken: De studie paste een natuurkundig geïnspireerd, trajectgebaseerd framework toe (Toro-Hernández et al., 2026) met behulp van cumulatieve contextuele embeddings (via OpenAI's text-embedding-3-large, gevalideerd met andere systemen). Drie complementaire metrieken werden berekend:
  1. Distance to Next: De cosinusafstand tussen opeenvolgende cumulatieve semantische toestanden, wat de omvang van de "semantische sprongen" tussen opeenvolgende items meet.
  2. Entropy: De Shannon-entropie van de stapgrootteverdeling, wat de voorspelbaarheid en variabiliteit van het zoektraject kwantificeert.
  3. Distance to Centroid: De gemiddelde cosinusafstand van niet-cumulatieve item-embeddings van de centroid van de unieke gegenereerde items, wat de globale dispersie of clustering indexeert.

Belangrijkste Resultaten

• Mens vs. LLM Baseline: Mensen vertoonden significant hogere entropie (minder voorspelbare stapgroottes), grotere semantische stappen (Distance to Next) en een bredere globale dispersie (Distance to Centroid) vergeleken met alle drie de LLMs. Dit geeft aan dat menselijk zoeken variabeler en exploratiever is, terwijl LLMs meer rigide, lokaal geclusterd en conservatief navigeren.
• Verschillen tussen Modellen: Onder de LLMs vertoonde Claude-Sonnet-4.5 de kleinste stapgroottes en de strakste lokale clustering. GPT-4o vertoonde de sterkste globale clustering (laagste Distance to Centroid).
• Temperatuur-effecten: Het afstemmen van de temperatuur produceerde slechts een gedeeltelijke uitlijning met menselijke profielen.
  • Entropy en Distance to Next: Uitlijning was modelspecifiek. Claude benaderde menselijke niveaus bij hoog-intermediaire temperaturen (0.75–0.90), terwijl Gemini en GPT-4o convergentie vertoonden bij de eindpunten (0.0, 1.0) en specifieke intermediaire punten.
  • Distance to Centroid: Deze metriek was het moeilijkst te matchen. Alleen smalle temperatuurbanden voor Claude en Gemini waren statistisch ononderscheidbaar van mensen. GPT-4o bleef persistent niet-menselijk over alle instellingen, waarbij het consequent een verminderde globale dispersie vertoonde.
• Geïntegreerd Profiel: Geen enkele temperatuurconfiguratie stelde een LLM in staat om het volledige menselijke profiel over alle drie de dimensies simultaan te reproduceren.

Betekenis en Claims
Het artikel betoogt dat menselijk semantisch zoeken een onderscheidend evenwicht implementeert tussen lokale exploitatie en globale exploratie dat huidige LLM-architecturen niet kunnen reproduceren, zelfs niet met parameterafstemming. De bevindingen dagen het idee uit dat LLMs eenvoudige "silicon participants" zijn in cognitief onderzoek. De auteurs suggereren dat de systematische afwijkingen die zijn waargenomen—met name het onvermogen om tegelijkertijd onvoorspelbaarheid, stapgrootte en globale dispersie te matchen—waarschijnlijk voortkomen uit de trainingsdoelstellingen van moderne LLMs (bijv. Reinforcement Learning from Human Feedback), die optimaliseren voor assistent-achtige prestaties in plaats van een getrouwe replicatie van menselijke cognitieve processen.

De studie concludeert dat hoewel LLMs menselijk gedrag op geïsoleerde metrieken onder specifieke condities kunnen imiteren, ze de geïntegreerde gedragssignatuur van menselijke semantische navigatie missen. Daarom moeten onderzoekers voorzichtig zijn met het gebruik van LLMs als cognitieve surrogaten zonder uitgebreide validatie over meerdere theoretisch gemotiveerde dimensies, aangezien het kalibreren voor de ene metriek de andere kan verstoren. De resultaten benadrukken de noodzaak voor toekomstig werk om te onderzoeken of alternatieve trainingsdoelstellingen of architecturale modificaties beter de computationele principes achter het menselijke semantische geheugenzoekproces kunnen vatten.