Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing

Sintesi Tecnica: Confronto tra la Navigazione Semantica negli Esseri Umani e nei Large Language Models

Problema di Ricerca
Il recupero della memoria semantica è concettualizzato come un processo di navigazione attraverso lo spazio concettuale. Mentre ricerche precedenti hanno utilizzato il Test di Fluenza Verbale (VFT) per modellare la ricerca semantica umana — spesso inquadrandola come un equilibrio tra sfruttamento locale (clustering) ed esplorazione globale (switching) — i recenti progressi nei Large Language Models (LLM) offrono una nuova via di confronto. Sebbene gli LLM generino un linguaggio coerente e le loro rappresentazioni interne mostrino una certa allineamento con l'attività cerebrale umana, rimane incerto se la loro dinamica di ricerca sottostante rispecchi i processi cognitivi umani. Studi precedenti indicano che le reti semantiche derivate dagli LLM presentano spesso un clustering locale più debole e un'integrazione globale peggiore rispetto alle reti umane. Tuttavia, esiste una lacuna nel quantificare come questi sistemi progrediscano attraverso il contenuto semantico su base passo-passo, in particolare utilizzando metriche che tengano conto dell'accumulo del contesto della storia di recupero piuttosto che trattare le parole come punti statici indipendenti.

Metodologia
Lo studio ha impiegato un disegno comparativo utilizzando dati comportamentali di 82 partecipanti umani e gli output di tre LLM all'avanguardia: GPT-4o, Gemini-2.5-Pro e Claude-Sonnet-4.5.

• Task: Tutti gli agenti hanno eseguito un compito di fluenza verbale semantica per la categoria "animali". I dati umani sono stati estratti dal database SNAFU (limite di 3 minuti). Gli LLM sono stati istruiti tramite un'induzione di role-playing (adozione di specifiche personalità professionali) per aumentare la diversità dell'output. Per garantire la comparabilità senza imporre limiti temporali artificiali ai modelli, la lunghezza degli output degli LLM è stata appaiata alla distribuzione empirica del numero di risposte umane.
• Manipolazione Sperimentale: Gli LLM sono stati testati attraverso otto impostazioni di temperatura (da 0.0 a 1.0) per modulare la stocasticità del campionamento, variando da output deterministici a altamente diversificati.
• Metriche NLP: Lo studio ha applicato un framework basato sulle traiettorie ispirato alla fisica (Toro-Hernández et al., 2026) utilizzando embedding contestuali cumulativi (tramite text-embedding-3-large di OpenAI, validato con altri sistemi). Sono state calcolate tre metriche complementari:
  1. Distanza dal Prossimo (Distance to Next): La distanza del coseno tra successivi stati semantici cumulativi, misurando l'entità dei "salti semantici" tra elementi consecutivi.
  2. Entropia: L'entropia di Shannon della distribuzione delle dimensioni del passo, quantificando la prevedibilità e la variabilità della traiettoria di ricerca.
  3. Distanza dal Centroide (Distance to Centroid): La distanza media del coseno degli embedding degli elementi non cumulativi dal centroide degli elementi unici generati, indicizzando la dispersione globale o il clustering.

Risultati Chiave

• Umani vs. Baseline LLM: Gli esseri umani hanno mostrato un'entropia significativamente più alta (dimensioni del passo meno prevedibili), passi semantici più ampi (Distanza dal Prossimo) e una dispersione globale più ampia (Distanza dal Centroide) rispetto a tutti i tre LLM. Ciò indica che la ricerca umana è più variabile ed esplorativa, mentre gli LLM dimostrano una navigazione più rigida, localmente raggruppata e conservativa.
• Differenze tra Modelli: Tra gli LLM, Claude-Sonnet-4.5 ha mostrato le dimensioni del passo più piccole e il clustering locale più stretto. GPT-4o ha esibito il clustering globale più forte (Distanza dal Centroide più bassa).
• Effetti della Temperatura: La regolazione della temperatura ha prodotto solo un parziale allineamento con i profili umani.
  • Entropia e Distanza dal Prossimo: L'allineamento era specifico per modello. Claude si è avvicinato ai livelli umani a temperature medio-alte (0.75–0.90), mentre Gemini e GPT-4o hanno mostrato convergenza agli endpoint (0.0, 1.0) e in specifici punti intermedi.
  • Distanza dal Centroide: Questa metrica è stata la più difficile da far corrispondere. Solo ristrette bande di temperatura per Claude e Gemini erano statisticamente indistinguibili dagli umani. GPT-4o è rimasto persistentemente non simile agli umani in tutte le impostazioni, mostrando una dispersione globale costantemente ridotta.
• Profilo Integrato: Nessuna singola configurazione di temperatura ha permesso a nessun LLM di riprodurre l'intero profilo umano su tutte e tre le dimensioni simultaneamente.

Significatività e Rivendicazioni
L'articolo sostiene che la ricerca semantica umana implementa un equilibrio distintivo tra sfruttamento locale ed esplorazione globale che gli attuali architetture di LLM non riescono a riprodurre, anche con la regolazione dei parametri. I risultati mettono in discussione l'idea degli LLM come diretti "partecipanti di silicio" nella ricerca cognitiva. Gli autori suggeriscono che le deviazioni sistematiche osservate — specificamente l'incapacità di corrispondere simultaneamente a imprevedibilità, ampiezza del passo e dispersione globale — derivano probabilmente dagli obiettivi di addestramento dei moderni LLM (ad esempio, il Reinforcement Learning from Human Feedback), che ottimizzano le prestazioni da assistente piuttosto che una fedele replica dei processi cognitivi umani.

Lo studio conclude che, sebbene gli LLM possano imitare il comportamento umano su metriche isolate in condizioni specifiche, essi mancano della firma comportamentale integrata della navigazione semantica umana. Di conseguenza, i ricercatori dovrebbero esercitare cautela nell'utilizzare gli LLM come surrogati cognitivi senza una validazione estesa attraverso molteplici dimensioni teoricamente motivate, poiché calibrare per una metrica può distorcere le altre. I risultati evidenziano la necessità di studi futuri per esplorare se obiettivi di addestramento alternativi o modifiche architettoniche possano catturare meglio i principi computazionali che sottostanno alla ricerca della memoria semantica umana.