The role of System 1 and System 2 semantic memory structure in human and LLM biases

Titolo: Il ruolo della struttura della memoria semantica dei sistemi 1 e 2 nei pregiudizi umani e nei LLM

1. Il Problema

I pregiudizi impliciti, sia negli esseri umani che nei Large Language Models (LLM), rappresentano un rischio significativo per la società, manifestandosi spesso sotto forma di stereotipi dannosi. Le teorie del doppio processo (Dual Process Theory) suggeriscono che i pregiudizi derivino principalmente dal pensiero associativo veloce e automatico (Sistema 1), mentre il pensiero deliberativo, logico e controllato (Sistema 2) mitiga tali bias. Tuttavia, i meccanismi cognitivi sottostanti a questa dualità rimangono poco compresi, specialmente per quanto riguarda le differenze strutturali nella rappresentazione della conoscenza.
Esiste un dibattito aperto su se i LLM, che operano su architetture connessioniste basate su statistiche (simili al Sistema 1), possiedano o meno una struttura analoga al Sistema 2 umano capace di regolare i pregiudizi attraverso la conoscenza proposizionale e logica. Il paper mira a colmare il divario tra le caratterizzazioni funzionali e una comprensione meccanicistica di come le diverse strutture di rappresentazione della conoscenza influenzino i comportamenti pregiudizievoli.

2. Metodologia

Gli autori hanno adottato un approccio comparativo modellando la memoria semantica come reti multilivello (multilayer networks) per entrambi gli esseri umani e due LLM open-source (Mistral-7b e Llama3-8b).

• Costruzione delle Reti Multilivello:
  Sono state costruite tre reti multilivello parallele (una per ogni sistema: Umani, Mistral, Llama3), ciascuna composta da tre strati distinti che fungono da proxy per i diversi sistemi cognitivi:

  1. Strato Associativo (Proxy del Sistema 1): Costruito a partire da associazioni libere (free associations). Per gli umani è stato utilizzato il dataset SWOW (Small World of Words); per i LLM è stato generato un dataset equivalente (LWOW) tramite prompt. Questo strato cattura le regolarità statistiche e le associazioni contestuali.
  2. Strato Basato su Definizioni (Proxy del Sistema 2): Costruito collegando le parole alle parole presenti nelle loro definizioni. Per gli umani sono state usate le definizioni di WordNet; per i LLM sono state generate definizioni tramite prompt. Questo strato mira a catturare conoscenze basate su caratteristiche necessarie e sufficienti.
  3. Strato Categorical/Relazionale (Proxy del Sistema 2): Costruito utilizzando relazioni tassonomiche (sinonimi, antonimi, iperonimi, iponimi). Anche qui, WordNet per gli umani e prompt per i LLM. Questo strato cattura le relazioni logiche e di inclusione categoriale.

• Analisi di Riducibilità Strutturale:
  È stata applicata un'analisi di riducibilità strutturale (utilizzando il pacchetto Python multired) per determinare se gli strati della rete multilivello codificano informazioni strutturali distinte o ridondanti. L'obiettivo era verificare se gli strati potevano essere fusi senza perdita significativa di informazione (riducibilità) o se dovevano rimanere separati (irriducibilità).

• Misurazione del Bias Implicito:
  Per quantificare gli stereotipi di genere, è stato utilizzato un framework basato sulla diffusione dell'attivazione (spreading activation), analogo al test di associazione implicita (IAT).

  • Primes: Identità di genere (es. uomo, donna, padre, madre).
  • Target: 172 parole divise in quattro categorie stereotipate (Tratti, Casa vs Lavoro, Arte vs Scienza, Professioni).
  • Metrica: L'intensità dell'associazione è misurata dal livello di attivazione finale dei nodi target dopo l'attivazione dei nodi prime. Vengono calcolati effect size (dimensioni dell'effetto) per confrontare le coppie coerenti con lo stereotipo (es. donna - infermiera) rispetto a quelle incoerenti (es. donna - medico).

3. Contributi Chiave

1. Modellazione Strutturale Comparativa: Il paper propone un framework unificato che rappresenta la conoscenza concettuale umana e artificiale come reti semantiche multilivello, permettendo un confronto diretto delle strutture sottostanti.
2. Distinzione tra Struttura e Processo: Separando la struttura della rappresentazione dalla dinamica di elaborazione, lo studio dimostra che le differenze nel comportamento pregiudizievole possono essere radicate nelle differenze strutturali della memoria semantica stessa.
3. Evidenza Empirica sulla "Mancanza" di Conoscenza nei LLM: Fornisce prove quantitative che i LLM attuali mancano di alcune forme di conoscenza concettuale umana, specificamente la conoscenza tassonomica distinta dalle associazioni statistiche.

4. Risultati

• Riducibilità Strutturale:

  • Umani: La rete è irriducibile. Gli strati associativo, definizionale e categoriale mantengono strutture distinte; fondere due strati comporta una perdita misurabile di informazione strutturale. Ciò indica che gli esseri umani mantengono forme di conoscenza concettuale (statistica, definizionale, logica) in sistemi di memoria differenziati.
  • LLM (Mistral e Llama3): La rete è parzialmente riducibile. Gli strati associativo e categoriale possono essere fusi con una perdita minima di informazione, suggerendo che nei LLM le relazioni associative e tassonomiche sono sovrapposte e non ben differenziate. I LLM tendono a generare relazioni "categoriali" che sono in realtà associative (es. fornire un sinonimo o un'associazione invece di riconoscere l'assenza di un antonimo per un oggetto inanimato).

• Relazione tra Struttura e Bias:

  • Umani: Esiste una correlazione sistematica e coerente tra struttura e bias. Lo strato associativo (Sistema 1) mostra i livelli più alti di bias stereotipato. Gli strati del Sistema 2 (definizioni e relazioni categoriali) mostrano una riduzione significativa del bias. La struttura della memoria semantica umana regola efficacemente i pregiudizi quando si accede a conoscenze più strutturate.
  • LLM: Non esiste un pattern coerente. La relazione tra struttura semantica e bias è inconsistente e imprevedibile. In alcuni strati e per alcuni argomenti, i LLM mostrano bias, in altri no, senza la chiara riduzione osservata negli umani. Questo suggerisce che i meccanismi di regolazione del bias nei LLM sono fondamentalmente diversi (o assenti) rispetto a quelli umani.
  • Asimmetria di Genere: Negli umani, lo strato categoriale mostra un'asimmetria: i target femminili hanno associazioni incoerenti con lo stereotipo (bias negativo), mentre quelli maschili mantengono un bias positivo, suggerendo che le categorie tassonomiche umane (es. WordNet) sono dominate da default maschili storici.

5. Significato e Implicazioni

• Differenze Fondamentali Cognizione Umana vs. Macchina: Lo studio evidenzia che, nonostante le prestazioni simili in alcuni task, la "cognizione" dei LLM è strutturalmente diversa da quella umana. I LLM mancano della capacità di mantenere distinte forme di conoscenza (associativa vs. logica/tassonomica), il che potrebbe spiegare le loro difficoltà in compiti che richiedono ragionamento gerarchico preciso.
• Regolazione del Bias: Negli esseri umani, la regolazione del bias non dipende solo dal ragionamento deliberativo attivo, ma dalla struttura stessa della memoria semantica. La presenza di strati di conoscenza distinti e irriducibili permette di attenuare gli stereotipi. Nei LLM, l'assenza di questa differenziazione strutturale rende i pregiudizi più stabili e meno regolabili attraverso la semplice struttura della conoscenza.
• Sviluppo di AI: Per creare sistemi AI meno pregiudizievoli, non basta migliorare l'addestramento statistico; è necessario incorporare forme di conoscenza concettuale strutturata (simili al Sistema 2 umano) che siano strutturalmente distinte dalle associazioni statistiche, permettendo una vera regolazione dei bias.

In sintesi, il paper dimostra che la "dualità" dei processi cognitivi umani è radicata in una struttura di memoria semantica complessa e irriducibile, una caratteristica che i modelli linguistici attuali non possiedono pienamente, portando a meccanismi di bias qualitativamente diversi.