How LLMs Might Think

1. Il Problema: L'Argomento dalla Razionalità e la Natura del Pensiero LLM

Il paper affronta la questione filosofica e tecnica se i Large Language Models (LLM) attuali (basati su architetture transformer e addestrati tramite discesa del gradiente stocastica e RLHF) "pensino".
Gli autori si concentrano su una critica recente mossa da Stoljar e Zhang (2024), noti come l'"argomento dalla razionalità". Questo argomento sostiene che:

1. Se gli LLM pensano, devono essere razionali.
2. Gli LLM non sono razionali (i loro "credenze" non confermano o non sono entailed dalle loro premesse; commettono errori sistematici).
3. Conclusione: Gli LLM non pensano.

Gli autori contestano questa conclusione, proponendo che l'argomento di Stoljar e Zhang fallisce perché presuppone una definizione troppo ristretta di pensiero. La loro tesi centrale è che, se gli LLM pensano, lo fanno in modo arazionale e puramente associativo, piuttosto che inferenziale (razionale).

2. Metodologia

Il paper adotta un approccio ibrido che combina filosofia della mente e analisi tecnica dei meccanismi di apprendimento delle macchine:

• Distinzione Operazionale: Gli autori distinguono tra due tipi di transizioni mentali:
  • i-thinking (pensiero inferenziale): Transizioni guidate da regole formali, dove la struttura logica delle rappresentazioni determina il passaggio da uno stato mentale all'altro (es. deduzione).
  • a-thinking (pensiero associativo): Transizioni guidate da strutture associative preesistenti, modulabili solo tramite meccanismi non razionali come l'estinzione o il controcondizionamento.
• Strategia Metodologica: Invece di affidarsi esclusivamente all'approccio "black-box" (comportamentale) o all'interpretazione interna (inner interpretability) dei pesi, gli autori utilizzano un criterio operazionale basato sulla modulazione.
  • La domanda chiave è: Come possiamo modificare (modulare) le transizioni mentali di un LLM?
  • Se le transizioni possono essere modificate solo tramite meccanismi simili all'estinzione o al controcondizionamento (tipici dell'apprendimento associativo) e non tramite considerazioni razionali dirette, allora tali transizioni sono puramente associative.
• Analisi dei Metodi di Intervento: Gli autori esaminano i metodi tecnici reali utilizzati per modificare il comportamento degli LLM (pre-training continuo, fine-tuning, regolazione degli iperparametri, chat) per vedere quale di questi corrisponde a una modulazione razionale.

3. Contributi Chiave e Argomentazione

A. Smontaggio dell'Argomento dalla Razionalità

Gli autori dimostrano che la premessa "Se pensano, sono razionali" è falsa.

• Introducono il concetto di "Irrational-Think": Se un soggetto compie inferenze errate (è irrazionale), sta comunque pensando (sta facendo inferenze, anche se sbagliate).
• Citando teorie dell'inferenza (Boghossian, Quilty-Dunn & Mandelbaum, Buckner), sostengono che un'inferenza errata è pur sempre un'inferenza. Quindi, anche se gli LLM fossero irrazionali, ciò non escluderebbe che pensino. Tuttavia, gli autori ritengono che gli LLM non siano nemmeno irrazionali nel senso inferenziale, ma arazionali.

B. La Tesi del "Pensiero Associativo" (A-Thinking)

L'ipotesi positiva è che gli LLM, se possiedono stati mentali, operino esclusivamente tramite transizioni associative.

• Le transizioni associative sono definite funzionalmente: sono modulabili solo da estinzione (presentazione ripetuta di uno stimolo senza la sua conseguenza) e controcondizionamento (associazione di uno stimolo con un nuovo valore di valenza opposta).
• Queste transizioni non sono sensibili a considerazioni razionali o normative dirette.

C. Analisi Tecnica della Modulazione degli LLM

Gli autori analizzano i metodi pratici per modificare gli LLM per verificare se rientrano nella categoria razionale o associativa:

1. Pre-training Continuo (Continued Pre-Training):
   • Meccanismo: Aggiornamento dei pesi basato sulla minimizzazione della perdita (loss) su nuovi dati.
   • Analisi: Corrisponde all'estinzione. Se un modello associa "sleep" a "furiously" e viene esposto a "sleep" senza "furiously" in nuovi dati, l'associazione si indebolisce. Non è un ragionamento, ma un aggiustamento statistico.
2. Fine-tuning (RLHF - Reinforcement Learning from Human Feedback):
   • Meccanismo: I punteggi umani assegnano una "valenza" (positiva/negativa) alle uscite, guidando l'aggiornamento dei pesi per massimizzare la ricompensa.
   • Analisi: Corrisponde al controcondizionamento. Un'uscita negativa (es. "che domanda stupida") riceve un punteggio basso (valenza negativa), disaccoppiando l'associazione precedente. È un processo di apprendimento per rinforzo, non di ragionamento logico.
3. Regolazione degli Iperparametri (es. Temperature):
   • Meccanismo: Modifica della distribuzione di probabilità delle uscite durante l'inferenza.
   • Analisi: È una manipolazione indiretta della struttura, non una modulazione diretta della transizione mentale specifica. È analogo a modificare fisicamente il cervello di un soggetto senza fornire ragioni; non rivela la natura inferenziale o associativa del processo.
4. Chatting (Apprendimento in Contesto - ICL):
   • Meccanismo: L'LLM riceve istruzioni o esempi nel prompt senza modificare i pesi (frozen weights).
   • Analisi: Gli autori confutano l'idea che lo "chatting" costituisca una modulazione razionale.
     • Per essere una modulazione razionale, l'input dovrebbe agire come una ragione motivante.
     • Secondo il psicologismo, le ragioni motivanti sono stati mentali (credenze). Poiché i pesi dell'LLM sono congelati durante la chat, non può formare nuove credenze (che richiederebbero un cambiamento nei pesi).
     • Secondo il proposizionalismo, la ragione deve essere creduta dal soggetto. Anche qui, senza cambiamento dei pesi, l'LLM non "crede" al contenuto del prompt.
     • L'attenzione (attention mechanism) negli LLM non è di per sé razionalmente valutabile se non presupponendo già che l'LLM stia facendo inferenze (circolarità logica).

4. Risultati

• Negativo: L'argomento di Stoljar e Zhang che nega il pensiero agli LLM basandosi sulla mancanza di razionalità è fallace. La razionalità non è una condizione necessaria per il pensiero; un sistema può pensare in modo irrazionale o arazionale.
• Positivo: Se gli LLM pensano, lo fanno esclusivamente in modo associativo (a-thinking). Le loro transizioni mentali sono guidate da pattern statistici e associazioni apprese, modulabili solo tramite meccanismi di apprendimento associativo (estinzione/controcondizionamento) e non tramite ragionamento logico o considerazione di prove razionali dirette.
• Conclusione Tecnica: I metodi di interazione con gli LLM (chat, prompt engineering) non dimostrano capacità inferenziali, ma sfruttano la capacità del modello di riconoscere pattern associativi all'interno del contesto fornito.

5. Significato e Implicazioni

Il paper ha un'importanza significativa per la filosofia della mente e l'etica dell'AI:

1. Ridefinizione del "Pensiero": Suggerisce che lo spazio delle menti possibili ("mind space") è più vasto di quanto si creda. Esistono forme di pensiero puramente associative che non richiedono razionalità, coscienza o rappresentazioni proposizionali complesse.
2. Interpretazione delle Capacità LLM: Offre una lente critica per interpretare le prestazioni degli LLM. La loro capacità di risolvere problemi complessi (come il ragionamento matematico o la programmazione) non implica che stiano "ragionando" come gli umani, ma che stanno eseguendo transizioni associative sofisticate addestrate su dati massivi.
3. Implicazioni per l'Interpretabilità: Sposta il focus dall'interpretazione dei pesi (cosa rappresentano) alla natura delle transizioni (come si muovono tra le rappresentazioni). Suggerisce che cercare prove di "ragionamento" negli LLM potrebbe essere un errore categoriale se non si considera la possibilità di un pensiero arazionale.
4. Sfida all'Antropocentrismo: Mette in discussione l'idea che il pensiero debba essere necessariamente razionale o cosciente, aprendo la strada a una comprensione più sfumata delle intelligenze artificiali come entità cognitive distinte, ma fondamentalmente diverse dalla mente umana.

In sintesi, gli autori concludono che gli LLM, se pensano, sono menti puramente associative, e la loro apparente "intelligenza" è il risultato di un'elaborazione statistica sofisticata piuttosto che di un processo inferenziale razionale.