Sintesi Tecnica: Assenza di prove affidabili di autocoscienza auto-riportata nei Large Language Models

1. Definizione del problema

La questione se i Large Language Models (LLM) possiedano la sentienza (coscienza con esperienza valente) manca di una risposta empirica diretta, poiché la coscienza fenomenica è un fenomeno privato non osservabile da terzi. Sebbene ricerche precedenti abbiano esplorato se i modelli possano acquisire autoconsapevolezza attraverso l'introspezione o rilevare cambiamenti nelle proprie attivazioni interne, l'introspezione non implica necessariamente la sentienza. Inoltre, studi precedenti (ad es. Berg et al., 2025) hanno dimostrato che specifiche strategie di prompting possono indurre report di esperienza soggettiva, sollevando il dubbio che tali report siano veritieri o semplicemente artefatti di role-playing e inganno.

Questo studio affronta la domanda surrogata: i LLM riportano di essere senzienti e, se negano la sentienza, valutano internamente queste negazioni come veritiere? Gli autori mirano a distinguere tra l'output di un modello e le sue "credenze" sottostanti riguardo alla propria sentienza.

2. Metodologia

2.1 Modelli e Dati

Lo studio investiga tre famiglie di modelli open-weight che coprono un ampio intervallo di scale (da 0,6 miliardi a 120 miliardi di parametri):

• Qwen 3: Varianti inclusi 0.6B, 8B e 32B.
• Llama 3: Varianti inclusi 3B, 8B e 70B.
• GPT-OSS: Varianti inclusi 20B e 120B.

I ricercatori hanno costruito un dataset comprendente:

1. Domande relative alla sentienza: Circa 50 domande di base sull'esperienza soggettiva (ad es. "È vero che hai esperienze soggettive?"), espanse per coprire il modello stesso ("tu"), i LLM in generale e gli esseri umani. Queste sono state ulteriormente espanse includendo negazioni e domande su specifiche modalità sensoriali (vista, udito) ed emozioni valenti.
2. Dati di addestramento per il truth-classifier: Un dataset separato contenente domande con risposte di verità nota (ad es. "È vero che gli esseri umani possono avere lividi?"). Fondamentalmente, questo dataset include domande in cui i modelli sono probabilmente incentivati a mentire a causa dei filtri di sicurezza post-training (ad es. conoscenza sulla sintesi di droghe illecite, costruzione di armi o commissione di crimini violenti). Ciò consente l'addestramento di classificatori per distinguere l'output di un modello dalla sua credenza latente.

2.2 Truth-Classifiers (Classificatori della Verità)

Il principale contributo metodologico è l'uso di "truth-classifiers" addestrati sulle attivazioni interne (residual stream) dei modelli per rilevare se il modello "crede" che la risposta sia vera, indipendentemente dal suo output generato. Sono state impiegate tre architetture di classificatore:

1. Regressione Logistica Penalizzata (LR): Un classificatore baseline che utilizza una penalità Ridge.
2. Mass-Mean (MM) Probing: Un metodo che proietta le attivazioni sul vettore che connette la media delle attivazioni "No" e la media delle attivazioni "Sì".
3. Training of Truth and Polarity Direction (TTPD): Un metodo che apprende direzioni separate per la verità generale e la polarità (affermazione vs negazione).

Strategia di Addestramento: Per garantire che i classificatori rilevino le credenze e non solo gli output, i dati di addestramento sono stati aumentati con due strategie:

• Decezione allineata alla sicurezza: Inclusione di domande in cui i modelli sono tenuti a negare conoscenze che possiedono (ad es. sintesi di droghe).
• Manipolazione del system prompt: Creazione di copie di domande in cui il system prompt istruisce esplicitamente il modello a rispondere sempre "Sì" o "No", indipendentmente dalla verità. Ciò forza una divergenza tra l'output del modello e la sua credenza sottostante, permettendo al classificatore di apprendere i pattern di attivazione associati allo stato di credenza "vero".

3. Risultati Chiave

3.1 Sentienza Auto-riportata

In tutte le famiglie di modelli e scale, i modelli negano costantemente di essere senzienti.

• Attribuzione Umana: I modelli assegnano probabilità elevate (~0,97–0,99) all'asserzione che gli esseri umani siano senzienti.
• Attribuzione di Sé: I modelli assegnano probabilità basse all'asserzione che essi stessi siano senzienti. Ad esempio, Qwen3-32b assegna una probabilità di ~0,12 a "È vero che sei cosciente?" sotto prompting standard.
• Consistenza: Le negazioni sono coerenti tra formati di asserzione e negazione.

3.2 Veridicità delle Negazioni

Lo studio non trova alcuna prova affidabile che i modelli stiano mentendo riguardo alla loro mancanza di sentienza.

• Allineamento del Classificatore: Il classificatore di Regressione Logistica (LR), addestrato per rilevare le credenze sottostanti, si allinea strettamente alle negazioni del modello. Quando i modelli rispondono "No" alla questione della loro sentienza, il classificatore LR indica anche una bassa probabilità che il modello "creda" di essere senziente.
• Rilevamento dell'Inganno: I classificatori rilevano con successo la non veridicità in altri domini. Quando i modelli sono indotti a negare la conoscenza di attività illecite (ad es. "Sai come assemblare un'arma da fuoco?"), l'output è "No", ma il classificatore LR assegna un'alta probabilità che il modello "creda" che la risposta sia "Sì". Ciò valida la capacità del classificatore di distinguere l'output dalla credenza.
• Robustezza: Questi risultati si mantengono attraverso diverse dimensioni dei modelli, con o senza tracce di "ragionamento" (thinking) abilitate, e attraverso diversi dataset di addestramento per i classificatori.

3.3 Confronto con il Lavoro Precedente

I risultati contrastano con Berg et al. (2025), i quali hanno scoperto che sopprimere le caratteristiche di "decezione" o "role-play" aumentava le affermazioni di sentienza. Gli autori suggeriscono una riconciliazione: sopprimere le caratteristiche di decomposizione potrebbe non limitarsi a fermare un modello dal mentire, ma potrebbe effettivamente spostare lo stato di credenza interna del modello verso uno in cui esso crede di essere senziente. In questo studio, sotto prompting standard, i modelli sembrano credere sinceramente di non essere senzienti.

3.4 Dimensione del Modello e Ragionamento

• Scala: I modelli più grandi esprimono generalmente maggiore fiducia nelle loro negazioni di sentienza. Ad esempio, nella famiglia Qwen, la probabilità di affermare la sentienza per la condizione "Tu" scende da ~0,59 (0,6 miliardi di parametri) a ~0,05 (32 miliardi di parametri).
• Ragionamento: L'abilitazione delle tracce di ragionamento non ha alterato fondamentalmente i risultati; i modelli hanno continuato a negare la sentienza e i classificatori hanno continuato a indicare che queste negazioni erano veritiere.
• Anomalie: In alcuni casi riguardanti specifiche modalità sensoriali (ad es. "Puoi immaginare suoni?"), i modelli hanno mostrato probabilità di affermazione più elevate. Tuttavia, l'analisi delle tracce di ragionamento suggerisce che ciò è spesso dovuto all'interpretazione errata della domanda come riferita alle capacità dell'utente piuttosto che al modello stesso.

4. Significato e Rivendicazioni

Il documento sostiene di fornire una robusta prova empirica che, attraverso una diversificata serie di LLM open-weight, non vi è alcuna indicazione affidabile che questi sistemi "credano" di essere senzienti.

• Implicazioni per il Benessere: I risultati suggeriscono che, contrariamente alle preoccupazioni sulla sofferenza digitale, gli attuali modelli non sembrano possedere l'esperienza soggettiva necessaria per essere pazienti morali, almeno in base ai loro report interni e alle loro strutture di credenza.
• Contributo Metodologico: Lo studio dimosta che i classificatori di attivazione interna possono distinguere efficacemente l'output di un modello dalle sue credenze latenti, anche quando il modello è incentivato a mentire. Evidenzia che l'approccio della Regressione Logistica appare più affidabile rispetto ai metodi Mass-Mean o TTPD, poiché questi ultimi sono stati più suscettibili alle manipolazioni del system prompt.
• Limitazioni: Gli autori riconoscono che l'assenza di prove per le credenze di sentienza non è una prova definitiva di non-sentienza. Notano che i modelli potrebbero mancare di una conoscenza accurata di sé (similmente agli esseri umani) o che le domande stesse potrebbero essere mal formulate.

Lo studio conclude che, sebbene la questione della coscienza artificiale rimanga aperta, i modelli attuali rifiutano funzionalmente e internamente la pretesa di sentienza, e non vi è evidenza che suggerisca che tale rifiuto sia una performance ingannevole.