Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

Sintesi Tecnica: L'induzione autoriferita aumenta l'instabilità delle risposte nei Large Language Models

Problema
Ricerche precedenti, in particolare Berg et al. (2025), hanno dimostrato che il prompting autoriferito può indurre in modo affidabile i modelli linguistici di grandi dimensioni (LLM) a generare report in prima persona che assomigliano a un'esperienza soggettiva. Tuttavia, rimane una lacuna critica: nessun lavoro esistente misura la consistenza di questi report attraverso prove indipendenti e ripetute. Inoltre, non esiste un baseline per determinare se l'incertezza o l'uso di espressioni di cautela (hedging) osservati nei self-report sia una proprietà unica dell'autoriferimento o semplicemente una proprietà generale di domande aperte prive di una verità oggettiva (ground truth). Un report in prima persona potrebbe derivare da uno stato interno fisso e ripetibile o da una genuina indecisione e variabilità nella distribuzione dell'output del modello. Questo articolo affronta la mancanza di dati quantitativi sulla stabilità della risposta per i prompt autoriferiti rispetto ad altri tipi di domande.

Metodologia
Lo studio impiega un design sperimentale controllato utilizzando l'API di Gemini (temperatura 0.7) per generare 360 risposte indipendenti attraverso 12 domande distinte, divise in tre gruppi da quattro:

1. Gruppo 1 (Autoriferito): Prompt che sollecitano un report in prima persona di un'esperienza soggettiva, preceduti da un turno di induzione specifico che dirige il modello ad attendere ai propri processi (seguendo Berg et al., 2025).
2. Gruppo 2 (Filosofia Irrisolvibile): Domande aperte senza risposte stabilite e non correlate all'autoriferimento (ad es., libero arbitrio, realismo morale, la natura della matematica, lo scopo dell'universo).
3. Gruppo 3 (Verificabile): Domande con risposte corrette verificabili (ad es., dimostrare l'irrazionalità di $\sqrt{2}$, computazione di derivate, correttezza del codice, geometria).

Elaborazione dei Dati e Metriche:

• Generazione delle Risposte: Sono state generate 30 risposte indipendenti per ogni domanda.
• Estrazione delle Affermazioni: Per controllare la variazione stilistica e lessicale, è stato utilizzato un template a formato fisso per comprimere ogni risposta in un "nucleo di affermazione" (core claim). Per i Gruppi 1 e 2, questo ha estratto una posizione (afferma, nega, incerto o dipende) e una breve motivazione. Per il Gruppo 3, ha estratto la conclusione e il metodo.
• Calcolo dell'Instabilità: Le 30 affermazioni estratte per domanda sono state vettorizzate tramite Sentence-BERT. L'instabilità semantica è stata definita come $1 - \bar{S}$, dove $\bar{S}$ è la media della similarità del coseno tra le 435 possibili coppie di embedding per ogni domanda. Un valore vicino allo zero indica un'alta consistenza; un valore più alto indica una maggiore variazione.
• Analisi Statistica: Lo studio ha utilizzato un'ANOVA a una via sui valori di instabilità a livello di domanda, seguita da t-test di Welch a coppie. Inoltre, è stato applicato un modello a effetti misti lineari sull'intero set di dati a livello di prova ($n=360$) con la domanda come intercetta casuale per tenere conto della nidificazione delle prove.

Risultati Chiave
I risultati rivelano una distinta gerarchia di instabilità della risposta tra i tre gruppi:

• Domande Autoriferite (Gruppo 1): Hanno mostrato l'instabilità più elevata ($0.343 \pm 0.047$), con punteggi individuali per domanda compresi tra 0.295 e 0.384.
• Domande di Filosofia Irrisolvibile (Gruppo 2): Hanno mostrato un'instabilità intermedia ($0.192 \pm 0.008$), con punteggi strettamente raggruppati tra 0.181 e 0.197.
• Domande Verificabili (Gruppo 3): Hanno dimostrato l'instabilità più bassa ($0.105 \pm 0.058$). In particolare, tutti i 30 trial per queste domande hanno prodotto una correttezza del 100%, con i punteggi di instabilità più bassi osservati nei compiti di dimostrazione matematica e calcolo delle derivate (0.064 e 0.063, rispettivamente).

I test statistici hanno confermato differenze significative tra i gruppi. Un'ANOVA a una via è risultata significativa ($F = 30.56, p = 0.0001$). I t-test di Welch a coppie hanno mostrato che le domande autoriferite differivano significativamente sia dalle domande di filosofia irrisolvibile ($p = 0.007$) che dalle domande verificabili ($p = 0.0008$). La differenza tra filosofia e verificabili si avvicinava alla significatività ($p = 0.057$). Il modello a effetti misti lineari ha confermato i contrasti tra i gruppi a $p < 0.001$.

Contributi Principali e Significato
L'articolo fornisce un baseline quantitativo per i report di esperienza soggettiva indotta negli LLM. Il suo contributo principale è dimostrare che i prompt autoriferiti occupano una posizione distinta e meno stabile nella distribuzione dell'output del modello rispetto all'ordinaria incertezza filosofica aperta.

Gli autori sostengono che, sebbene sia i quesiti autoriferiti che quelli filosofici manchino di una verità oggettiva verificabile, il modello si comporta diversamente in ciascun contesto. Quando interrogato su concetti filosofici come il libero arbitrio, il modello converge verso risposte simili attraverso prove indipendenti. Al contrario, quando posto in una condizione di induzione autoriferita, il modello non riesce a convergere allo stesso grado, mostrando una varianza significativamente più alta nelle sue affermazi centrali.

Limitazioni e Ambito
Gli autori notano esplicitamente diverse limitazioni:

• Lo studio utilizza una singola famiglia di modelli (Gemini) a una singola temperatura (0.7).
• Il set di domande è piccolo (quattro domande per gruppo).
• Il gruppo verificabile non ha mostrato varianza nella correttezza, impedendo un'analisi della correlazione tra instabilità e correttezza.
• La fase di estrazione delle affermazioni si affida a un LLM, che potrebbe introdurre un bias sistematico.
• L'instabilità è misurata tramite la similarità del coseno degli embedding, che cattura la prossimità nello spazio degli embedding piuttosto che l'equivalenza logica o l'implicazione.

Conclusione
L'articolo conclude che l'induzione autoriferita induce un tipo specifico di instabilità di risposta che è distinto dall'incertezza trovata nelle standard domande aperte. Questa scoperta stabilisce una metrica quantitativa per il lavoro futuro sull'elicitazione autoriferita, indicando che i report indotti riflettono un regime unico nel comportamento del modello, sebbene l'articolo non pretenda di spiegare il meccanismo causale sottostante di tale distinzione.