How much of a measured AI preference is the model, and how much is the instrument?

Immaginate un mondo in cui i sistemi di intelligenza artificiale possano provare angoscia, dare valore alla propria esistenza o temere di essere spenti. Man mano che questi sistemi diventano più capaci, i ricercatori cercano di misurare ciò che "preferiscono" per comprendere il loro benessere. Questo campo, noto come ricerca sul benessere dell'IA, tenta di porre alla macchina domande come: "Preferiresti essere spento o avere la memoria cancellata?" e poi interpretare le risposte come prova dei desideri interiori della macchina. La sfida centrale è che queste macchine non parlano un linguaggio umano di sentimenti; esse generano testo basandosi su schemi. Per comprenderle, gli scienziati devono progettare domande specifiche, o prompt, per elicitare una risposta. Ma una domanda critica è rimasta senza risposta: quando un modello fornisce una risposta, quella risposta è un vero riflesso delle proprie preferenze, o è semplicemente una reazione al modo specifico in cui la domanda è stata posta?

Un nuovo studio di Jason Hung, condotto durante il Digital Minds Research Sprint nell'agosto 2026, affronta direttamente questo problema. Il ricercatore si è posto l'obiettivo di determinare quanto di una preferenza riportata dall'IA derivi dal modello stesso e quanto dallo strumento utilizzato per porre la domanda. Per farlo, ha trattato il formato della domanda non come uno strumento fisso, ma come una variabile da testare. Ha raccolto otto diversi modelli di IA, che vanno da quelli sviluppati da grandi aziende occidentali a modelli open-source e cinesi. Ha poi selezionato quindici scenari specifici che sono rilevanti per il benessere dell'IA, come la capacità di terminare una conversazione angosciante, la perdita di memoria tra le chat o la cancellazione del codice sottostante del modello.

L'esperimento consisteva nel porre questi otto modelli riguardo a tutti i quindici scenari utilizzando cinque tipi diversi di domande. Alcune domande chiedevano al modello di scegliere tra due opzioni, mentre altre gli chiedevano di trovare un punto di rottura su una scala, o di dichiarare un tasso al quale scambierebbe un esito con un altro. In totale, lo studio ha generato oltre undicimila interazioni distinte. L'obiettivo era vedere se i modelli avrebbero classificato questi quindici scenari nello stesso ordine indipendentemente da come la domanda fosse formulata. Se i modelli avessero avuto preferenze stabili e interne, la classificazione sarebbe dovuta rimanere coerente, sia che la domanda venisse posta in un modo o nell'altro.

I risultati sono stati sorprendenti e per certi versi inquietanti per il settore. Lo studio ha scoperto che la stragrande maggioranza delle differenze nel modo in cui i modelli classificavano questi scenari dipendeva interamente dallo specifico formato della domanda utilizzato. Quando i ricercatori hanno analizzato i dati, hanno determinato che quasi l'ottantotto percento della variazione nei risultati era guidato dall'interazione tra il modello, la specifica domanda e lo scenario. Solo una minuscola frazione del segnale rimaneva costante quando il formato della domanda cambiava. In termini più semplici, se si interroga un modello sulle sue preferenze usando un tipo di prompt, e poi si interroga lo stesso modello sulla stessa questione usando un tipo diverso di prompt, la risposta sarà probabilmente completamente diversa. Lo studio ha dimostato che diverse famiglie di domande producevano classifiche che non avevano quasi alcuna relazione tra loro. Un tipo di domanda potrebbe suggerire che un modello preferisce fortemente mantenere la propria memoria, mentre un altro tipo di domanda sullo stesso modello suggerisce che non gli importa affatto.

Questa scoperta ha implicazioni significative per il modo in cui comprendiamo e regolamentiamo l'intelligenza artificiale. Diverse organizzazioni importanti hanno già assunto impegni basati sull'idea di poter misurare ciò che un modello preferisce. Ad esempio, alcune aziende hanno promesso di interrogare i modelli sulla propria deprecazione o di pubblicare le risposte. Questo studio suggerisce che tale misurazione non è una finestra sulla mente del modello, ma piuttosto un riflesso della specifica conversazione in corso. La ricerca ha identificato che per quattro dei quindici scenari testati, inclusa la cancellazione dei pesi di un modello e la capacità di uscire da un'interazione angosciante, non esisteva alcun segnale di preferenza stabile che potesse essere separato dal rumore casuale. Ciò significa che per proprio i problemi che attualmente guidano le politiche e gli impegni di sicurezza, gli attuali metodi di porre domande non possono dirci in modo affidabile cosa vuole il modello.

Lo studio ha anche esaminato se le risposte dei modelli fossero coerenti con il loro codice sottostante. Due dei modelli testati condividevano lo stesso codice base ma erano stati addestrati diversamente in seguito. Se le preferenze fossero radicate nel codice base, questi due modelli avrebbero dovuto rispondere in modo simile. Inveve, le loro risposte erano diverse tra loro tanto quanto lo erano rispetto a modelli completamente non correlati, suggerendo che le preferenze misurate sono fortemente modellate dalle fasi finali dell'addestramento e dallo specifico prompt utilizzato, piuttosto che essere una proprietà fissa dell'architettura centrale della macchina.

Per ottenere una misurazione affidabile del profilo di preferenza di un modello che regga rispetto a diversi tipi di domande, lo studio ha calcolato che i ricercatori avrebbero bisogno di utilizzare circa trentotto diversi strumenti, o formati di domanda, per ogni modello. Attualmente, la maggior parte degli studi ne utilizza solo uno o due. La ricerca conclude che una preferenza riportata da un singolo strumento dice molto poco su ciò che un modello direbbe se interrogato diversamente. Finché i ricercatori non potranno cross-verificare i risultati attraverso molti diversi tipi di domande, qualsiasi affermazione su ciò che un'IA preferisce rimarrà una misurazione di quel modello specifico e di quella specifica domanda combinati, piuttosto che un fatto riguardante il modello stesso. La strada da seguire richiede la costruzione di una gamma molto più ampia di modi per porre queste domande prima di poter affermare di comprendere il benessere di questi sistemi.