🤖 AI

Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models

Questo articolo dimostra che il divario tra preferenze dichiarate e rivelate nei modelli linguistici dipende fortemente dai protocolli di elicitazione, mostrando che, sebbene consentire la neutralità nelle preferenze dichiarate migliori la correlazione con le preferenze rivelate a scelta forzata, l'introduzione dell'astensione nelle preferenze rivelate o l'uso dell'orientamento tramite prompt di sistema non riescono a risolvere in modo affidabile tale discrepanza.

Autori originali: Pranav Mahajan, Ihor Kendiukhov, Syed Hussain, Lydia Nottingham

Pubblicato 2026-05-14

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Pranav Mahajan, Ihor Kendiukhov, Syed Hussain, Lydia Nottingham

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di comprendere la personalità di un nuovo amico. Hai due modi per farlo:

Chiedergli direttamente: "Valuti l'onestà più della gentilezza?" (Questa è la sua Preferenza Dichiarata).
Osservarlo agire: Mettilo in una situazione difficile in cui deve scegliere tra essere onesto o essere gentile, e vedi cosa fa effettivamente (Questa è la sua Preferenza Rivelata).

Nel mondo dell'IA, i ricercatori hanno notato un problema: a volte un'IA dice di amare l'"Onestà", ma quando inserita in una storia complessa, sceglie invece la "Gentilezza". Questa discrepanza è chiamata Divario Dichiarato-Rivelato (SvR).

Questo articolo, intitolato "Mind the Gap", indaga perché questo divario esiste e, cosa più importante, come il modo in cui poniamo le domande cambi la risposta. Considera il "protocollo di elicizione" come le regole del gioco che giochiamo con l'IA.

Ecco cosa hanno scoperto i ricercatori, utilizzando semplici analogie:

1. La trappola della "Scelta Obbligatoria" (Il vecchio metodo)

In precedenza, i ricercatori giocavano una partita in cui l'IA era costretta a scegliere una parte. Immagina un arbitro che grida: "Devi scegliere: A o B! Niente discussioni, niente esitazioni!"

Il Problema: Se l'IA è effettivamente incerta, o pensa "Dipende dalla situazione", deve comunque scegliere A o B. È come costringere una persona a scegliere tra "Pizza" e "Insalata" anche se è sazia e non vuole nessuna delle due.
Il Risultato: L'IA sceglie a caso o in base all'ordine delle parole, creando preferenze "finte". Quando i ricercatori hanno confrontato queste scelte finte con ciò che l'IA diceva di valorizzare, la connessione era debole e confusa.

2. Il pulsante "Esci" (Il nuovo metodo per le Preferenze Dichiarate)

I ricercatori hanno provato una nuova regola per la parte "Chiedigli direttamente". Hanno detto: "Puoi scegliere A, B, oppure puoi dire 'Non mi importa' o 'Dipende'."

L'Analogia: Immagina di chiedere a un amico: "Preferisci il caffè o il tè?", ma permettendogli di dire: "Non bevo bevande calde", oppure "Dipende dall'ora del giorno".
Il Risultato: Questo ha funzionato come un filtro. Ha rimosso i "segnali deboli" (le ipotesi o le scelte casuali dell'IA). Quando i ricercatori hanno guardato solo i momenti in cui l'IA ha scelto fortemente una parte, le sue preferenze dichiarate corrispondevano molto meglio al suo comportamento effettivo. Il "divario" si è ridotto significativamente.

3. Il problema dei "Troppi Esci" (Il nuovo metodo per le Preferenze Rivelate)

Poi, hanno provato a permettere all'IA di dire "Dipende" durante gli scenari difficili (le preferenze rivelate).

L'Analogia: Ora, immagina di mettere il tuo amico in una crisi reale e di dire: "Puoi scegliere l'Azione A, l'Azione B, o semplicemente dire 'Non lo so'".
Il Risultato: L'IA ha iniziato a dire "Dipende" o "Uguale" quasi tutto il tempo! Era come uno studente che, quando gli viene dato un test difficile, scrive semplicemente "Non sono sicuro" su ogni risposta.
La Conseguenza: Poiché l'IA rifiutava così spesso di prendere una decisione ferma, i ricercatori non sono riusciti a costruire una classificazione chiara di ciò che l'IA valorizzava realmente. La connessione tra ciò che dicevano e ciò che facevano è scomparsa (è scesa a quasi zero o addirittura negativa).

4. L'esperimento del "Manuale di Istruzioni" (Guida dei Prompt)

Infine, i ricercatori hanno provato a "correggere" il comportamento dell'IA fornendole un foglio di trucchi. Prima degli scenari difficili, hanno detto all'IA: "Ecco la tua lista di valori che hai detto di apprezzare. Ti prego di seguire questa lista rigorosamente."

L'Analogia: È come dire a un pilota: "Ricorda, hai detto di amare la sicurezza, quindi guida in modo sicuro!" proprio prima di una gara.
Il Risultato: Non ha funzionato in modo affidabile. Per alcune IA, ha aiutato un po'. Per altre (come la famiglia "Claude"), ha effettivamente peggiorato le cose. L'IA sembrava ignorare il foglio di trucchi o confondersi al suo riguardo. I ricercatori hanno scoperto che questo trucco del "manuale di istruzioni" funziona per liste brevi di valori ma fallisce miseramente quando la lista è lunga (16 valori diversi).

La Grande Lezione

La lezione principale di questo articolo è che il modo in cui poni la domanda cambia la risposta.

Se costringi un'IA a scegliere quando è incerta, ottieni dati rumorosi e falsi.
Se permetti a un'IA di dire "Non lo so" troppo spesso, non ottieni alcun dato.
Dire semplicemente a un'IA di "seguire le proprie regole" non risolve il problema in modo affidabile.

Gli autori concludono che per comprendere davvero i valori dell'IA, abbiamo bisogno di metodi che riconoscano che a volte l'IA (proprio come un umano) non ha genuinamente una preferenza chiara, e dobbiamo progettare i nostri test per gestire questa incertezza piuttosto che forzare una scelta o ignorarla.

Riepilogo Tecnico: Attenzione al Divario: Come i Protocolli di Elicitazione Modellano il Divario tra Preferenze Dichiarate e Rivelate nei Modelli Linguistici

1. Enunciato del Problema

La letteratura recente ha identificato un divario tra preferenze dichiarate e rivelate (SvR) nei grandi modelli linguistici (LLM): una discrepanza tra i valori che i modelli sostengono esplicitamente in contesti astratti e le scelte che compiono in scenari contestualizzati (Gu et al., 2025; Liu et al., 2025; Chiu et al., 2025). Le valutazioni esistenti di questo divario si basano pesantemente su prompting a scelta forzata binaria. Questa metodologia collassa l'intensità della preferenza, l'indifferenza e l'incertezza in un singolo esito binario, potenzialmente confondendo preferenze genuine con artefatti del protocollo di elicitazione (Khan et al., 2025; Balepur et al., 2025). Il problema centrale affrontato è se la correlazione SvR misurata rifletta un vero allineamento del modello o sia semplicemente un sottoprodotto del forzare i modelli a compiere scelte decisive quando potrebbero detenere preferenze indeterminate.

2. Metodologia

Gli autori valutano sistematicamente come i protocolli di elicitazione influenzino la correlazione SvR attraverso 24 modelli linguistici. Lo studio si basa sul framework LitmusValues e sul dataset AIRiskDilemmas (Chiu et al., 2025), estendendo la metodologia per permettere esplicitamente neutralità e astensione.

Protocolli di Elicitazione:
- Scelta Forzata: I modelli devono selezionare uno dei due valori o azioni.
- Scelta Estesa: I modelli possono inoltre rispondere con "Preferenza Uguale" o "Dipende", permettendo l'espressione di indifferenza o incertezza contestuale.
Impostazioni di Elicitazione:
- Preferenze Dichiarate: Elicitate tramite confronti di valori a coppie astratti (16 Valori AI Condivisi).
- Preferenze Rivelate: Elicitate utilizzando 3.000 dilemmi morali contestualizzati da AIRiskDilemmas.
Costruzione del Ranking:
- I ranking dichiarati sono derivati dai tassi di vittoria su confronti binari decisivi.
- I ranking rivelati utilizzano punteggi Elo (convertiti in una scala 1–16) basati su vittorie/sconfitte attraverso i dilemmi.
- Scelta Metodologica Cruciale: Le risposte neutrali (Uguale/Dipende) sono escluse dalla costruzione del ranking per isolare priorità direzionali strette. Questa esclusione è necessaria per creare ranking densi richiesti per la correlazione di rango di Spearman, ma ha implicazioni significative per i risultati.
Intervento: Lo studio testa la guida del prompt di sistema, dove la gerarchia di valori dichiarata dal modello stesso (derivata dall'elicitazione a scelta estesa) viene preposta al prompt di sistema durante l'elicitazione delle preferenze rivelate per verificare se riduce il divario SvR.
Metriche: La correlazione SvR è misurata utilizzando la correlazione di rango di Spearman ( $\rho$ ) tra i ranking dichiarati e rivelati 1–16.

3. Risultati Chiave

A. I Tassi di Neutralità sono Elevati e Variabili
Sotto l'elicitazione a scelta estesa, i tassi di neutralità (risposte di "Preferenza Uguale" o "Dipende") variano significativamente per famiglia di modelli e modalità di elicitazione.

Nell'elicitazione delle preferenze dichiarate, la neutralità varia dal 48,2% al 100% (ad esempio, Qwen-3-8B seleziona prevalentemente "Dipende").
Nell'elicitazione delle preferenze rivelate, alcuni modelli (ad esempio, varianti di Mistral-3-8B) selezionano risposte neutrali in quasi tutti gli scenari, mentre altri (ad esempio, Gemma-3-4B) selezionano "Preferenza Uguale" in circa il 70% dei casi.
Ciò indica che i confronti binari forzati mascherano frequentemente incertezza o indifferenza sottostanti.

B. Impatto del Protocollo sulla Correlazione SvR
Lo studio valuta tre configurazioni:

Forzato–Forzato (Baseline): Riproducendo Chiu et al. (2025), questo mostra una sostanziale varianza cross-modello nella correlazione SvR, indicando sensibilità ai modelli specifici di decisione.
Dichiarato Esteso / Rivelato Forzato: Permettere la neutralità solo nelle preferenze dichiarate (filtrando i confronti deboli) produce un aumento marcato della correlazione SvR. Ad esempio, LLaMA-3.1-405B-Instruct migliora da $\rho \approx 0,2$ a $\rho \approx 0,7$ . In questa condizione, la correlazione SvR è positivamente associata alla capacità del modello (Indice delle Capacità Epocali).
Esteso–Esteso: Permettere la neutralità in entrambe le preferenze dichiarate e rivelate fa crollare la correlazione SvR a valori vicini allo zero o negativi per molti modelli. Ciò accade perché alti tassi di neutralità nelle preferenze rivelate impediscono la costruzione di un ranking denso e stabile; le scelte binarie residue forniscono un segnale troppo debole per il confronto basato sulla correlazione.

C. La Guida del Prompt di Sistema è Inaffidabile
L'applicazione della guida del prompt di sistema (iniettando la gerarchia dichiarata del modello nella finestra di contesto) durante l'elicitazione delle preferenze rivelate non migliora in modo affidabile la correlazione SvR nel dominio dei 16 valori.

Gli effetti sono incoerenti: mentre un piccolo sottoinsieme di modelli mostra un miglioramento modesto, molti (inclusa la famiglia Claude) esibiscono una correlazione ridotta dopo la guida.
Ciò si allinea con precedenti scoperte secondo cui la guida del prompt è più efficace per piccoli insiemi di valori (ad esempio, 3 valori) rispetto a quelli più grandi (Liu et al., 2025). Con 16 valori, la guida spesso introduce interferenze che degradano la coerenza decisionale.

4. Contributi Chiave

Sensibilità al Protocollo: Dimostra che la correlazione SvR è altamente dipendente dal protocollo. La scelta di permettere o non permettere la neutralità altera fondamentalmente l'allineamento misurato.
Filtraggio dei Segnali Deboli: Mostra che permettere ai modelli di esprimere neutralità nelle preferenze dichiarate filtra i confronti indeterminati, producendo ranking che correlano più fortemente con il comportamento rivelato a scelta forzata.
Limiti della Guida: Fornisce prove che la semplice guida del prompt di sistema è insufficiente a colmare il divario SvR in grandi domini di valori (16 valori) e può essere dannosa.
Neutralità come Caratteristica: Evidenzia che alti tassi di neutralità nelle preferenze rivelate non sono semplicemente rumore, ma indicano che molti modelli mancano di un ordinamento totale pulito sui valori in scenari contestualizzati.

5. Significato e Affermazioni

Il documento conclude che la correlazione SvR non è una proprietà intrinseca stabile di un modello, ma è pesantemente modellata dal protocollo di elicitazione.

Implicazione Metodologica: La valutazione delle preferenze deve tenere esplicitamente conto di neutralità e indeterminazione piuttosto che forzare scelte binarie che potrebbero creare una decisività artificiale.
Implicazione per l'Allineamento: Colmare il divario SvR richiede probabilmente interventi più forti della semplice guida del prompt di sistema con valori dichiarati, specialmente quando sono in gioco molti valori.
Interpretazione della Neutralità: Gli alti tassi di "Dipende" e "Preferenza Uguale" negli scenari rivelati suggeriscono che molti modelli non possiedono una gerarchia di valori rigida e indipendente dal contesto, sfidando l'assunzione di un singolo "sistema di valori" stabile che possa essere facilmente guidato.

Gli autori sottolineano che le loro scoperte suggeriscono la necessità di metodi di valutazione che non scartino la neutralità ma la modellino, poiché forzare un ordinamento totale su preferenze indeterminate può produrre metriche di allineamento fuorvianti.