Sintesi Tecnica: Inferire la Disponibilità a Pagare dalle Scelte Soggettive nei Grandi Modelli Linguistici

Problema

Man mano che i Grandi Modelli Linguistici (LLM) vengono sempre più impiegati come agenti autonomi in domini quali l'assistenza ai viaggi e il supporto agli acquisti, essi sono frequentemente richiesti di prendere decisioni soggettive dove non esiste una risposta oggettivamente corretta. Una lacuna critica nella ricerca attuale è comprendere se questi modelli possiedano confini decisionali robusti e interpretabili e quanto questi confini siano suscettibili di manipolazione tramite l'ingegneria dei prompt o il contesto dell'utente. Nello specifico, rimane poco chiaro fino a che punto gli LLM possano esibire preferenze latenti coerenti che possano essere quantificate e confrontate con i benchmark economici umani, e se tali preferenze possano essere sistematicamente spostate da semplici variazioni del prompt.

Metodologia

Lo studio adotta un quadro economico basato sulla modellazione della scelta discreta per inferire le preferenze latenti dal comportamento degli LLM. La metodologia procede attraverso le seguenti fasi:

1. Generazione dei Dilemmi: Gli autori hanno costruito 240 dilemmi di scelta basati su uno studio precedente di Masiero et al. (2015) riguardante la selezione di camere d'albergo. Ogni dilemma presenta due alternative (A e B) definite da sette attributi: Vista, Piano, Accesso al Club dell'Hotel, Mini Bar Gratuito, Smartphone per l'Ospite, Politica di Cancellazione e Prezzo per notte.
2. Design Sperimentale: Lo studio valuta tre LLM allo stato dell'arte: Llama 3.3 70B, GPT-4o e Gemini-3.1-Pro. I modelli più piccoli sono stati esclusi a causa della scarsa capacità esplicativa e dei bias sistematici. Gli esperimenti sono stati condotti con una temperatura di 0 per minimizzare il rumore stocastico, sebbene siano stati eseguiti controlli di robustezza a 0.7.
3. Strategie di Prompting: Gli autori hanno testato quattro diverse configurazioni di prompting per valutare l'Ipotesi 2 (Spostamenti guidati dal contesto):
   • Baseline: Nessuna informazione utente fornita.
   • In-Context Learning (ICL): Fornire esempi di scelte passate dell'utente (ad esempio, scegliere costantemente opzioni più economiche o più costose).
   • Persona Prompting: Assegnare un profilo utente specifico (ad esempio, uno studente attento al budget rispetto a un viaggiatore d'affari pagato dall'azienda).
   • Combinata: Una combinazione di persona ed esempi ICL.
4. Modellazione dei Dati: Le scelte simulate sono state analizzate utilizzando modelli logit multinomiali. La funzione di utilità è stata definita come $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$. Dai coefficienti stimati ($\beta$), gli autori hanno derivato i valori di Disponibilità a Pagare (WTP) per ogni attributo utilizzando la formula: $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$.
5. Analisi di Robustezza: Lo studio ha incluso estesi controlli per il bias di ordine (scambio delle alternative A e B), parafrasi del prompt, conversione di valuta (HKD vs USD) e variazioni di temperatura.

Contributi Chiave

Il documento apporta quattro contributi primari alla letteratura sull'elicitazione delle preferenze tramite IA:

• Quantificazione delle Preferenze degli LLM: Dimostra che per i modelli più grandi possono essere derivati stimi di WTP significativi ed economicamente interpretabili, fornendo una visione strutturata delle tendenze decisionali del modello che va oltre le metriche di accuratezza standard.
• Sensibilità al Contesto: Dimostra empiricamente che il comportamento decisionale degli LLM è altamente malleabile. L'inclusione di un contesto specifico dell'utente (scelte passate o persona) induce spostamenti sistematici e direzionali nei valori WTP, spesso amplificandoli significativamente.
• Fragilità del Prompt: Lo studio evidenzia che i valori WTP sono sensibili ai cambiamenti di rappresentazione, inclusi la lunghezza del prompt, la formulazione dell'attributo (positiva vs neutra), l'ordine di presentazione e la valuta.
• Identificazione dei Casi di Rottura: Gli autori identificano scenari specifici in cui la stima della WTP fallisce, come quando i modelli esibiscono un estremo bias di ordine, aderiscono a rigidi confini decisionali basati su regole (ignorando i compromessi) o producono valori WTP negativi a causa di coefficienti di prezzo positivi.

Risultati Chiave

Emergenza delle Preferenze Strutturali (Ipotesi 1)

I modelli più grandi (Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro) esibiscono generalmente stime WTP interpretabili con alti valori di pseudo-$R^2$, indicando che le loro scelte possono essere razionalizzate da un modello di scelta discreta standard. Tuttavia, sono state osservate deviazioni sistematiche dai benchmark umani (Masiero et al., 2015):

• Sottovalutazione: I modelli hanno generalmente assegnato una WTP inferiore per gli attributi "Vista" e "Piano" rispetto ai partecipanti umani.
• Sovrastima: I modelli hanno costantemente sovrastimato l' "Accesso al Club dell'Hotel", con stime che vanno da 2x a 4x superiori ai benchmark umani.
• Varianza tra i Modelli: GPT-4o e Gemini-3.1-Pro hanno generalmente mostrato una maggiore capacità esplicativa ($R^2$) rispetto a Llama 3.3 70B, sebbene tutti i modelli abbiano mostrato un certo grado di bias di ordine.

Spostamenti di Valore Guidati dal Contesto (Ipotesi 2)

Fornire il contesto dell'utente ha alterato significativamente le stime WTP:

• Spostamenti verso l'Alto: Condizionare i modelli a preferenze "costose" (tramite esempi ICL di scelte ad alto costo o una persona "business") ha portato a drammatici aumenti della Wity. Ad esempio, aggiungere tre esempi costosi ha aumentato la WTP per l' "Accesso al Club" per fattori di 6.4x (Llama), 8.5x (GPT-4o) e 10.07x (Gemini) rispetto alla baseline.
• Spostamenti verso il Basso: Condizionare sui "economici" (persona studentesco o esempi economici) ha generalmente abbassato la WTP. In casi estremi (Gemini-3.1-Pro con una persona studentesca), il modello è collassato a una regola decisionale a singolo attributo, selezionando la stanza al prezzo più basso indipendentemente da altre caratteristiche, rendendo impossibile la stima della WTP.
• Effetti di Interazione: Combinare le persone con gli esempi ICL ha spesso amplificato questi effetti, portando a valutazioni più estreme per la persona business e valutazioni più realistiche (sebbene ancora spostate) per la persona studentesca in Llama 3.3 70B.

Spostamenti Dipendenti dal Prompt (Ipotesi 3)

Lo studio ha confermato che i valori WTP non sono stabili attraverso le variazioni del prompt:

• Sensibilità alla Formulazione: Accorciare la descrizione di "Accesso al Club" ha ridotto la sua WTP di circa il 50%, mentre espandere la descrizione di "Vista" ha raddoppiato o quadruplicato la sua WTP a seconda del modello.
• Bias di Ordine: Sebbene ridotto nei modelli più grandi rispetto a quelli più piccoli, il bias di ordine persiste, con le costanti specifiche per l'alternativa che rimangono statisticamente significative.
• Valuta e Temperatura: I modelli hanno mostrato una relativa robustezza ai cambiamenti di valuta (USD vs HKD) e alle variazioni di temperatura (0 vs 0.7), sebbene Llama 3.3 70B abbia esibito una maggiore varianza rispetto a Gemini-3.1-Pro.

Significato e Implicazioni Pratiche

Il documento conclude che, sebbene i grandi LLM possano generare valori WTP interpretabili, non sono ottimizzatori di preferenze autonomi e affidabili per il processo decisionale soggettivo senza salvaguardie. La significatività di queste scoperte risiede nelle seguenti implicazioni pratiche:

1. Trasparenza e Audit: La metodologia proposta offre uno strumento per sottoporre a audit il comportamento decisionale degli LLM, rivelando se le raccomandazioni sono guidate da preferenze di attributi o da euristiche come il bias di ordine.
2. Selezione del Modello: I professioni dovrebbero evitare l'uso di modelli più piccoli per il supporto decisionale soggettivo a causa della loro suscettibilità al bias di ordine e alla bassa capacità esplicativa. Anche i modelli più grandi richiedono un monitoraggio attento.
3. Gestione del Contesto: L'aggiunta di informazioni sull'utente (persone o cronologia) deve essere gestita con estrema cautela, poiché può indurre comportamenti di valutazione estremi che divergono significativamente dalle norme umane.
4. Vulnerabilità alla Formulazione: La sensibilità alla formulazione positiva suggerisce che gli assistenti basati su LLM possono essere manipolati dai fornitori per sovrastimare specifiche caratteristiche. I sistemi devono essere "protetti" contro tale formulazione.
5. Human-in-the-Loop: Date le identificate situazioni di rottura (ad esempio, WTP negativa, seguito rigido di regole), gli autori si oppongono alla piena autonomia per gli agenti di viaggio LLM. Invece, l'implementazione dovrebbe includere paraventi, randomizzazione dell'ordine e supervisione umana per rilevare compromessi incoerenti.

Lo studio sottolinea che le preferenze derivate dagli LLM dipendono dal modello e sono altamente sensibili al design del prompt, suggerendo che le future implementazioni in contesti agentici devono dare priorità ai controlli di robustezza e ai meccanismi human-in-the-loop rispetto alla delega incontrollata.