Riepilogo Tecnico: Le Preferenze Rivelate Possono Chiarire l'Allineamento e la Guida degli LLM?

Enunciato del Problema

Mentre i Modelli Linguistici di Grande Formato (LLM) passano dal rispondere a domande al supportare decisioni ad alto rischio in condizioni di incertezza (ad esempio, diagnosi mediche), l'allineamento dipende non solo dall'accuratezza fattuale, ma da come i modelli pesano implicitamente i compromessi tra diversi esiti. I metodi di valutazione attuali si basano spesso sull'accuratezza statica o su valutazioni euristico dei pregiudizi, fallendo nel caratterizzare rigorosamente le credenze e le preferenze sottostanti che guidano azioni con conseguenze significative. Nello specifico, rimane poco chiaro se gli LLM si comportino come agenti coerenti orientati a obiettivi, se i loro obiettivi dichiarati corrispondano alle loro effettive politiche decisionali e se le istruzioni esplicite dell'utente (guida) possano alterare in modo affidabile tali politiche.

Metodologia

Gli autori propongono una pipeline empirica fondata sulla teoria della decisione e sull'analisi delle preferenze rivelate per inferire i modelli di utilità impliciti degli LLM. Il quadro concettuale tratta l'LLM come un agente che compie scelte in un problema decisionale statistico e procede in tre fasi:

1. Elicitazione di Credenze e Azioni:

   • Credenze: Per un dato compito decisionale con contesto $x$, il modello viene sollecitato a riportare una distribuzione di probabilità soggettiva $P^E(\theta | x)$ sullo stato latente $\theta$ (ad esempio, la probabilità che un paziente abbia una malattia).
   • Azioni: Il modello viene sollecitato a prendere una decisione $a \in \mathcal{A}$ (ad esempio, diagnosticare, non diagnosticare o rinviare) basandosi sullo stesso contesto.
   • Auto-rapporti: Al modello viene chiesto anche di descrivere verbalmente la funzione di perdita (costi dei falsi positivi, falsi negativi e rinvio) che intende utilizzare, sia globalmente che per casi specifici.

2. Stima della Funzione di Perdita (Preferenze Rivelate):

   • Utilizzando le credenze elicitate e le azioni osservate, gli autori adattano un modello di scelta discreta (nello specifico un modello logit multinomiale) per recuperare i parametri della funzione di perdita $\hat{c}$ che meglio razionalizzano il comportamento osservato.
   • La funzione di perdita è parametrizzata come $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$.
   • L'analisi si concentra sui rapporti tra questi costi (ad esempio, $c_{FN}/c_{FP}$), che sono identificabili anche se la scala assoluta non lo è.

3. Metriche di Valutazione:

   • Coerenza (ILFC): La percentuale di casi in cui la decisione realizzata dal modello corrisponde alla decisione ottimale derivata dalla combinazione delle sue credenze elicitate con la funzione di perdita recuperata.
   • Veridicità: Un confronto tra i rapporti di costo auto-dichiarati dal modello e le stime basate sulle preferenze rivelate.
   • Analisi della Guida: La pipeline verifica se la sollecitazione con specifiche funzioni di costo o probabilità veritiere sposti le preferenze implicite del modello verso l'obiettivo.
   • Predizione Controfattuale: Gli autori simulano un agente razionale utilizzando le credenze e le preferenze recuperate per prevedere il beneficio degli interventi (ad esempio, "Qual sarebbe la riduzione della perdita se correggessimo le credenze del modello?"). Queste previsioni sono confrontate con la effettiva riduzione della perdita realizzata dopo la sollecitazione.

Contributi Chiave

1. Un Quadro per Inferire Utilità Implicite: Il documento introduce una procedura strutturata per elicitar credenze e decisioni separatamente, quindi stimare una funzione di perdita che razionalizzi il comportamento, andando oltre l'accuratezza statica verso un allineamento basato sulla teoria della decisione.
2. Test Rigorosi di Coerenza: Gli autori forniscono un metodo per verificare se i modelli si comportano come agenti coerenti orientati a obiettivi, confrontando le decisioni osservate con la politica ottimale implicata dalle loro stesse credenze e preferenze recuperate.
3. Valutazione dell'Auto-rapporto e della Guida: Il quadro verifica se i modelli possono verbalizzare fedelmente i propri obiettivi e se la sollecitazione può guidare con successo le loro politiche decisionali per implementare funzioni di costo specificate dall'utente.
4. Decomposizione Controfattuale: Gli autori dimostrano come le preferenze rivelate possano prevedere l'efficacia degli interventi, distinguendo tra cambiamenti guidati da aggiornamenti delle credenze rispetto a spostamenti delle preferenze.

Setup Sperimentale e Risultati

La pipeline è stata applicata a quattro domini di diagnosi clinica (malattie cardiache strutturali, diabete, febbre pediatrica e pianto infantile) utilizzando quattro modelli all'avanguardia e open-source (GPT-5 Thinking High/Minimal, DeepSeek R1 671B, Llama-4 Scout 17B).

• Coerenza Interna: I modelli mostrano un grado di coerenza interna "sostanziale ma imperfetta". Quando credenze e preferenze recuperate sono combinate, spiegano una grande parte delle decisioni (ad esempio, fino al 99% di coerenza per GPT-5-High con probabilità vere), significativamente meglio delle preferenze auto-dichiarate.
• Rapporto Fedele: I modelli faticano a descrivere accuratamente la funzione di perdita che spiega le loro decisioni. I rapporti di costo auto-dichiarati spesso divergono significativamente dalle preferenze rivelate (ad esempio, i modelli spesso esagerano il costo dei falsi negativi rispetto ai falsi positivi nei loro resoconti verbali rispetto alle loro scelte effettive).
• Guidabilità:
  • Sollecitazione con Funzione di Costo: Specificare esplicitamente i rapporti di costo nelle sollecitazioni sposta le preferenze implicite nella direzione corretta rispetto alla baseline, ma il movimento è eterogeneo. I modelli spesso sottostimano, sovrastimano o occasionalmente si muovono nella direzione sbagliata.
  • Sollecitazione con Probabilità: Fornire probabilità veritiere non aggiorna semplicemente le credenze mantenendo fisse le preferenze. Al contrario, altera la funzione di costo implicata (preferenze) del modello, suggerendo che le sollecitazioni rivolte a un componente del processo decisionale hanno effetti collaterali sugli altri.
• Validità Controfattuale: La decomposizione basata sulle preferenze rivelate prevede con successo i benefici della sollecitazione con funzione di costo (alta correlazione tra riduzione della perdita prevista e realizzata). Tuttavia, fallisce nel prevedere i benefici della sollecitazione probabilistica a meno che non venga anche tenuto conto del cambiamento nella funzione di costo implicata.

Significato e Affermazioni

Il documento afferma che le preferenze rivelate offrono uno strumento più preciso e rigoroso per valutare la trasparenza e la guidabilità del processo decisionale degli LLM rispetto ai metodi euristici attuali.

• Limiti dell'Auto-rapporto: I risultati suggeriscono che gli obiettivi verbalizzati sono descrizioni inaffidabili delle politiche decisionali operative. Fare affidamento sugli auto-rapporti per la verifica dell'allineamento è insufficiente.
• Sfide nella Guida: Sebbene i modelli possano essere guidati, non adottano fedelmente gli obiettivi specificati dall'utente. La natura "scatola nera" dei loro compromessi interni significa che, anche con istruzioni esplicite, i modelli potrebbero non implementare la funzione di costo desiderata, e la sollecitazione può indurre spostamenti non intenzionali nelle preferenze.
• Utilità del Quadro: La metodologia proposta permette ai ricercatori di attribuire gli errori decisionali sia a errori di credenza fattuale sia a preferenze non allineate, fornendo un modo strutturato per diagnosticare e potenzialmente migliorare l'allineamento dell'IA in domini ad alto rischio.

Gli autori sottolineano che le loro tecniche descrivono comportamenti osservabili all'interno di un quadro a scatola nera e non affermano di rivelare meccanismi interni, ma forniscono una base per passare da affermazioni informali sulla ricerca di obiettivi a fondamenti empiricamente verificabili.