Nondistortionary belief elicitation

1. Il Problema

La ricerca affronta una sfida fondamentale nella progettazione sperimentale: come un ricercatore può incentivare un soggetto a rivelare in modo veritiero le proprie credenze (belief) su un'azione scelta in un problema decisionale, senza distorcere le incentivi che governano la scelta dell'azione stessa.

In molti esperimenti (es. test a scelta multipla, stime di probabilità, misure di incertezza cognitiva), i ricercatori chiedono ai soggetti di riportare la probabilità che la loro scelta sia corretta o il livello di fiducia. Se il meccanismo di pagamento per la rivelazione della credenza dipende dall'azione scelta, il soggetto potrebbe essere indotto a scegliere un'azione sub-ottimale nel problema decisionale originale solo per massimizzare il pagamento nella fase di elicizione delle credenze.

L'obiettivo è identificare le condizioni necessarie e sufficienti affinché esista un meccanismo di pagamento che renda:

1. Veritiera la rivelazione: La segnalazione dell'aspettativa soggettiva sia l'unica strategia ottimale nella fase di elicizione.
2. Non distorta la scelta: L'insieme delle azioni ottimali nel problema combinato (decisione + elicizione) rimanga identico a quello del problema decisionale originale.

2. Metodologia e Modello

Gli autori formalizzano il problema combinando un problema decisionale generale con una fase di elicizione delle credenze.

• Struttura del Problema:

  • Un soggetto sceglie un'azione $a$ da un insieme finito $A$.
  • Lo stato del mondo $\theta$ appartiene a un insieme finito $\Theta$.
  • La funzione di utilità è $u(a; \theta)$.
  • Dopo la scelta, il ricercatore pone una domanda $X(a; \theta)$, che rappresenta la quantità che il soggetto deve stimare (es. probabilità che $a$ sia ottimale, valore atteso, ecc.).
  • Il soggetto riporta un numero $r$ e riceve un pagamento $V(r, a, \theta)$.

• Definizione di Incentivizzabilità:
  Una domanda $X$ è "incentivizzabile" se esiste un metodo di pagamento $V$ tale che, per ogni credenza $p$ del soggetto:
  $$\arg\max_{(r,a)} E_p V(r, a, \cdot) = \{ (E_p X(a; \cdot), a) : a \in \arg\max_{a'} E_p u(a'; \cdot) \}$$
  In altre parole, il soggetto sceglie l'azione che massimizza l'utilità attesa originale e riporta veritieramente l'aspettativa di $X$.

• Strumento Chiave: Il Grafo di Adiacenza
  Il cuore dell'analisi è il grafo di adiacenza, dove i nodi sono le azioni e un arco collega due azioni $a$ e $b$ se esiste una credenza $p$ in cui entrambe sono ottimali e nessun'altra azione lo è. La struttura di questo grafo determina quali domande possono essere incentivate senza distorsioni.

3. Contributi Chiave e Risultati

A. Condizione di Allineamento (Alignment)

Gli autori introducono il concetto di allineamento tra la domanda $X$ e l'utilità $u$. Una domanda è allineata se può essere trasformata in $u(a) + d(\theta)$ tramite una trasformazione affine invertibile (scalatura e traslazione) che può dipendere dall'azione $a$.

• Risultato: Se $X$ è allineata con $u$, è sempre incentivizzabile.
• Meccanismo: Si utilizza una variante del meccanismo Becker-DeGroot-Marschak (BDM). Normalizzando $X$ nell'intervallo $[0,1]$, si può creare un pagamento monotono rispetto all'aspettativa di $X$. Se $X$ è allineata a $u$, massimizzare il pagamento del BDM equivale a massimizzare l'utilità attesa originale.

B. Il Lemma di Adiacenza (Necessità)

Per domande non allineate globalmente, gli autori derivano una condizione necessaria basata sul grafo di adiacenza.

• Lemma: Se $X$ è incentivizzabile, allora per ogni coppia di azioni adiacenti $(a, b)$, la domanda $X$ deve essere "allineata localmente" su quella coppia. Matematicamente, i vettori delle domande $\bar{X}(a)$ e $\bar{X}(b)$ devono soddisfare una relazione lineare specifica con la differenza di utilità $\Delta^b_a$.
• Questo lemma impone vincoli stringenti: se il grafo di adiacenza ha molte connessioni (cicli), i vincoli diventano più forti.

C. Caratterizzazione in Tre Classi Canoniche

Gli autori classificano completamente le domande incentivizzabili in base alla struttura del grafo di adiacenza:

1. Grafo ad Albero (Adjacency Trees):

   • Contesto: Problemi con stati e azioni ordinati (es. stima di una probabilità con perdita quadratica).
   • Risultato: È sufficiente che la domanda sia allineata a pezzi (piecewise aligned). Cioè, deve essere allineata con $u$ su ogni coppia di azioni adiacenti, ma i parametri di allineamento possono variare tra coppie diverse.
   • Implicazione: È possibile elicita credenze più flessibili (es. incertezza cognitiva) senza distorsioni in questi contesti.

2. Adiacenza Completa (Complete Adjacency):

   • Contesto: Problemi dove ogni coppia di azioni può essere ottimale per qualche credenza (es. scelta multipla classica dove si deve indovinare lo stato esatto).
   • Risultato: È necessario e sufficiente che la domanda sia globalmente allineata con $u$.
   • Implicazione: Domande comuni come "Qual è la probabilità che la tua risposta sia corretta?" (che non è allineata con l'utilità in problemi complessi) non sono incentivizzabili senza distorsioni. Il soggetto potrebbe scegliere una risposta sbagliata per manipolare la probabilità riportata.

3. Problemi Prodotto (Product Problems):

   • Contesto: Sequenze di task indipendenti (es. un test con molte domande, dove il pagamento è la somma dei punteggi).
   • Risultato: Le domande incentivizzabili sono quelle allineate pesate (weighted aligned). La domanda deve essere una combinazione lineare delle utilità dei singoli task, ma i pesi possono variare tra i task.
   • Implicazione: È possibile elicita la "miglioramento atteso" tra due parti di un test, ma non la probabilità di superare una soglia fissa di punteggio totale (che crea incentivi distorti per manipolare la varianza del punteggio).

4. Significato e Implicazioni Pratiche

• Ridefinizione delle Misure di Fiducia: Il paper suggerisce che molte misure di "fiducia" o "incertezza cognitiva" utilizzate nella letteratura sperimentale (come la probabilità che la scelta sia corretta) sono intrinsecamente distorsive in molti contesti. I ricercatori dovrebbero invece chiedere misure allineate, come il rimorso atteso (expected regret) o il payoff atteso, che sono sempre incentivizzabili.
• Progettazione Sperimentale: Fornisce una guida pratica per progettare esperimenti. Se un ricercatore vuole elicita una specifica statistica, deve verificare se questa soddisfa le condizioni di allineamento rispetto alla struttura del grafo di adiacenza del suo compito.
• Limiti della Elicizione: Dimostra che non è possibile elicita arbitrariamente qualsiasi proprietà della credenza (come la probabilità di superare una soglia) senza alterare il comportamento nel compito principale, a meno che non si usino meccanismi complessi che richiedono la segnalazione dell'intera distribuzione di probabilità (spesso impraticabile).
• Meccanismo BDM: Conferma e generalizza l'uso del meccanismo BDM come strumento robusto per l'elicizione non distorta, purché la domanda sia strutturata correttamente.

In sintesi, Pęski e Stewart forniscono una mappa matematica rigorosa che delimita cosa è possibile chiedere ai soggetti in un esperimento senza corrompere i dati comportamentali, spostando il focus da domande intuitive ma distorsive a domande strutturalmente compatibili con l'incentivizzazione.