The Wisdom of the Crowd and Higher-Order Beliefs

1. Enunciato del Problema

Il paper affronta la sfida fondamentale dell'aggregazione dell'informazione: come un principale (un aggregatore) può inferire il vero stato del mondo ($\omega$) da una popolazione di agenti, ciascuno dotato di segnali privati e rumorosi, senza conoscere la struttura informativa sottostante (ovvero la distribuzione dei segnali, la struttura di correlazione o la prior comune).

• Il Limite delle Credenze di Primo Ordine: La letteratura esistente (ad es. Arieli, Babichenko, & Smorodinsky, 2017) stabilisce che conoscere solo le credenze di primo ordine (le probabilità posteriori degli agenti sullo stato) è generalmente insufficiente per identificare lo stato vero, anche con una popolazione infinita. Questo è un problema di identificazione: stati multipli possono generare la stessa distribuzione di credenze di primo ordine.
• Il Vuoto: La maggior parte dei metodi esistenti (come i Mercati di Previsione o il metodo "Surprisingly Popular") richiede o forti assunzioni (ad es. stati binari, segnali indipendenti) o dati complessi, spesso non fattibili (ad es. credenze condizionate allo stato o probabilità condizionate dei segnali).
• L'Obiettivo: Sviluppare una procedura robusta che aggrega le informazioni per identificare lo stato vero utilizzando solo:
  1. Le credenze di primo ordine degli agenti ($\mu_i$).
  2. Le aspettative degli agenti sulla media della credenza della popolazione (credenze di ordine superiore).
  3. Conoscenza minima della struttura informativa (nessun bisogno di conoscere la prior o la distribuzione dei segnali).

2. Metodologia: Aggregazione Basata sulla Media della Popolazione (PMBA)

Gli autori propongono una procedura innovativa chiamata Aggregazione Basata sulla Media della Popolazione (PMBA). L'intuizione fondamentale si basa sulla Legge delle Aspettative Iterate.

A. Il Meccanismo Fondamentale

Sia $\Omega = \{\omega_1, \dots, \omega_L\}$ l'insieme degli $L$ stati possibili.

1. Elicitazione di Primo Ordine: Il principale raccoglie il vettore di credenze $\mu_i$ da ogni agente $i$. La media empirica $\hat{\mu} = \frac{1}{n}\sum \mu_i$ converge verso la media della popolazione dipendente dallo stato vero $\bar{\mu}(\omega)$.
2. Il Problema di Identificazione: Il principale osserva $\hat{\mu}$ ma non conosce la mappatura dagli stati $\omega$ alle medie attese della popolazione $\bar{\mu}(\omega)$.
3. Elicitazione di Ordine Superiore: Il principale seleziona $L$ agenti (o $L$ gruppi di agenti) e chiede loro la loro aspettativa sulla media delle credenze della popolazione.
   • Sia $\alpha_i = E[\bar{\mu} | s_i]$ l'aspettativa dell'agente $i$ sulla media della popolazione.
   • Per la Legge delle Aspettative Iterate, $\alpha_i$ è una media ponderata delle medie della popolazione dipendenti dallo stato, dove i pesi sono le proprie credenze di primo ordine dell'agente:
     $$\alpha_i = \sum_{\omega \in \Omega} \mu_i(\omega) \cdot \bar{\mu}(\omega)$$
4. Sistema di Equazioni: Se il principale raccoglie questi report da $L$ agenti con vettori di credenze linearmente indipendenti, essi formano un sistema di equazioni lineari:
   $$\mathbf{\alpha} = \mathbf{M} \cdot \mathbf{\bar{\mu}}$$
   Dove $\mathbf{M}$ è la matrice delle credenze di primo ordine e $\mathbf{\bar{\mu}}$ è il vettore delle medie della popolazione dipendenti dallo stato, incognite.
5. Inversione: Poiché $\mathbf{M}$ è invertibile (sotto specifiche condizioni di rango), il principale può risolvere per $\mathbf{\bar{\mu}} = \mathbf{M}^{-1}\mathbf{\alpha}$.
6. Identificazione dello Stato: Il principale confronta la media empirica osservata $\hat{\mu}$ con le medie recuperate dipendenti dallo stato $\bar{\mu}(\omega)$. Lo stato vero è l'$\omega$ per cui $\bar{\mu}(\omega)$ è più vicino a $\hat{\mu}$.

B. Robustezza e Specificazione Errata

Il paper estende il modello per gestire la specificazione errata, dove gli agenti possono avere credenze errate sulla struttura informativa (ad es. fraintendono come gli altri formano le credenze).

• PMBA Approssimata: La procedura viene reinterpretata come un problema di regressione lineare.
  • Variabile Dipendente: Credenza di secondo ordine dell'agente ($\alpha_i$).
  • Variabili Indipendenti: Credenze di primo ordine dell'agente ($\mu_i$).
  • Coefficienti: Le medie della popolazione dipendenti dallo stato, incognite.
• Gestione della Specificazione Errata: Anche se gli agenti hanno visioni distorte della media della popolazione (rumore additivo $\zeta$), la procedura rimane valida purché il bias sia piccolo rispetto alla separazione tra le medie degli stati veri. La Legge dei Grandi Numeri garantisce che la media su grandi gruppi cancelli gli errori individuali di specificazione errata.

3. Contributi Chiave

1. Identificazione Generale senza Struttura: PMBA è la prima procedura a garantire l'identificazione dello stato per $L > 2$ stati finiti senza richiedere conoscenza della struttura dei segnali, della correlazione o della prior comune. Supera il fallimento di identificazione delle sole credenze di primo ordine.
2. Robustezza alla Specificazione Errata: Gli autori dimostrano che la procedura funziona anche quando gli agenti sono "sbagliati" riguardo alla struttura informativa aggregata, purché l'errore aggregato non sia troppo grande. Questo rende il metodo applicabile a scenari reali dove gli agenti hanno modelli cognitivi limitati della folla.
3. Interpretazione di Regressione Lineare: Inquadrando PMBA come una regressione lineare, gli autori sbloccano un secolo di strumenti statistici (intervalli di confidenza, test di ipotesi, limiti di errore su campioni finiti). Questo trasforma un'inversione di matrice teorica in uno strumento statistico pratico e azionabile.
4. Garanzie su Campioni Finiti: Il paper deriva limiti di errore non asintotici, mostrando che l'errore di stima diminuisce al tasso standard $O(1/\sqrt{n})$, dipendente dalla diversità delle credenze e dal livello di rumore.
5. Validazione Sperimentale: Gli autori conducono un esperimento innovativo coinvolgendo la previsione dei prezzi degli NFT (un mercato complesso e incerto).
   • Risultato: PMBA supera significativamente il Voto di Maggioranza (basato su credenze di primo ordine) e il metodo Surprisingly Popular (SP).
   • Significato: SP fatica con più di due stati (limitazione binaria), mentre PMBA gestisce con successo previsioni multi-stato (4 range) con maggiore accuratezza.

4. Risultati

• Teorici:

  • Teorema 1: Sotto deboli condizioni di regolarità (correlazione limitata, rango pieno delle credenze), PMBA recupera lo stato vero in probabilità al tendere di $n \to \infty$.
  • Teorema 3: PMBA recupera lo stato vero quasi certamente anche sotto credenze specificate erroneamente, purché il bias nelle aspettative degli agenti sia inferiore alla distanza tra le medie della popolazione dipendenti dallo stato vero.
  • Proposizione 1: Fornisce garanzie su campioni finiti, stabilendo la dimensione del campione $n$ richiesta per identificare lo stato con probabilità $1-\delta$.

• Empirici (Esperimento NFT):

  • Setup: 199 partecipanti hanno previsto intervalli di prezzo degli NFT (4 stati) e riportato le loro aspettative sulla previsione media del gruppo.
  • Prestazioni:
    • Errore Assoluto Medio (MAE) di PMBA: 1.25
    • MAE Voto di Maggioranza (Primo Ordine): 1.50
    • MAE Voto di Maggioranza (Secondo Ordine): 1.40
    • Surprisingly Popular (SP): Ha faticato a distinguere efficacemente gli stati nell'impostazione a 4 stati; spesso ridotto a distinzioni binarie.
  • Significatività Statistica: La superiorità di PMBA sul voto di maggioranza di primo ordine è statisticamente significativa ($p < 0.05$).

5. Significato e Implicazioni

• Applicabilità Pratica: A differenza dei modelli teorici che richiedono report complessi condizionati allo stato (che gli umani trovano difficili da calcolare), PMBA chiede solo credenze e "cosa pensi che pensi la persona media?"—domande facilmente elicite nei sondaggi.
• Oltre gli Stati Binari: Molti meccanismi esistenti di "saggezza della folla" (come SP) sono limitati a scelte binarie. PMBA generalizza questo a qualsiasi numero finito di stati, rendendolo applicabile a previsioni economiche, politiche e scientifiche complesse.
• Robustezza all'Errore Umano: Il ricorso della procedura alle credenze di ordine superiore le permette di correggere i bias cognitivi individuali e le specificazioni errate, "mediando" efficacemente il rumore nel ragionamento umano.
• Compatibilità Incentivale: Il paper discute come incentivare la segnalazione veritiera utilizzando meccanismi di Siero della Verità Bayesiano, collegando la procedura di aggregazione a regole di pagamento basate sullo stato recuperato e sulle medie della popolazione.

In sintesi, Chen, Mueller-Frank e Pai dimostrano che sfruttando le credenze di ordine superiore (aspettative sulla media della folla), un principale può aggregare completamente informazioni disperse e identificare lo stato vero del mondo, anche senza conoscere la struttura informativa sottostante e anche quando gli agenti sono imperfettamente informati sul comportamento della folla.