When Is Generalized Bayes Bayesian? A Decision-Theoretic Characterization of Loss-Based Updating

Sintesi Tecnica: "Quando il Bayes Generalizzato è Bayesiano? Una Caratterizzazione Decision-Teoretica dell'Aggiornamento Basato su Perdita"

Enunciato del Problema

La letteratura sul "Bayes generalizzato" (inclusi i posteriori di Gibbs, i quasi-posteriori e l'aggiornamento basato su perdita) è cresciuta significativamente, offrendo un quadro per aggiornare le distribuzioni esponenziando la perdita cumulativa anziché le verosimiglianze. Sebbene questi metodi siano ampiamente utilizzati nell'inferenza robusta, nell'econometria e nei problemi inversi, la terminologia "posteriore" crea un'ambiguità operativa. I posteriori bayesiani standard rappresentano credenze condizionali derivate da un modello di probabilità congiunta (framework Savage/Anscombe-Aumann), che supportano interpretazioni specifiche come le quote di scommessa e l'uso evidenziale delle verosimiglianze marginali. Al contrario, gli aggiornamenti basati su perdita sono spesso guidati da funzioni di perdita scelte dall'utente senza un modello di campionamento sottostante. Il saggio affronta la domanda critica: In quali condizioni un aggiornamento basato su perdita mantiene le proprietà di coerenza di un posteriore di credenza bayesiano, e quando deve essere interpretato strettamente come un oggetto decisionale?

Metodologia e Framework

Gli autori impiegano un approccio decision-teoretico per distinguere tra due oggetti distinti spesso confusi nella letteratura:

1. Posteriori di Credenza: Credenze condizionali su stati incerti derivate da preferenze su atti, che soddisfano assiomi di coerenza dinamica (Savage, 1954; Anscombe e Aumann, 1963).
2. Posteriori Decisionali: Regole decisionali casualizzate (distribuzioni su azioni/parametri) scelte per ottimizzare un funzionale di preferenza dopo l'osservazione dei dati.

Il saggio formalizza l'aggiornamento basato su perdita come un operatore $\Psi$ che mappa una distribuzione di base $\pi$ e una perdita cumulativa $L_n$ in una regola $q(\cdot|x)$. L'analisi si basa su assiomi riguardanti la coerenza sequenziale (batching), la separabilità tra sottoproblemi indipendenti e la struttura delle preferenze sulle regole casualizzate.

Contributi Chiave e Risultati

1. Il Divisore di Equivalenza Bayesiana (Teorema 1)
Il saggio stabilisce una condizione necessaria e sufficiente stringente affinché un posteriore bayesiano generalizzato sia interpretabile come un ordinario posteriore di credenza bayesiano.

• Risultato: Un posteriore basato su perdita $q(\theta|x) \propto \pi(\theta)\exp\{-\eta \ell(\theta; x)\}$ coincide con un posteriore bayesiano derivato da un modello congiunto se e solo se la funzione di perdita $\ell(\theta; x)$ è, salvo per un termine dipendente solo dai dati $c(x)$ e un fattore di scala, il negativo del logaritmo della verosimiglianza:
  $$\ell(\theta; x) = -\frac{1}{\eta} \log p_\theta(x) + c(x)$$
• Implicazione: Se la perdita non è il negativo del logaritmo della verosimiglianza (ad esempio, perdite basate su funzioni di criterio in econometria), la distribuzione risultante non può essere interpretata come uno stato di credenza condizionale. Deve essere trattata come un posteriore decisionale. Il saggio fornisce un diagnostico (Corollario 1) basato sulla "funzione partizione" $A(\theta) = \int \exp\{-\eta \ell(\theta; x)\} d\mu(x)$; se $A(\theta)$ dipende da $\theta$, l'aggiornamento non è bayesiano.

2. Fondamento Decision-Teoretico per il Bayes Generalizzato (Corollario 2)
Per i casi in cui la perdita non è il logaritmo della verosimiglianza, il saggio fornisce una caratterizzazione positiva del Bayes generalizzato come una regola decisionale casualizzata ottimale.

• Metodologia: Gli autori assumono che un decisore ottimizzi un funzionale variazionale scambiando la perdita attesa con un costo di deviazione dalla base $\pi$.
• Assioma Chiave: Separabilità tra sottoproblemi indipendenti (Assioma A4). Se lo spazio delle azioni e la base si fattorizzano e le perdite sono additive, la regola ottimale deve fattorizzarsi.
• Risultato: Sotto coerenza sequenziale e separabilità, l'unico costo di deviazione che soddisfa tali assiomi è la divergenza di Kullback-Leibler (KL) (salvo scala). Di conseguenza, la regola ottimale è la forma Bayes generalizzata (Gibbs):
  $$q^*(\cdot|x) = \arg\min_{q} \left\{ \int \ell(\theta; x) q(d\theta) + \frac{1}{\eta} D_{KL}(q \parallel \pi) \right\}$$
• Significato: Ciò giustifica il Bayes generalizzato non come "Bayes senza un modello", ma come la regola ottimale per un decisore con specifiche preferenze sulle regole casualizzate, dove il tasso di apprendimento $\eta$ è un parametro strutturale della specifica delle preferenze, non una proprietà fissa di una verosimiglianza.

3. Non-Canonicità della Verosimiglianza Marginale e dei Fattori di Bayes (Sezione 4)
Il saggio dimostra che la "verosimiglianza marginale generalizzata" (la costante di normalizzazione $Z(x)$ del posteriore di Gibbs) non è una quantità evidenziale canonica al di fuori del regime dei posteriori di credenza.

• Risultato: Il posteriore decisionale $q(\cdot|x)$ è invariante rispetto all'aggiunta di qualsiasi termine dipendente solo dai dati $c(x)$ alla perdita. Tuttavia, la costante di normalizzazione $Z(x)$ si riscala per $e^{-\eta c(x)}$.
• Implicazione: I fattori di Bayes costruiti a partire da verosimiglianze marginali generalizzate sono mal definiti senza una struttura aggiuntiva, poiché dipendono da convenzioni arbitrarie (ad esempio, la centratura delle verosimiglianze empiriche). Il saggio propone lo scoring predittivo shift-invariante (ad esempio, la densità predittiva logaritmica prequenziale) come l'alternativa canonica per il confronto tra modelli nel regime dei posteriori decisionali.

4. Degenerazione delle Preferenze Lineari (Sezione 5)
Il saggio affronta l'interpretazione della casualizzazione nei posteriori basati su perdita.

• Risultato: Se le preferenze sulle regole decisionali casualizzate soddisfano il classico assioma di indipendenza di von Neumann-Morgenstern (vNM), la regola ottimale collassa in una massa puntiforme (degenerata) sulla migliore azione pura.
• Implicazione: I posteriori generalizzati non degeneri (che sono comuni nella pratica) richiedono preferenze non lineari sulle regole decisionali (ad esempio, penalità di entropia). La casualizzazione non è solo un meccanismo di risoluzione di legami (tie-breaking), ma una caratteristica strutturale delle preferenze di rischio/regolarizzazione del decisore.

Significatività e "Libro della Coerenza"

Il saggio conclude fornendo un "libro della coerenza" (Tabella 1) che elenca quali proprietà bayesiane sopravvivono nel regime del posteriore decisionale e quali no:

• Posteriori di Credenza: Supportano lo scambioabilità, il principio di verosimiglianza e le verosimiglianze marginali ben definite.
• Posteriori Decisionali: Supportano la coerenza sequenziale (consistenza dell'operatore) e l'ottimalità sotto una perdita specificata, ma non supportano lo scambioabilità come vincolo di credenza, il principio di verosimiglianza o riassunti evidenziali canonici come i fattori di Bayes.

Implicazioni Pratiche:

1. Calibrazione del Tasso di Apprendimento: Nel regime del posteriore decisionale, il tasso di apprendimento $\eta$ non è fissato da un modello probabilistico. È un componente strutturale che deve essere esplicitamente calibrato (ad esempio, tramite bootstrap della verosimiglianza della perdita o selezione del tasso di apprendimento sicuro) per garantire robustezza o copertura.
2. Standard di Reporting: Gli autori raccomandano ai professionisti che utilizzano il Bayes generalizzato di riportare esplicitamente la funzione di perdita, il metodo di calibrazione per $\eta$, l'interpretazione dell'output (credenza vs decisione) e il criterio di confronto del modello utilizzato (favorendo lo scoring predittivo rispetto a $Z(x)$).

Conclusione
Il saggio chiarisce che il Bayes generalizzato è un meccanismo coerente per selezionare regole decisionali casualizzate sotto esplicite specifiche di perdita e di base. Esso recupera l'aggiornamento standard delle credenze bayesiane solo nel caso specifico in cui la perdita sia il negativo del logaritmo della verosimiglianza. Al di fuori di questo caso, il metodo è uno strumento di regolarizzazione decisionale e le sue proprietà (come la mancanza di evidenza canonica) devono essere comprese all'interno di tale quadro piuttosto che attraverso la lente della classica coerenza delle credenze.