From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

Sintesi Tecnica: Da la Regola di Bayes alle Regole di Bayes

Enunciato del Problema
L'inferenza bayesiana standard si basa sulla teoria della probabilità, dove l'incertezza è additiva e viene aggiornata tramite la regola di Bayes. Tuttavia, sia la statistica classica che il moderno machine learning si discostano frequentemente da questo framework, utilizzando aggiornamenti basati su perdite (loss-based), posteri temperate o schemi di fusione dell'evidenza in cui l'incertezza non è naturalmente additiva. Una domanda fondamentale rimane: cosa rende la regola di Bayes la "giusta" regola di elaborazione dell'informazione, e come dipende questo dalla rappresentazione matematica dell'informazione? Nello specifico, quando l'incertezza su un parametro fisso è rappresentata non da una distribuzione di probabilità, ma da una funzione di possibilità (l'analogo maxitivo di una distribuzione di probabilità), quale sia la regola di aggiornamento principistica?

Metodologia
Il saggio affronta questo problema trattando l'inferenza come elaborazione dell'informazione. Esso deriva la regola di aggiornamento canonica per l'inferenza possibilistica da due punti di vista fondamentali complementari, rispecchiando le classiche derivazioni probabilistiche ma adattandoli alla struttura della teoria della possibilità.

1. Visione 1: Elaborazione Ottimale dell'Informazione (Conservazione dell'Informazione)

   • Framework: Gli autori riformulano il Principio di Conservazione dell'Informazione (ICP), tradizionalmente associato a Zellner [1988] e alle entropie incrociate scalari, in un contesto possibilistico.
   • Meccanismo Chiave: Invece di comprimere l'informazione in uno scalare (come l'entropia), il saggio utilizza l'ordine parziale puntuale intrinseco alle funzioni di possibilità ($f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$).
   • Derivazione: Introducendo un punteggio di informazione puntuale $S$ che soddisfi la coerenza dell'ordine, la normalizzazione e l'additività sotto congiunzione indipendente (t-norma prodotto), gli autori derivano una mappa informativa logaritmica canonica: $I[f](\theta) = -\log f(\theta)$.
   • Conservazione: Una Regola di Elaborazione dell'Informazione (IPR) è definita ottimale se non induce perdita né creazione di informazione. Ciò è formalizzato tramite un funzionale di squilibrio dell'informazione $\Delta(\text{IPR})$, che è una funzione sullo spazio dei parametri piuttosto che uno scalare. La condizione $\Delta(\text{IPR}) = 0$ (uguaglianza puntuale) identifica univocamente la regola di aggiornamento.

2. Visione 2: Approccio Assiomatico (Coerenza)

   • Framework: Gli autori propongono un analogo possibilistico degli assiomi di coerenza per l'inferenza bayesiana generalizzata stabiliti da Bissiri et al. [2016].
   • Assiomi: La regola di aggiornamento $\psi[\ell, \pi]$ (che mappa un prior $\pi$ e una perdita $\ell$ in un posterior) deve soddisfare:
     • Coerenza sequenziale (A2.1).
     • Compatibilità di restrizione (A2.2).
     • Monotonia nella perdita (A2.3).
     • Invarianza rispetto a perdite vacue e spostamenti additivi (A2.4, A2.5).
   • Derivazione: A differenza del caso probabilistico in cui la normalizzazione è un integrale, la derivazione possibilistica richiede di stabilire che la restrizione maxitiva preservi i rapporti di probabilità (odds) a coppie e che gli aggiornamenti binari siano coerenti su triple. Questi assiomi impongono al posterior una forma funzionale specifica.

Contributi Chiave e Risultati

1. La Regola di Aggiornamento Canonica:
   Entrambe le derivazioni convergono sulla stessa regola di aggiornamento univoca, definita regola di Bayes possibilistica:
   $$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$$
   dove $\pi(\theta)$ è la funzione di possibilità prior e $L(\theta | y)$ è la verosimiglianza (o evidenza).

   • Se l'input è una distribuzione di campionamento $p_\theta(y)$, $L$ è la verosimiglianza (likelihood).
   • Se l'input è una perdita generica $\ell(\theta, y)$, $L(\theta | y) \propto \exp(-w \ell(\theta, y))$, dove $w \geq 0$ è un parametro di tasso di apprendimento (learning-rate).

2. Ruolo del Tasso di Apprendimento ($w$):
   Il saggio chiarisce che il parametro $w$ (che controlla la forza epistemica) è esogeno a entrambe le derivazioni.

   • Nella Visione 1, $w$ è una scelta di codifica durante la trasformazione di una perdita in una funzione di possibilità di evidenza.
   • Nella Visione 2, $w$ è una costante lasciata indeterminata dagli assiomi di coerenza.
   • Risultato: La forza $w$ non è identificabile dalla sola normalizzazione dell'evidenza. Massimizzare l'evidenza possibilistica serve solo a spingere le intensità ammissibili ai loro valori minimi. Pertanto, $w$ rappresenta una scelta di modellazione riguardante la forza epistemica, non una quantità identificabile dai dati.

3. Perdita e Creazione di Informazione:
   Utilizzando l'ordine parziale puntuale, il saggio distingue tra perdita e creazione di informazione come fenomeni reali e osservabili, diversamente dal contesto probabilistico in cui l'informazione è un riassunto scalare.

   • Un IPR non crea informazione se il posterior è ovunque dominato dall'aggiornamento di Bayes ($g \preceq \pi(\cdot|y)$).
   • Un IPR non perde informazione se il posterior domina l'aggiornamento di Bayes ($g \succeq \pi(\cdot|y)$).
   • La regola di Bayes è l'unica IPR che evita simultaneamente sia la perdita che la creazione.

4. Connessione con il Lavoro Esistente:

   • La regola derivata si allinea con il prodotto sup-normalizzato prior-likelihood proposto nella recente letteratura sulla probabilità imprecisa (es. Martin [2026]).
   • La funzione di squilibrio dell'informazione corrisponde all'integrando nella dualità maxitiva di Donsker–Varadhan (Singh et al. [2025]), mostrando che la regola di Bayes è l'unico ottimizzatore comune di limiti di coerenza duale.

Significato e Rivendicazioni
Il saggio sostiene che la regola di Bayes non è una singola formula, ma un membro di una famiglia di regole indicizzate dal calcolo sottostante dell'informazione (additivo vs maxitivo) e dalla natura del legame tra dati e parametri.

• Giustificazione Fondamentale: Il saggio argomenta che il prodotto sup-normalizzato non è meramente un'euristica o una scelta conveniente per combinare una verosimiglianza con un'informazione prior parziale; è imposto da principi fondamentali di conservazione dell'informazione e coerenza in un contesto possibilistico.
• Chiarimento della Bayes Generalizzata: Risolve l'ambiguità riguardante il tasso di apprendimento negli aggiornamenti bayesiani generalizzati dimostrando che, nel framework possibilistico, questo parametro è intrinsecamente non identificabile dai dati, fungendo invece da calibrazione della forza epistemica.
• Ambito: Il lavoro è fondativo e assiomatico. Non propone nuovi algoritmi empirici o estese comparazioni sperimentali, ma fornisce il supporto teorico per cui l'aggiornamento sup-normalizzato è la scelta canonica per l'inferenza possibilistica. Suggerisce che questo framework si estende naturalmente a spazi di parametri continui senza le complicazioni della teoria della misura spesso richieste nelle estensioni probabilistiche, poiché le funzioni di possibilità sono definite puntualmente.

In sintesi, il saggio dimostra che quando l'incertezza è rappresentata da funzioni di possibilità, il "modo giusto" di elaborare l'informazione conduce inevitabilmente a una regola di aggiornamento sup-normalizzata, con il tasso di apprendimento che funge da parametro di calibrazione esterno piuttosto che da statistica apprendibile dai dati.