Learn your entropy from informative data: an axiom ensuring the consistent identification of generalized entropies

Il paper introduce un nuovo assioma che richiede che nessun parametro entropico possa essere inferito da una distribuzione uniforme, selezionando così l'entropia di Rényi come unica famiglia coerente e permettendo la stima dei parametri direttamente dai dati tramite un principio di massima verosimiglianza generalizzato.

L'essenziale

Il Titolo: "Impara la tua entropia dai dati: una regola per non sbagliare"

Immagina di essere un detective che deve ricostruire la scena di un crimine (il sistema) basandosi su pochi indizi (i dati). Il tuo obiettivo è creare la storia più probabile possibile, senza inventare nulla di inutile.

In questo mondo, c'è una "regola d'oro" chiamata Entropia. È come un metro universale che misura quanto sei incerto o quanto è "disordinata" una situazione.

• Se hai un mazzo di carte perfettamente mescolato, l'entropia è alta (tutto è incerto).
• Se hai un mazzo ordinato per seme, l'entropia è bassa (tutto è prevedibile).

Per decenni, gli scienziati hanno usato un solo metro: l'Entropia di Shannon (il metro classico). Ma poi, studiando sistemi complessi (come il clima, le reti sociali o i mercati finanziari), hanno scoperto che il metro classico a volte non funzionava bene. Hanno quindi inventato migliaia di nuovi metri (le "entropie generalizzate"), ognuno con una manopola speciale chiamata parametro entropico (chiamiamolo "Q").

Il Problema: Troppi metri, nessuna manovella

Il problema è stato questo:

1. Non sapevamo quale metro usare: Dovevamo sapere prima di iniziare quale valore mettere sulla manopola "Q" per il nostro sistema specifico. Era come dover scegliere la lente giusta per un microscopio senza sapere cosa stiamo guardando.
2. Incoerenza: Se provavamo a calcolare "Q" guardando i dati, spesso i risultati non tornavano con le regole logiche della probabilità (il principio di "Massima Verosimiglianza"). Era come se il metro dicesse "la stanza è grande" mentre il righello diceva "è piccola".
3. Il paradosso dell'ignoranza: Se non avessimo nessun dato (una situazione completamente casuale e uniforme), tutti questi nuovi metri davano valori diversi. Era come se, guardando un foglio bianco, un metro dicesse "è bianco" e un altro "è grigio". Questo non ha senso: l'ignoranza totale dovrebbe essere misurata allo stesso modo da tutti.

La Soluzione: La Regola del "Foglio Bianco"

Gli autori, Andrea Somazzi e Diego Garlaschelli, hanno introdotto una regola semplice, quasi banale, ma potente. L'hanno chiamata Assioma dell'Informatività Zero (o "Regola del Foglio Bianco").

L'assioma dice:

"Se guardiamo una situazione completamente casuale e noiosa (dove ogni cosa ha la stessa probabilità, come un dado truccato che non esiste, o un foglio bianco), tutti i metri devono dare lo stesso identico valore di entropia, indipendentemente dalla manopola 'Q' che abbiamo impostato."

L'analogia:
Immagina di avere 100 termometri diversi (ognuno con una scala diversa). Se li metti tutti in un blocco di ghiaccio perfetto (la situazione "zero informazione"), devono tutti segnare esattamente 0 gradi. Se uno segna 0, un altro 5 e un terzo -2, allora quei termometri sono difettosi o incoerenti. Non puoi usare quel termometro per misurare il calore reale se non sai come si comporta nel ghiaccio.

Cosa succede quando applichiamo questa regola?

Quando hanno applicato questa "regola del foglio bianco" alle famiglie di metri più famose, è successo qualcosa di magico:

1. La maggior parte dei metri è stata scartata: Molte entropie famose (come la famosa Entropia di Tsallis, usata in fisica per decenni) hanno fallito il test. Dato che davano valori diversi sul "foglio bianco", sono state dichiarate incoerenti per l'inferenza statistica.
2. Solo un metro è sopravvissuto: L'unico che ha passato il test è l'Entropia di Rényi. È una versione "flessibile" del metro classico che, quando si regola la manopola "Q", si adatta perfettamente ai dati senza rompere le regole logiche.

Il Risultato Finale: Imparare dai dati

Grazie a questa regola, gli scienziati possono ora fare una cosa che prima era impossibile:
Possono guardare i dati grezzi e imparare automaticamente quale valore di "Q" usare.

Non serve più dire: "So che questo sistema è non-ergodico, quindi metto Q=1.3".
Ora si dice: "Guardiamo i dati, proviamo tutti i valori di Q, e scegliamo quello che massimizza la probabilità che i dati siano reali".

La scoperta più sorprendente:
Quando si fa questo calcolo su molti dati indipendenti, succede un miracolo matematico:

• Il modello che si costruisce usa l'Entropia di Rényi (il metro flessibile).
• Ma quando si valuta quanto quel modello è "buono" (la verosimiglianza), il risultato finale è esattamente uguale all'Entropia di Shannon (il metro classico).

In parole povere:
Anche se usiamo un metro speciale e flessibile per costruire la nostra storia, quando la confrontiamo con la realtà, il "punteggio di qualità" che otteniamo è sempre quello del metro classico. È come se la natura ci dicesse: "Usate pure gli attrezzi speciali per lavorare, ma quando controlliamo il lavoro finito, usiamo sempre il metro originale per essere sicuri che sia corretto".

In sintesi

1. Il problema: Troppi tipi di "entropia" (metri) creavano confusione e non si potevano calcolare dai dati da soli.
2. La regola: Se non sai nulla (foglio bianco), tutti i metri devono misurare la stessa cosa.
3. La selezione: Questa regola elimina i metri sbagliati e lascia solo l'Entropia di Rényi.
4. Il vantaggio: Ora possiamo usare i dati per trovare il metro perfetto per ogni situazione, senza bisogno di conoscenze pregresse, e tutto torna a funzionare perfettamente con le regole della logica statistica.

È come se avessimo trovato la chiave universale per aprire tutte le porte della complessità, assicurandoci che la chiave non si spezzi mai.

Sommario tecnico

1. Il Problema

L'entropia di Shannon è il fondamento della teoria dell'informazione e della fisica statistica, identificata univocamente dagli assiomi di Shannon-Khinchin (SK) o Shore-Johnson (SJ). Tuttavia, per sistemi non estensivi o non ergodici, sono state proposte generalizzazioni dell'entropia (come le entropie di Tsallis, Rényi, o le famiglie (c,d) di Hanel-Thurner) che introducono uno o più "parametri entropici" (es. $q$, $c$, $d$).

Il paper identifica tre problemi fondamentali nell'uso di queste entropie generalizzate nel contesto dell'inferenza statistica e della selezione del modello:

1. Incompatibilità con il Principio di Massima Verosimiglianza (ML): Quando si massimizza un'entropia generalizzata sotto vincoli, la distribuzione risultante spesso non è coerente con il principio di Massima Verosimiglianza (ML) applicato ai parametri strutturali (moltiplicatori di Lagrange).
2. Impossibilità di inferire i parametri dai dati: Non esiste un metodo consistente per determinare i parametri entropici (es. $q$) puramente dai dati empirici senza conoscenze a priori sul sistema (come leggi di scala). I metodi esistenti spesso portano a inconsistenze.
3. Incoerenza con osservazioni multiple: Se si hanno $M$ osservazioni indipendenti dello stesso sistema, l'entropia generalizzata dovrebbe ridursi all'entropia di Shannon (come previsto dagli assiomi SJ per sistemi indipendenti). Tuttavia, le formulazioni attuali non spiegano come lo stesso sistema possa essere descritto da un'entropia non-Shannoniana con una singola osservazione e da una Shannoniana con osservazioni multiple.

2. Metodologia e Assioma Proposto

Gli autori introducono un nuovo assioma semplice ma potente, chiamato Assioma dell'Non-Informatività (Uninformativeness Axiom), applicabile a intere famiglie parametriche di entropie.

• Definizione dell'Assioma: In una famiglia parametrica di entropie, il valore dell'entropia assunto dalla distribuzione di probabilità uniforme (completamente non informativa, $P_u$) non deve dipendere dal valore del parametro entropico.
• Ragionamento: Una distribuzione uniforme rappresenta l'assenza totale di informazione. Se il valore dell'entropia (misura dell'incertezza) cambiasse al variare del parametro $q$ per la stessa distribuzione uniforme, ciò implicherebbe che il parametro stesso contiene informazione su un sistema che, per definizione, non ne ha. Questo violerebbe il principio che l'entropia deve essere una misura universale dell'incertezza.
• Implicazione: Questo assioma impone una "scala universale" a tutte le entropie della famiglia, richiedendo che tutte assumano il valore massimo $S[P_u] = \ln \Omega$ (dove $\Omega$ è il numero di stati), indipendentemente dai parametri.

3. Risultati Chiave e Contributi

A. Selezione delle Famiglie di Entropie

Applicando l'assioma alle famiglie più note, gli autori dimostrano che la maggior parte delle generalizzazioni viene scartata:

• Famiglia Uffink-Jizba-Korbel (UJK): L'assioma richiede che la funzione $f$ che mappa il funzionale di Uffink $U_q[P]$ all'entropia $S = f(U_q[P])$ sia indipendente da $q$. Questo porta a un'unica soluzione: l'Entropia di Rényi ($S_q[P] = \ln U_q[P]$).
  • Conseguenza: L'Entropia di Tsallis, definita tramite un logaritmo $q$-dipendente ($f(x) = \ln_q x$), viola l'assioma perché il suo valore su una distribuzione uniforme dipende da $q$.
• Famiglia Hanel-Thurner (HT): L'assioma impone che i parametri $(c, d)$ debbano essere $(1, 1)$. Questo seleziona la classe di entropie additive per eventi indipendenti, che include sia l'entropia di Shannon che quella di Rényi, scartando nuovamente la versione di Tsallis (che ha parametri diversi).

B. Coerenza con il Principio di Massima Verosimiglianza (ML)

Gli autori dimostrano che, scegliendo l'Entropia di Rényi come unica entropia valida (tra quelle UJK e HT), si ripristina la coerenza con il principio ML:

• Stima dei parametri strutturali: Per una singola osservazione ($M=1$), il valore del moltiplicatore di Lagrange che massimizza la verosimiglianza coincide con quello che massimizza l'entropia di Rényi.
• Relazione Log-Likelihood/Entropia: Per $M=1$, il log-verosimiglianza massimizzato è esattamente l'opposto dell'entropia di Rényi ($\ell = -S_q$).
• Caso di osservazioni multiple ($M > 1$): Quando si hanno $M$ osservazioni indipendenti, la media aritmetica delle osservazioni non è più il vincolo corretto per distribuzioni con code pesanti (dove la media può divergere). Gli autori mostrano che il vincolo corretto è una media generalizzata ($q$-media).
• Risultato Sorprendente: Quando si estende il principio ML per inferire anche il parametro entropico $q$ dai dati, si scopre che la condizione di massimizzazione congiunta impone che, al valore ottimale $(q^*, \psi^*)$, il log-verosimiglianza sia uguale all'opposto dell'Entropia di Shannon ($S_1$), anche se la distribuzione massimizza l'entropia di Rényi.
  • Questo risolve il paradosso delle osservazioni multiple: l'indipendenza delle osservazioni fa emergere spontaneamente l'entropia di Shannon come la misura corretta per la selezione del modello, mentre la forma funzionale della distribuzione rimane quella di Rényi.

C. Inferenza dei Parametri Entropici

Il lavoro fornisce un metodo pratico per stimare i parametri entropici (come $q$) puramente dai dati, senza conoscenze a priori:

1. Si definisce una funzione di verosimiglianza media $\ell_q(\psi)$ per un dato $q$.
2. Si massimizza rispetto al parametro strutturale $\psi$ per ottenere $\psi^*_q$.
3. Si cerca il valore di $q$ che massimizza globalmente la verosimiglianza.
4. Il punto di massimo corrisponde al valore $q^*$ dove la verosimiglianza massimizzata eguaglia $-S_1$.

D. Validazione Numerica

Gli autori confermano i risultati con esempi numerici:

• Distribuzione esponenziale ($q=1$): L'intersezione tra la curva di verosimiglianza e $-S_1$ avviene esattamente a $q=1$.
• Distribuzioni $q$-esponenziali ($q \neq 1$): Per distribuzioni con media finita o divergente, il metodo recupera correttamente il valore vero di $q$ e il parametro strutturale, dimostrando che l'approccio funziona anche quando la media aritmetica diverge (caso $q > 1.5$), a differenza dei metodi basati sulla media classica.
• Variabile Bernoulli: Viene mostrato un caso degenerato dove, per una variabile binaria, non è possibile distinguere $q$ dai dati perché tutte le distribuzioni massimizzano la stessa verosimiglianza, confermando che l'inferenza richiede dati sufficientemente informativi.

4. Significato e Conclusioni

Il paper risolve un problema teorico di lunga data nella fisica statistica non estensiva e nell'inferenza statistica.

• Unificazione: L'assioma dell'non-informatività agisce come un "filtro" che seleziona l'Entropia di Rényi come l'unica generalizzazione coerente delle famiglie UJK e HT, eliminando l'ambiguità sulla scelta del parametro.
• Ripristino della coerenza ML: Dimostra che è possibile costruire un quadro di inferenza generalizzato in cui i parametri entropici sono stimate dai dati, mantenendo la coerenza con il principio di Massima Verosimiglianza.
• Ruolo di Shannon: Stabilisce che, anche in contesti generalizzati, l'entropia di Shannon riemerge naturalmente come la misura corretta per la selezione del modello quando si considerano osservazioni indipendenti multiple, risolvendo la contraddizione tra descrizioni a singola e multipla osservazione.
• Impatto pratico: Fornisce un algoritmo pratico per la selezione del modello e la stima dei parametri in sistemi complessi (reti, fisica, biologia) dove le distribuzioni di probabilità possono avere code pesanti e proprietà non estensive, senza richiedere assunzioni arbitrarie sui parametri.

In sintesi, gli autori dimostrano che l'entropia di Rényi è la candidata ideale per generalizzare l'entropia di Shannon in modo coerente, e che l'uso combinato dell'assioma proposto e del principio ML permette di "imparare" la corretta entropia e i suoi parametri direttamente dai dati.