Learn your entropy from informative data: an axiom ensuring the consistent identification of generalized entropies

Dit artikel introduceert een nieuw axiom dat stelt dat entropische parameters niet uit een uniforme verdeling kunnen worden afgeleid, waardoor Rényi-entropie als de enige consistente generalisatie wordt geselecteerd en een veralgemeende Maximum Likelihood-methode mogelijk wordt die de log-likelihood gelijkstelt aan de negatieve Shannon-entropie.

De kern

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een paar aanwijzingen (data) en je wilt de meest waarschijnlijke verklaring vinden. In de wereld van wiskunde en statistiek heet dit "inference" (sluiten).

Om dit te doen, gebruiken wetenschappers een heel krachtig gereedschap genaamd Entropie. Je kunt entropie zien als een maatstaf voor onzekerheid of verwarring.

• Hoge entropie = Alles is mogelijk, je weet niets (zoals een dobbelsteen die nog niet is gegooid).
• Lage entropie = Je weet veel, de verwarring is laag (zoals een dobbelsteen die al op een 6 ligt).

De klassieke regel voor deze onzekerheid is de Shannon-entropie. Deze werkt perfect voor de meeste dingen in het universum. Maar in de afgelopen decennia hebben wetenschappers geprobeerd om deze regel te "generaliseren" voor heel complexe systemen (zoals zware weersystemen, financiële markten of netwerken van neuronen). Ze hebben nieuwe, ingewikkelde versies van entropie bedacht met extra knoppen en schuifregelaars (de zogenaamde "entropische parameters").

Het probleem? Niemand weet welke knop je moet draaien.
Als je die knoppen verkeerd instelt, krijg je onzin. Als je ze goed instelt, heb je geluk. Maar hoe weet je wat "goed" is zonder al te weten wat het antwoord is? Dat is een cirkelredenering.

Dit paper (van Somazzi en Garlaschelli) lost dit probleem op met een heel slim, simpel idee: Een nieuwe regel (axioma).

De "Nul-Info" Regel

De auteurs zeggen: "Stel je voor dat je helemaal geen informatie hebt. Je kijkt naar een dobbelsteen die nog niet is gegooid. Alle uitkomsten zijn even waarschijnlijk. Dit noemen we een 'uniforme verdeling'."

Hun nieuwe regel luidt: Als je helemaal geen informatie hebt, moet je entropie-meting altijd hetzelfde getal opleveren, ongeacht welke knop (parameter) je op je machine hebt gezet.

Stel je voor dat je verschillende soorten weegschalen hebt om een zak appels te wegen.

• Schaal A is een oude, betrouwbare schaal.
• Schaal B is een nieuwe, digitale schaal met een "moderne" knop.
• Schaal C is een heel exotische schaal.

Als je een lege zak (geen appels, dus geen informatie) op alle schalen legt, moet elke schaal 0 kg aangeven.

• Als Schaal B zegt "0 kg" en Schaal C zegt "5 kg" voor een lege zak, dan is Schaal C kapot of onbetrouwbaar. Waarom zou een lege zak op Schaal C zwaarder wegen dan op Schaal B? Dat is onlogisch.

De auteurs toonden aan dat veel van die nieuwe, ingewikkelde entropie-machines (zoals de beroemde Tsallis-entropie) precies dit doen: ze geven een ander getal voor een lege zak, afhankelijk van de instelling. Dat is een fout.

De Oplossing: Alleen Rényi overleeft

Toen ze deze "lege zak-test" toepasten op de verschillende families van entropie, gebeurde er iets wonderlijks:

• De Tsallis-entropie (een van de populairste alternatieven) viel af. Hij gaf verschillende waarden voor een lege zak, afhankelijk van de parameter.
• De Rényi-entropie bleef staan. Hij gaf voor elke instelling precies hetzelfde getal voor een lege zak.

Dus, de conclusie is: Als je een betrouwbare, algemene entropie wilt die werkt voor complexe systemen, moet je Rényi-entropie gebruiken. De andere opties zijn inconsistent.

Het Magische Koppelstuk: De "Maximum Likelihood"

Er is nog een tweede, nog groter probleem dat dit papier oplost.
In de wetenschap gebruiken we vaak een methode genaamd Maximum Likelihood (ML). Dit is de manier waarop computers leren uit data. Ze proberen de parameters zo in te stellen dat de kans op het zien van jouw data het grootst is.

Het probleem was: Als je Rényi-entropie gebruikt, klopte de ML-methode niet meer. Het was alsof je een auto hebt die rijdt met benzine, maar de motor vraagt om diesel. Je kon de parameters niet puur uit de data halen zonder te weten wat je al van tevoren wist.

Het grote doorbraak:
De auteurs tonen aan dat als je Rényi-entropie gebruikt én je de "lege zak-regel" toepast, de ML-methode plotseling weer perfect werkt!

• Je kunt de "knop" (de parameter $q$) nu puur uit de data halen, zonder vooraf te weten wat het moet zijn.
• En het mooiste is: op het moment dat je de beste parameters hebt gevonden, blijkt dat de "onzekerheid" van je model precies gelijk is aan de klassieke Shannon-entropie.

Dit klinkt als magie: Je gebruikt een ingewikkelde, moderne formule (Rényi) om je model te bouwen, maar op het moment dat je het beste resultaat hebt, valt het terug naar de simpele, oude, betrouwbare Shannon-entropie.

Samenvatting in een Metafoor

Stel je voor dat je een chef-kok bent (de wetenschapper) die een perfecte soep (het model) moet maken voor een diner.

• Je hebt een receptboek met duizenden variaties (de entropie-families).
• Sommige recepten zeggen: "Voeg 1 theelepel zout toe" (Shannon).
• Andere recepten zeggen: "Voeg $x$ theelepels zout toe, waarbij $x$ een mysterieus getal is dat afhangt van de soep" (Generalized Entropy).

Het probleem was: Hoe weet je hoeveel zout ($x$) je moet doen als je de soep nog niet hebt geproefd?

• De oude methoden vereisten dat je al wist hoeveel zout er in de soep zou zitten voordat je begon.
• Sommige recepten (zoals Tsallis) gaven een rare smaak als je helemaal geen zout toevoegde (de "lege zak").

De oplossing van dit paper:

1. De Regel: Een soep zonder zout moet altijd "niet-zoutig" smaken, ongeacht welk recept je gebruikt. Als een recept anders proeft zonder zout, is het recept fout.
2. De Winnaar: Alleen het Rényi-recept voldoet aan deze regel. Alle andere recepten vallen af.
3. De Magie: Als je het Rényi-recept volgt en je laat de gasten (de data) vertellen hoeveel zout ze willen, dan blijkt dat de perfecte soep op het einde precies dezelfde smaak heeft als de klassieke, simpele soep (Shannon), zelfs als je tijdens het koken een ingewikkeld proces hebt gevolgd.

Conclusie:
Dit paper geeft ons een simpele, logische regel om te kiezen welke wiskundige tool we moeten gebruiken voor complexe systemen. Het zorgt ervoor dat we niet hoeven te gokken, maar dat we de juiste parameters puur uit de data kunnen halen, en dat we uiteindelijk weer terugvallen op de betrouwbare, klassieke wetenschap. Het maakt de brug tussen de complexe, moderne wereld en de simpele, oude zekerheid.

Technische samenvatting

Probleemstelling

De entropie van Shannon is de hoeksteen van de informatietheorie en statistische fysica en wordt uniek geïdentificeerd door de Shannon-Khinchin (SK) of Shore-Johnson (SJ) axioma's. Voor systemen die niet-extensief of niet-ergodisch zijn, zijn er echter generalisaties van de Shannon-entropie voorgesteld (zoals Tsallis-entropie, Rényi-entropie, en (c,d)-entropieën). Deze generalisaties bevatten extra 'entropische' parameters (bijv. $q$, $c$, $d$) die de vorm van de entropie bepalen.

De auteurs identificeren drie fundamentele problemen bij het gebruik van deze generalisaties in de statistische inferentie:

1. Inconsistentie met het Maximum Likelihood (ML) principe: Voor veel generalisaties is het niet mogelijk om de entropische parameters puur uit de data te infereren zonder tegenstrijdigheden met het ML-principe.
2. Afhankelijkheid van a-priori kennis: Vaak moeten de entropische parameters "met de hand" worden ingesteld op basis van voorkennis over het systeem (bijv. schaalwetten), wat de methode onpraktisch maakt als deze kennis ontbreekt.
3. Inconsistentie bij meerdere observaties: Er is een puzzel over hoe een systeem kan worden beschreven door een niet-Shannonse entropie bij één observatie, maar door Shannon-entropie bij meerdere onafhankelijke observaties. Bestaande methoden slagen er niet in om deze overgang consistent te maken.

Methodologie

De auteurs introduceren een nieuw, eenvoudig axioma om de vorm van parametrische entropiefamilies te beperken en de bovenstaande inconsistenties op te lossen.

Het Axioma van Oninformativiteit (Uninformativeness Axiom):
In een parametrische familie van entropieën mag de waarde van de entropie die wordt bereikt door een volledig oninformatieve (uniforme) kansverdeling $P_u$ niet afhangen van de waarde van de entropische parameter(s).

• Redenering: Een uniforme verdeling bevat geen informatie. Als de entropiewaarde voor zo'n verdeling zou variëren met de parameter (bijv. $q$), zou dit impliceren dat de "mate van onzekerheid" van een volledig oninformatieve verdeling afhangt van de keuze van de parameter. Dit is logisch onhoudbaar.
• Gevolg: Dit axioma dwingt alle leden van een familie om dezelfde maximale waarde ($\ln \Omega$) aan te nemen voor de uniforme verdeling, waardoor een universele schaal wordt ingesteld.

De auteurs passen dit axioma toe op twee belangrijke families:

1. Uffink-Jizba-Korbel (UJK) entropieën: $S^{(f)}_q[P] = f(U_q[P])$.
2. Hanel-Thurner (HT) entropieën: Composable entropieën met parameters $(c, d)$.

Daarnaast generaliseren ze het Maximum Entropy Principle (MEP) en koppelen deze aan het Maximum Likelihood (ML) principe om de parameters (zowel structurele als entropische) puur uit de data te schatten.

Belangrijkste Bijdragen en Resultaten

1. Selectie van Rényi-entropie
Toepassing van het axioma van oninformativiteit leidt tot een drastische selectie van de geldige entropieën:

• UJK Familie: Het axioma vereist dat de functie $f$ onafhankelijk is van $q$. Dit elimineert Tsallis-entropie (waarbij $f$ afhangt van $q$) en laat alleen Rényi-entropie ($f(x) = \ln x$) over als de enige geldige optie.
• HT Familie: Het axioma dwingt de parameters $(c, d)$ naar $(1, 1)$. Dit selecteert de klasse van additieve entropieën, waaronder zowel Shannon- als Rényi-entropie vallen, en sluit Tsallis-entropie (met $(c,d) = (q, 0)$) uit.

2. Herstel van consistentie met het ML-principe
De auteurs tonen aan dat bij het gebruik van Rényi-entropie:

• De ML-schatting van de Lagrange-multiplicator (structurele parameter) overeenkomt met de oplossing van het generaliseerde MEP (met gebruik van de $q$-mean of escort-verdeling).
• Voor één observatie ($M=1$) geldt dat de gemaximaliseerde log-likelihood gelijk is aan de negatieve Rényi-entropie.

3. Generalisatie van het ML-principe voor entropische parameters
Het meest cruciale resultaat is dat het ML-principe kan worden uitgebreid om de entropische parameter $q$ zelf te schatten, puur op basis van de data:

• Men maximaliseert de log-likelihood $\ell_q(\psi)$ over zowel de structurele parameter $\psi$ als de entropische parameter $q$.
• De "Shannon-Paradox" Opgelost: Het blijkt dat bij de optimale schatting $(q^*, \psi^*)$, de gemaximaliseerde log-likelihood altijd gelijk is aan minus de Shannon-entropie ($S_1$), zelfs als de onderliggende verdeling de Rényi-entropie maximaliseert.
  • Formeel: $S_1[P_{q^*}(\psi^*)] = -\ell_{q^*}(\psi^*)$.
• Dit lost het probleem op dat bij meerdere onafhankelijke observaties ($M > 1$) de relatie tussen log-likelihood en Rényi-entropie verbroken lijkt te zijn. De auteurs verklaren dit door aan te tonen dat onafhankelijke observaties inherent leiden tot Shannon-entropie als maatstaf voor de gezamenlijke onzekerheid (in lijn met het oorspronkelijke SJ3-axioma), terwijl de individuele verdeling nog steeds door Rényi-entropie wordt gestuurd.

4. Numerieke Validatie
De auteurs voeren numerieke experimenten uit met synthetische data (exponentiële verdelingen en $q$-exponentiële verdelingen met eindige en oneindige momenten).

• Ze tonen aan dat de geschatte parameter $q^*$ overeenkomt met de ware parameter $q_{true}$.
• De kruising van de curve voor de log-likelihood en de curve voor minus Shannon-entropie identificeert correct de optimale $q$.
• Ze demonstreren dat het gebruik van de $q$-mean (in plaats van de gewone gemiddelde) essentieel is voor systemen met zware staarten (waarbij de gewone mean divergeert).

Significantie

Dit artikel biedt een fundamentele oplossing voor de inconsistenties in de theorie van generaliseerde entropieën:

1. Unieke Identificatie: Het biedt een rigoureuze, axiomatische basis om Rényi-entropie te selecteren als de enige geldige generalisatie binnen de onderzochte families, waardoor Tsallis-entropie wordt verworpen voor inferentiële doeleinden (hoewel de bijbehorende verdelingen vaak hetzelfde blijven).
2. Data-gedreven Inferentie: Het maakt het mogelijk om de entropische parameters volledig "blind" uit de data te leren, zonder a-priori kennis over schaalwetten of systeemgroottes. Dit maakt generaliseerde entropieën praktisch toepasbaar in machine learning en complexe systeemmodellering.
3. Theoretische Eenheid: Het herstelt de link tussen Shannon-entropie en Maximum Likelihood, zelfs in een generaliseerde context. Het toont aan dat Shannon-entropie de juiste maatstf blijft voor modelselectie en onzekerheid bij onafhankelijke observaties, terwijl Rényi-entropie de juiste vorm biedt voor de verdeling zelf.
4. Oplossing voor het "Meerdere Observaties" Probleem: Het verduidelijkt waarom Shannon-entropie weer opduikt bij meerdere onafhankelijke metingen: de onafhankelijkheid van de data dwingt de log-likelihood om te corresponderen met Shannon-entropie, wat een natuurlijke overgang vormt tussen single-shot en bulk-inferentie.

Kortom, het paper stelt dat "leer je entropie van informatieve data" mogelijk is door een simpel axioma toe te passen dat de oninformativiteit van een uniforme verdeling garandeert, wat leidt tot een robuust en consistent raamwerk voor statistische inferentie in complexe systemen.