Bayesian Hierarchical Models and the Maximum Entropy Principle

Dit artikel toont aan dat wanneer de prior in een Bayesiaans hiërarchisch model een canonieke verdeling is, de resulterende afhankelijke marginale prior ook een maximum-entropie-eigenschap bezit, maar dan met een andere constraint op de marginale verdeling van een functie van de onbekende grootheden.

De kern

De Gouden Regel van Onzekerheid: Waarom "Hierarchische Modellen" eigenlijk slimme gokken zijn

Stel je voor dat je een enorme bak met onbekende ballen hebt. Je wilt een voorspelling doen over hoe deze ballen verdeeld zijn, maar je weet er eigenlijk niets van. In de statistiek noemen we dit het kiezen van een "prior" (een uitgangspunt).

De auteur van dit paper, Brendon Brewer, legt uit hoe we omgaan met onzekerheid wanneer we niet alleen over één ding nadenken, maar over een hele groep dingen die met elkaar verbonden zijn. Hij verbindt twee grote ideeën: Bayesiaanse hiërarchische modellen (een populaire manier om data te analyseren) en het Principe van Maximum Entropie (de "gouden regel" voor het eerlijkste gokken bij onzekerheid).

Hier is de kern van zijn boodschap, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Vlakke" Valstrik

Stel je voor dat je 100 ballen hebt en je weet alleen dat ze tussen 0 en 100 liggen. De meest "eerlijke" gok is om te zeggen: "Elk getal tussen 0 en 100 is even waarschijnlijk." Dit noemen we een uniforme verdeling (een platte lijn).

Maar hier zit een addertje onder het gras. Als je deze 100 ballen optelt en het gemiddelde neemt, gebeurt er iets vreemds. Door de wiskundige wetten (het Centraal Limiettheorema) wordt het gemiddelde van die 100 ballen bijna gegarandeerd ergens rond de 50 liggen. Het wordt een heel smalle piek.

• De analogie: Het is alsof je zegt: "Ik weet niets over de temperatuur in een stad." Maar als je de temperatuur van 100 verschillende straten meet, denk je dan dat het gemiddelde van die 100 straten precies 20 graden is met een kleine marge? Nee, dat is te zeker. Je "platte" gok over de individuele straten heeft onbedoeld een heel specifieke, smalle gok over het gemiddelde veroorzaakt. Dat is niet eerlijk; je wist dat niet te zeker.

2. De Oplossing: De "Chef-kok" aan het werk (Hiërarchische Modellen)

Om dit op te lossen, gebruiken wetenschappers vaak hiërarchische modellen. In plaats van direct te gokken over de 100 ballen, doen we het in twee stappen:

1. We kiezen eerst een recept (een hyperparameter). Bijvoorbeeld: "Laten we zeggen dat de gemiddelde temperatuur ergens rond de 20 graden ligt, maar we zijn niet zeker of het 18 of 22 is."
2. Daarna kiezen we de 100 ballen op basis van dat recept.

Dit klinkt ingewikkeld, maar het is als het koken van een grote pot soep. Je kiest eerst de smaak (het recept), en dan voegt je de ingrediënten toe. Als je het recept varieert, krijg je een soep die veel natuurlijker smaakt dan als je gewoon willekeurige ingrediënten in een pan had gegooid.

3. Het Grote Geheim: Het Maximum Entropie Principe

Nu komt het spannende deel. Er is een beroemde regel in de statistiek genaamd Maximum Entropie. Deze regel zegt: "Geef de eerlijkste gok die je kunt doen, gebaseerd op wat je precies weet, en doe geen aannames over wat je niet weet."

Meestal gebruiken we deze regel om een verdeling te maken als we het gemiddelde van iets precies weten. Maar in het hiërarchische model weten we het gemiddelde niet precies; we hebben er alleen een onzekerheid over.

Brewer bewijst in dit paper iets verrassends:

• Als je eerst een "perfecte" gok maakt (Maximum Entropie) gebaseerd op een recept, en daarna dat recept zelf ook onzeker maakt (door er een verdeling over te kiezen), dan is het eindresultaat nog steeds een eerlijke gok!
• Het eindresultaat is wiskundig gezien nog steeds een Maximum Entropie verdeling, maar dan met een andere regel.

De analogie:
Stel je voor dat je een spelletje doet waarbij je een doos met ballen moet vullen.

• Regel A (Normaal): Je mag alleen ballen doen als je precies weet dat het gemiddelde gewicht 50 gram is.
• Regel B (Hiërarchisch): Je mag ballen doen, maar je mag zelf kiezen welk gemiddelde gewicht je wilt, zolang je maar eerlijk bent over welke keuze je maakt.

Brewer zegt: "Regel B is eigenlijk net zo eerlijk als Regel A, alleen is de 'regel' nu niet meer 'het gemiddelde moet 50 zijn', maar 'de verdeling van de gemiddelden moet op een bepaalde manier lijken'."

4. Wat betekent dit voor de praktijk?

De paper laat zien dat wanneer wetenschappers complexe modellen gebruiken (zoals in medische studies, klimaatmodellen of AI), ze niet per se de "eerlijkheid" van Maximum Entropie verliezen.

• Vroeger dachten we: "Oh, als we hyperparameters gebruiken, verliezen we de zuivere Maximum Entropie interpretatie."
• Nu weten we: "Nee, we hebben de interpretatie niet verloren. We hebben alleen de regel verschoven. In plaats van te zeggen 'het gemiddelde is X', zeggen we 'de manier waarop de gemiddelden zich gedragen, volgt deze specifieke verdeling'."

Samenvatting in één zin

Wanneer je een complex model bouwt waarbij je eerst een "recept" kiest en daarop je data baseert, ben je eigenlijk nog steeds het eerlijkste spelletje aan het spelen (Maximum Entropie), maar speel je het spel nu op een hoger niveau: je bepaalt niet de uitkomst, maar je bepaalt eerlijk hoe de uitkomsten kunnen variëren.

Dit paper geeft ons dus vertrouwen dat die complexe wiskundige modellen die wetenschappers gebruiken, niet zomaar willekeurige aannames zijn, maar gebaseerd zijn op een diepe, logische regel voor het omgaan met onwetendheid.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Bayesian Hierarchical Models and the Maximum Entropy Principle" van Brendon J. Brewer, vertaald en samengevat in het Nederlands.

Titel: Bayesiaanse Hiërarchische Modellen en het Principe van Maximum Entropie

Auteur: Brendon J. Brewer (Universiteit van Auckland)
Context: 44e Internationale Workshop over Bayesiaanse Inference en Maximum Entropie Methodes in Wetenschap en Ingenieurskunst.

---

1. Het Probleem

In de praktische data-analyse worden vaak Bayesiaanse hiërarchische modellen gebruikt. Deze modellen introduceren hyperparameters ($\alpha$) om een indirecte prior te definiëren voor onbekende parameters ($x$). De structuur bestaat uit twee stadia:

1. Een prior voor de hyperparameters: $p(\alpha)$.
2. Een conditionele prior voor de parameters gegeven de hyperparameters: $p(x | \alpha)$, vaak een product van onafhankelijke en identiek verdeelde (i.i.d.) verdelingen.

De resulterende marginale prior voor $x$ wordt verkregen door te integreren over de hyperparameters:
$$p(x) = \int p(\alpha) p(x | \alpha) d\alpha$$

Het kernprobleem:
Het principe van Maximum Entropie (MaxEnt) wordt standaard gebruikt om priors te definiëren op basis van bekende momenten (verwachte waarden), wat leidt tot de zogenaamde "kanonieke" verdelingen (bijv. exponentieel of Gaussisch). Echter, als men de kanonieke verdeling gebruikt als conditionele prior $p(x|\alpha)$ en vervolgens de hyperparameters $\alpha$ (die de Lagrange-multiplicatoren vertegenwoordigen) marginaliseert, ontstaat er een mengsel van kanonieke verdelingen.
Volgens de klassieke interpretatie is een dergelijk mengsel geen kanonieke verdeling meer, wat suggereert dat de MaxEnt-interpretatie verloren is gegaan. De vraag die dit artikel beantwoordt is: Behoudt deze marginale prior nog steeds een MaxEnt-interpretatie, en zo ja, onder welke constraints?

2. Methodologie

De auteur gebruikt een theoretische afleiding gebaseerd op de principes van informatie-theorie en statistische mechanica:

• Analyse van Constraints: In plaats van te focussen op constraints voor de verwachte waarden van $x$ zelf ($\langle T_i \rangle$), onderzoekt de auteur de impliciete constraints op de marginale verdeling van afgeleide grootheden $T = f(x)$.
• Afleiding van de Algemene Vorm:
  • Stel dat we een prior $\pi(x)$ hebben en een constraint willen opleggen aan de verdeling van een functie $T = f(x)$.
  • Door de MaxEnt-procedure toe te passen op de waarschijnlijkheid dat $T$ bepaalde waarden aanneemt (uitgedrukt als verwachte waarden van indicatorfuncties), leidt dit tot een verdeling van de vorm:
    $$p(x) \propto \pi(x) \exp(g(f(x)))$$
    of meer algemeen voor meerdere functies $f_1, ..., f_m$:
    $$p(x) \propto \pi(x) g(f_1(x), ..., f_m(x))$$
  • Hierbij is $g(\cdot)$ een functie die wordt bepaald door de gewenste marginale verdeling van $T$.
• Koppeling met Hiërarchische Modellen:
  • De auteur toont aan dat een hiërarchisch model, waarbij de conditionele prior $p(x|\lambda)$ een kanonieke verdeling is (met Lagrange-multiplicatoren $\lambda$), en men een prior $p(\lambda)$ kiest, resulteert in een marginale verdeling:
    $$p(x) = \int p(\lambda) \frac{\pi(x) \exp(\sum \lambda_i f_i(x))}{Z(\lambda)} d\lambda$$
  • Omdat de integraal alleen afhangt van $x$ via de functies $\{f_i(x)\}$ (de "sufficient statistics"), heeft het resultaat exact de vorm van de algemene MaxEnt-oplossing (vergelijking 14 hierboven).

3. Belangrijkste Bijdragen

1. Herinterpretatie van Hiërarchische Modellen: Het artikel bewijst dat een marginale prior verkregen via een hiërarchisch model (een mengsel van kanonieke verdelingen) wel degelijk een Maximum Entropie-verdeling is.
2. Identificatie van de Effectieve Constraint: De impliciete constraint die leidt tot deze verdeling is niet een vaste waarde voor de verwachte waarden van de parameters, maar een gespecificeerde marginale verdeling voor de afgeleide grootheden (zoals het gemiddelde of de som van kwadraten).
3. Praktische Implicatie: Het toepassen van MaxEnt met een momenten-constraint om een conditionele prior te krijgen, gevolgd door het toekennen van een prior aan de hyperparameters, is wiskundig equivalent aan het toepassen van MaxEnt met een constraint op de marginale verdeling van de afgeleide grootheden.

4. Resultaten en Voorbeelden

De auteur illustreert de theorie met twee concrete voorbeelden:

• Exponentieel Voorbeeld (Arithmetisch Gemiddelde):

  • Situatie: Een uniforme prior op $x \in [0, 100]$ leidt via de centrale limietstelling tot een zeer smalle normale verdeling voor het gemiddelde $T$. Dit is vaak ongewenst.
  • Oplossing: In plaats van een vaste waarde voor $\mu$ (het gemiddelde) te forceren, wordt een prior gekozen voor $\mu$ (bijv. log-uniform).
  • Resultaat: De resulterende marginale prior voor $x$ is een MaxEnt-verdeling met een constraint op de marginale verdeling van $T$. Dit resulteert in een meer realistische onzekerheid over het gemiddelde, in plaats van een kunstmatig smalle verdeling.

• Gaussisch Voorbeeld (Som en Som van Kwadraten):

  • Situatie: Men is geïnteresseerd in $T_1 = \sum x_i$ en $T_2 = \sum x_i^2$.
  • Oplossing: Een hiërarchisch model met onbekende $\mu$ en $\sigma$ (vervanging van Lagrange-multiplicatoren) en een prior $p(\mu, \sigma)$.
  • Resultaat: De marginale prior over $x$ is een mengsel van Gaussische verdelingen. Dit mengsel is een MaxEnt-verdeling met een constraint op de gezamenlijke marginale verdeling van de som en de som van kwadraten. Figuren in het artikel tonen aan dat dit leidt tot een veel bredere en meer geschikte onzekerheidsverdeling dan een directe uniforme prior.

5. Betekenis en Conclusie

De studie heeft fundamentele gevolgen voor het begrijpen van Bayesiaanse hiërarchische modellen en het principe van Maximum Entropie:

• Verbinding tussen theorieën: Het verduidelijkt de link tussen "Maximum Entropy on the Mean" (een methode voor inverse problemen) en "Superstatistics" in de statistische mechanica.
• Informatie-interpretatie: Het onthult welke informatie er eigenlijk wordt aangenomen wanneer een hiërarchisch model wordt gekozen. Men neemt niet alleen een specifieke vorm van de verdeling aan, maar specifiek een bepaalde onzekerheid over de afgeleide grootheden (zoals gemiddelden of varianties).
• Praktische toepassing: Het biedt een theoretisch fundament om hiërarchische modellen te rechtvaardigen als een manier om MaxEnt toe te passen op complexe constraints die moeilijk direct te formuleren zijn, maar die intuïtief via hyperparameters kunnen worden gestuurd.

Kortom, de schijnbare verlies van de MaxEnt-eigenschap bij het marginaliseren van hyperparameters is een misvatting; de eigenschap blijft behouden, maar verschuift van een constraint op de momenten zelf naar een constraint op de verdeling van die momenten.