Technische Samenvatting: Proportionele Analogieën op Waarschijnlijkheidsverdelingen via Bayesiaanse Update

Probleemstelling

Analogisch redeneren, gedefinieerd als de quaternaire relatie "A staat tot B als C staat tot D" ($a:b::c:d$), is uitgebreid geformaliseerd in Booleaanse, symbolische en reële domeinen. De uitbreiding van proportionele analogieën naar waarschijnlijkheidsverdelingen blijft echter grotendeels onverkend. Bestaande pogingen om analogieën tussen verdelingen te definiëren, kampen met significante beperkingen:

• Murena, Cornuéjols en Dessalles (2018) maakten gebruik van parallel transport in de informatiestatistiek. Deze aanpak is computationeel veeleisend, beperkt tot verdelingen binnen dezelfde parametrische familie, en slaagt er niet in om te voldoen aan de fundamentele axioma's van proportionele analogieën op niet-vlakke manifolds.
• Prade en Richard (2025) breidden klassieke proportionele analogieën uit naar categorische verdelingen met behulp van aritmetisch-geometrische restricties. Dit kader is beperkt tot categorische verdelingen, legt overdreven restrictieve voorwaarden op die de set van geldige analogieën verkleint, en maakt geen gebruik van het statistische karakter van waarschijnlijkheidsverdelingen.

De kernuitdaging is het definiëren van een begrip van proportionele analogie voor waarschijnlijkheidsverdelingen dat voldoet aan de klassieke axioma's van analogisch redeneren, toepasbaar is op willekeurige verdelingen, en geworteld is in de fundamentele mechanismen van probabilistische inferentie.

Methodologie

Bayesiaanse Update als Fundament

Het artikel introduceert een Bayes-gebaseerde proportionele analogie. De centrale hypothese is dat twee verdelingen gerelateerd zijn als de ene getransformeerd kan worden naar de andere door middel van een passende Bayesiaanse update geïnduceerd door een geschikte set observaties.

Laat $\mathcal{P}$ de ruimte zijn van waarschijnlijkheidsverdelingen over een parameterruimte $\Theta$, en $\mathcal{L}$ een statistisch model met likelihood $p(x|\theta)$. De auteur definieert een symmetrische relatie $p \xleftrightarrow{x}_{\mathcal{L}} q$ indien $q$ de posterior is van $p$ gegeven observatie $x$, of vice versa.

Een Bayes-gebaseerde proportionele analogie $R_{\mathcal{L}}(p_A, p_B, p_C, p_D)$ houdt stand indien er observaties $x_1, x_2 \in \bar{\mathcal{X}}$ bestaan (waarbij $\bar{\mathcal{X}}$ ook een nul-observatie $\emptyset$ bevat) zodanig dat:

1. $p_A \xleftrightarrow{x_1}_{\mathcal{L}} p_B$ en $p_C \xleftrightarrow{x_1}_{\mathcal{L}} p_D$
2. $p_A \xleftrightarrow{x_2}_{\mathcal{L}} p_C$ en $p_B \xleftrightarrow{x_2}_{\mathcal{L}} p_D$

Deze definitie rust op statistische bereikbaarheid: de analogie bestaat indien de "afstand" (in termen van vereiste updates) tussen $A$ en $B$ gelijk is aan de afstand tussen $C$ en $D$, bemiddeld door hetzelfde likelihood-model.

Theoretische Karakterisering: Exponentiële Familie

De auteur bewijst dat voor verdelingen die behoren tot de exponentiële familie, deze analogie een eenvoudige aritmetische karakterisering toelaat in de natuurlijke parameterruimte.

• Propositie 4 & Stelling 1: Voor verdelingen $p(.|\xi)$ in een exponentiële familie met natuurlijke parameters $\eta(\xi)$, houdt de analogie $p_A : p_B :: p_C : p_D$ stand indien en slechts indien:
  1. De natuurlijke parameters voldoen aan de aritmetische proportie: $\eta(\xi_B) - \eta(\xi_A) = \eta(\xi_D) - \eta(\xi_C)$.
  2. OF de "omgekeerde oplossing" standhoudt: $\eta(\xi_A) = \eta(\xi_D)$ en $\eta(\xi_B) = \eta(\xi_C)$.
  3. Cruciale Voorwaarde: De verschilvectoren moeten behoren tot de afbeelding van de voldoende statistiek $S(x)$ van het likelihood-model, aangeduid als $\text{Im}(S)$.

Dit resultaat impliceert dat de "rijkdom" van mogelijke analogieën wordt bepaald door de geometrie van $\text{Im}(S)$. Indien $\text{Im}(S)$ de gehele parameterruimte beslaat, is de analogie maximaal.

Benaderende Solver voor Willekeurige Verdelingen

Om het kader uit te breiden buiten analytisch hanteerbare exponentiële families, stelt het artikel een steekproefgebaseerd algoritme voor, geïnspireerd door Approximate Bayesian Computation (ABC).

• Input: Eindige steekproeven uit verdelingen $p_A, p_B, p_C$.
• Doel: Vind een verdeling $p_D$ (gerepresenteerd door steekproeven) en latente observaties $x, x'$ die aan de consistentievoorwaarden van de analogie voldoen.
• Mechanisme:
  1. Posterior Sampling: Gebruikt importance sampling om posteriors $p(\theta|x)$ te benaderen vanuit de prior steekproeven.
  2. Inverse Updates: Behandelt de symmetrische aard van de relatie door updates in omgekeerde richting toe te staan (het herstellen van een prior vanuit een posterior) met behulp van gewogen resampling met gewichten proportioneel aan $1/p(x|\theta)$.
  3. Optimalisatie: Zoekt naar latente datasets $(x, x')$ die de discrepantie (bijv. de Wasserstein-afstand) minimaliseren tussen de empirische verdelingen van de geobserveerde steekproeven en de gereconstrueerde steekproeven.
  4. Validatie: Oplossingen worden alleen geaccepteerd indien de Effectieve Steekproefomvang (ESS) voldoende is en de reconstructiefout onder een drempelwaarde ligt.

Belangrijkste Bijdragen

1. Nieuwe Definitie: Introduceert een definitie van proportionele analogie voor waarschijnlijkheidsverdelingen gebaseerd op Bayesiaanse updating, die voldoet aan de fundamentele axioma's van proportionele analogieën (reflexiviteit, symmetrie, centrale permutatie).
2. Aritmetische Karakterisering: Bewijst dat voor de exponentiële familie de analogie reduceert tot een aritmetische proportie tussen natuurlijke parameters, mits de parameterverschillen binnen de afbeelding van de voldoende statistiek van de likelihood liggen.
3. Generalisatie: Ontwikkelt een steekproefgebaseerd algoritme dat analogische vergelijkingen oplost voor willekeurige waarschijnlijkheidsverdelingen, waardoor de noodzaak voor analytische oplossingen in gesloten vorm wordt omzeild.
4. Theoretische Analyse van Expressiviteit: Demonstreert dat de expressiviteit van de analogie direct verbonden is met de geometrie van de afbeelding van de voldoende statistiek, wat "maximale" analogieën definieert voor specifieke likelihood-modellen (bijv. Gaussische lineaire regressie).

Empirische Resultaten

De auteur heeft de steekproefgebaseerde solver geëvalueerd op een synthetische benchmark bestaande uit multivariate normale verdelingen waarbij de analytische oplossing bekend is.

• Setup: 3.121 analogische vergelijkingen werden gegenereerd. Twee likelihood-modellen werden getest: een standaard normale likelihood en een lineaire regressie likelihood.
• Prestaties op Normale Likelihood: Het algoritme herstelde 0% oplossingen voor de normale likelihood. Dit was verwacht, aangezien de ondersteuning (support) van de analogie voor dit model van maat nul is, wat bevestigt dat het algoritme geen fout-positieven genereert.
• Prestaties op Regressie Likelihood: Door gebruik te maken van Bayesian Optimization om de latente observatieruimte te doorzoeken, slaagde de solver erin om oplossingen te herstellen voor 1.918 van de 3.121 vergelijkingen (61,45%).
• Nauwkeurigheid: Voor succesvolle runs was de mediane Wasserstein-afstand tussen de analytische en de herstelde oplossingen 0,132. De gemiddelde schattingen vertoonden een sterke Pearson-correlatie (0,997) met de grondwaarheid, terwijl variantieschattingen de neiging hadden om onderschat te worden.
• Geobserveerde Beperkingen:
  • Zoekruimte: Uitputtende grid search was computationeel onhaalbaar voor complexe likelihoods; Bayesian Optimization werd gebruikt voor efficiëntie.
  • Particle Degeneracy: Benaderingsfouten waren sterk gecorreleerd met een lage Effectieve Steekproefomvang (ESS), wat aangeeft dat particle degeneracy in de importance sampling stap een primaire bron van fouten is.
  • Niet-Maximale Analogieën: Het algoritme faalde correct in het vinden van oplossingen voor analogieën gebaseerd op niet-maximale likelihoods (waar de ondersteuning van maat nul is), wat bevestigt dat het geen fout-positieven genereert.

Betekenis en Claims

Het artikel claimt een geprincieerd fundament te bieden voor het verbinden van analogisch redeneren met machine learning door analogieën te funderen in de intrinsieke mechanismen van probabilistische inferentie.

• Theoretische Bijdrage: In tegenstelling tot eerdere benaderingen die steunen op geometrische manifolds of ad-hoc aritmetiek op kansen, biedt dit kader een natuurlijke extensie naar willekeurige verdelingen en voldoet het aan de axiomatische eisen van analogisch redeneren.
• Praktisch Nut: Het kader opent nieuwe perspectieven voor toepassingen zoals transfer learning, data-augmentatie, distributie-reconstructie, case-based reasoning en meta-learning, waarbij redeneren direct over waarschijnlijkheidsverdelingen een natuurlijk mechanisme voor kennisoverdracht biedt.
• Bescheidenheid: De auteur erkent dat de huidige implementatie beperkt wordt door de kwaliteit van de benadering via importance sampling. Er wordt expliciet gesteld dat de "omgekeerde oplossing" (waarbij $A=D$ en $B=C$) een gevolg is van de symmetrische definitie, wat door sommigen betwistbaar kan zijn, maar van nature gedekt wordt door hun theoretisch kader. Toekomstig werk wordt voorgesteld om geavanceerdere inferentietechnieken (bijv. posterior sampling) te onderzoeken om robuustheid en schaalbaarheid te verbeteren.