Technische Samenvatting: Van Numerieke Proporties naar Analoge Proporties tussen Waarschijnlijkheden

Probleemstelling

Het artikel behandelt de theoretische en praktische compatibiliteit tussen analoge proporties en waarschijnlijkheden. Analoge proporties, uitgedrukt als "a staat tot b als c staat tot d" ($a:b::c:d$), zijn goed gevestigd voor Booleaanse, nominale en numerieke waarden, en dienen vaak als basis voor classificatiemethoden (bijv. het voorspellen van een klasse voor een nieuw item op basis van drie bekende analoge items). De relatie tussen deze proporties en probabilistische representaties blijft echter onderbelicht.

De centrale onderzoeksvraag is: Als vier profielen (gerepresenteerd als vectoren van attributen) een analoge proportie vormen, vormen de bijbehorende waarschijnlijkheidsverdelingen dan ook een analoge proportie? De auteurs onderzoeken dit op twee niveaus:

1. Waarschijnlijkheidswaarden: Eenvoudige waarschijnlijkheden geassocieerd met specifieke attribuutwaarden.
2. Waarschijnlijkheidsverdelingen: Volledige verdelingen die de frequenties van mogelijke waarden voor een discrete attribuut over verschillende profielen beschrijven.

Methodologie

1. Theoretisch Kader

De auteurs breiden de definitie van analoge proporties van discrete domeinen (Booleaanse, nominale) uit naar continue en probabilistische domeinen. Ze analyseren twee primaire definities voor numerieke analoge proporties:

• Arithmetische Proportie ($::_{ari}$): Gedefinieerd door $a - b = c - d$.
• Meetkundige Proportie ($::_{geo}$): Gedefinieerd door $a/b = c/d$ (waarbij $0/0=1$).

Verder onderzoeken ze de Arithmetisch-Meetkundige Proportie ($::_{arigeo}$), die vereist dat beide condities gelijktijdig standhouden.

Het artikel stelt verschillende belangrijke theoretische eigenschappen vast:

• Arithmetische Definitie: Voor waarschijnlijkheidsverdelingen $a, b, c, d$ over een eindig domein, geldt $a:b::_{ari}c:d$ als $a_i - b_i = c_i - d_i$ voor alle componenten $i$. Deze definitie behoudt de Totale Variatie Afstand ($TV(a,b) = TV(c,d)$) en garandeert het bestaan van een oplossing $d$ gegeven $a, b, c$ onder specifieke beperkingen.
• Meetkundige Definitie: De zuivere meetkundige definitie ($a_i/b_i = c_i/d_i$) blijkt problematisch voor waarschijnlijkheidsverdelingen omdat deze niet garandeert dat de resulterende vector $d$ optelt tot 1 (normalisatie), zelfs als $a, b, c$ geldige verdelingen zijn.
• Arithmetisch-Meetkundige Definitie: Deze striktere definitie ($a_i - b_i = c_i - d_i$ EN $a_i/b_i = c_i/d_i$) impliceert dat voor elke component de waarden specifieke patronen moeten volgen (bijv. $a_i=b_i$ en $c_i=d_i$, of $a_i=c_i$ en $b_i=d_i$). Cruciaal is dat deze definitie de invariantie van de Kullback-Leibler (KL) divergentie tussen paren ($KL(a||b) = KL(c||d)$) waarborgt.

2. Experimentele Validatie

De auteurs testen empirisch de hypothese dat analoge proporties tussen profielen analoge proporties tussen hun bijbehorende waarschijnlijkheidsverdelingen impliceren.

• Datasets: Twee grootschalige datasets werden gebruikt:
  1. MovieLens 100K: 100.000 beoordelingen van 943 gebruikers op 1.682 films. Profielen werden geconstrueerd uit gebruikersdemografie (geslacht, leeftijd, beroep).
  2. US Traffic Accidents: ~7,7 miljoen ongelukken in 49 staten. Profielen werden geconstrueerd uit categorische variabelen (tijdzone, dag/nacht, weer, wind).
• Procedure:
  • Profielen werden gedefinieerd als combinaties van attribuutwaarden.
  • Voor elk profiel werd een waarschijnlijkheidsverdeling afgeleid op basis van de frequentie van de doelvariabele (filmbeoordeling 1-5 of ongevalsserositeit 1-4).
  • Geldige analoge proporties ($a:b::c:d$) werden geïdentificeerd onder de profielen.
  • Analoge Dissimilariteit (AD) werd berekend voor de bijbehorende verdelingen. AD meet de afwijking van een perfecte analoge proportie (specifiek de arithmetische, gedefinieerd als $AD = \frac{1}{2n} \sum |(a_i - b_i) - (c_i - d_i)|$).
• Drempelwaarden: Experimenten werden uitgevoerd met variërende consistentiedrempels (minimum aantal instanties per profiel) om statistische betrouwbaarheid te waarborgen.

Belangrijkste Bijdragen

1. Formalisering van Probabilistische Analoge Proporties: Het artikel biedt rigoureuze definities voor analoge proporties tussen waarschijnlijkheidsverdelingen, waarbij onderscheid wordt gemaakt tussen arithmetische, meetkundige en arithmetisch-meetkundige varianten.
2. Theoretische Eigenschappen:
   • Aangetoond dat de arithmetische definitie de Totale Variatie Afstand behoudt.
   • Aangetoond dat de arithmetisch-meetkundige definitie de Kullback-Leibler divergentie behoudt.
   • Bewezen dat de zuivere meetkundige definitie over het algemeen onvoldoende is voor waarschijnlijkheidsverdelingen vanwege normalisatiebeperkingen.
3. Empirisch Bewijs: Door uitgebreide experimenten op real-world datasets tonen de auteurs aan dat wanneer profielen een analoge proportie vormen, hun bijbehorende waarschijnlijkheidsverdelingen vaak een arithmetische analoge proportie vormen met een lage dissimilariteit.
4. Extensie naar Continue Dichtheden: Het artikel schetst kort hoe deze definities zich uitstrekken tot continue waarschijnlijkheidsdichtheidsfuncties en bespreekt parameter-gebaseerde analogieën voor verdelingen zoals Gaussische of Binomiale verdelingen.

Resultaten

• Geldigheid van Arithmetische Proportie: In de MovieLens en US Traffic Accidents datasets resulteerde een aanzienlijk aantal profiel-analogieën in distributie-analogieën met een zeer lage Analoge Dissimilariteit (AD < 0,05). Bijvoorbeeld, de relatie tussen mannelijke en vrouwelijke beoordelingen in één leeftijdsgroep weerspiegelde de relatie in een andere leeftijdsgroep over de beoordelingsverdelingen heen.
• Zeldzaamheid van Arithmetisch-Meetkundige Proportie: Bij het testen op arithmetisch-meetkundige proporties (die zowel de arithmetische als de meetkundige conditie vereisen), lieten de resultaten een veel hogere dissimilariteit zien. De auteurs concluderen dat dergelijke strikte analogieën tussen waarschijnlijkheidsverdelingen zeldzaam zijn in real-world data, waarschijnlijk door de hoge beperkingen die de meetkundige conditie oplegt.
• Drempelgevoeligheid: De geldigheid van de inferentieregel (dat profiel-analogie waarschijnlijkheids-analogie impliceert) leek sterker te zijn bij grotere steekproefomvang (hogere consistentiedrempels), wat suggereert dat ruis in kleine datasets de onderliggende proportionele relaties vertroebelt.

Betekenis en Claims

Het artikel claimt een systematische studie te bieden van de link tussen analoog redeneren en waarschijnlijkheid, waarmee het verder gaat dan eerder werk dat ze apart behandelde.

• Theoretische Bijdrage: Het stelt vast dat analoge proporties betekenisvol gedefinieerd kunnen worden in het probabilistische domein, wat nieuwe instrumenten biedt voor redeneren onder onzekerheid.
• Praktische Implicatie: De resultaten suggereren dat analoge inferentie kan worden uitgebreid om de waarschijnlijkheidsverdelingen voor nieuwe profielen te voorspellen op basis van bekende analoge profielen, zonder de doelpopulatie direct te hoeven analyseren. Dit zou classificatie- en transfer learning-methoden kunnen verbeteren.
• Bescheiden Vooruitzicht: De auteurs erkennen dat de relatie niet universeel geldig is (sommige gevallen vertonen significante distortie) en dat de theoretische fundamenten van waarom deze relatie in veel real-world gevallen standhoudt, verder onderzoek vereisen. Ze merken op dat het huidige werk een voorlopige stap is, waarbij toekomstig onderzoek nodig is om profielen met numerieke attributen te verkennen en de theoretische verklaringen voor de geobserveerde empirische geldigheid te verfijnen.

Het werk wordt gepresenteerd als een uitbreiding van eerdere conferentiepapers [29, 30], waarbij de theoretische inhoud wordt geherorganiseerd en volledig nieuwe experimentele secties worden geïntroduceerd om de hypothese te valideren dat "analoge proporties tussen profielen geassocieerd zijn met analoge proporties tussen waarschijnlijkheden."