Physics-driven Comparative Analysis of Various Statistical Distance Metrics and Normalizing Functions

Dit artikel presenteert een data-gedreven, systematische vergelijking van verschillende statistische afstandsmaatstaven en normalisatiefuncties, getoetst op stabiliteit met elektron- en fotondata van een afvallend Krypton-83-isotoop gemeten met een HPGe-spectrometer.

De kern

De Meetlat voor Verschillen: Een Verhaal over Elektronen, Fotonen en Wiskundige Linialen

Stel je voor dat je twee verschillende soorten muziek hebt: een zachte, dromerige jazz (de fotonen) en een scherpe, snelle techno (de elektronen). Je wilt weten hoe verschillend deze twee muziekstijlen eigenlijk zijn. Maar hoe meet je dat? Je kunt niet gewoon zeggen "ze klinken anders". Je hebt een meetlat nodig.

Dit wetenschappelijk artikel is precies dat: een grote test om te zien welke meetlat (in de wiskunde een "afstandsmetriek" genoemd) het beste werkt om twee verzamelingen data met elkaar te vergelijken.

Hier is het verhaal, vertaald naar alledaags Nederlands:

1. Het Experiment: Een Koud Lab en een Mysterieuze Bron

De onderzoekers (uit Indiana, VS) hebben een heel speciaal lab gebruikt. Ze hebben een detector (een soort supergevoelige camera voor energie) gekoeld tot bijna het absolute nulpunt (zo koud als de ruimte, ongeveer -185°C). Ze hebben er een bron van Krypton-83 in gedaan.

Deze bron schiet twee soorten deeltjes uit:

• Elektronen: Zwaar, geladen en snel. Ze botsen vroeg in de detector en maken een scherpe, plotselinge piek.
• Fotonen (lichtdeeltjes): Lichter en neutraler. Ze reizen dieper de detector in en maken een langzamere, zachtere piek.

Het doel? De computer moet leren het verschil tussen deze twee pieken te zien, alsof je een valse munt van een echte kunt onderscheiden.

2. De Meetlaten: Verschillende Manieren om te Meten

In de wiskunde en statistiek zijn er tientallen manieren om te zeggen: "Hoe ver staan deze twee groepen van elkaar af?" De auteurs hebben zeven van deze methoden getest. Je kunt je dit voorstellen als verschillende soorten linialen of schalen:

• De Hellinger-afstand: Kijkt naar de vorm van de pieken.
• De Wasserstein-afstand: Stelt je voor dat je de ene berg zand (elektronen) moet verplaatsen om de andere berg (fotonen) te vormen. Hoeveel werk kost dat?
• De Kolmogorov-Smirnov afstand: Kijkt naar het grootste verschil tussen de twee lijnen op één punt.
• De Fisher-Rao afstand: Een heel wiskundige manier om te kijken hoe "onmogelijk" het is om de ene in de andere te veranderen.

3. Het Probleem: De Linialen zijn niet altijd eerlijk

Het probleem is dat sommige van deze linialen gek doen.

• Sommige meten alles als "100% verschillend", zelfs als de groepen nog een beetje lijken.
• Andere meten alles als "0% verschillend", zelfs als ze heel anders zijn.
• En als je de data een beetje anders opdeelt (bijvoorbeeld in kleinere blokjes), geven sommige linialen totaal andere antwoorden.

Het is alsof je de lengte van een auto meet met een elastiek: soms is het 4 meter, soms 6 meter, afhankelijk van hoe hard je trekt. Dat is niet betrouwbaar.

4. De Oplossing: De "Normeerfunctie" (De Strakke Liniaal)

Om dit op te lossen, hebben de onderzoekers een trucje bedacht: ze gebruiken een normeerfunctie.
Stel je voor dat je een elastische liniaal hebt die uitrekt tot 100 meter. Dat is lastig om te lezen. Dus ze spannen die liniaal in een klem zodat hij altijd precies tussen 0 en 1 ligt.

• 0 betekent: "Zijn identiek."
• 1 betekent: "Zijn totaal verschillend."

Ze hebben vier verschillende manieren getest om deze liniaal strak te spannen (noem ze de "logische", "rationele", "exponentiële" en "boog" methode).

5. De Grote Test: Wie wint?

Ze hebben alle zeven meetlaten getest met hun Krypton-data, zowel met als zonder die strakke liniaal, en met verschillende hoeveelheden data.

De resultaten:

• De Wasserstein-2 en L∞ (de "maximaal verschil"-meting) waren erg onstabiel. Als je weinig data had, gaven ze gekke antwoorden.
• De Hellinger en Kolmogorov-Smirnov waren redelijk, maar niet perfect.
• De Winnaar: De √JS (Wortel-Jensen-Shannon) afstand.

Deze winnaar is als een gouden kompas. Hij gaf consistent dezelfde uitkomst, of je nu heel veel of heel weinig data had, en of je de data in grote of kleine blokjes deelde. Hij is niet te gevoelig voor ruis en blijft eerlijk.

6. Conclusie: Wat leren we hieruit?

Dit artikel is eigenlijk een handleiding voor wetenschappers en data-analisten. Het zegt:
"Als je twee groepen data wilt vergelijken (bijvoorbeeld in machine learning of medische scans), gebruik dan de √JS-metriek. Die is het meest betrouwbaar."

En als je die getallen moet vergelijken met andere systemen? Gebruik dan een van de voorgestelde "strakke linialen" (de normeerfuncties) om alles op dezelfde schaal te zetten.

Kort samengevat:
De onderzoekers hebben in een ijskoud lab gekeken naar hoe licht en elektronen zich gedragen. Ze hebben getest welke wiskundige "liniaal" het beste werkt om hun verschillen te meten. Ze ontdekten dat de meeste linialen onbetrouwbaar zijn, maar dat één specifieke methode (√JS) altijd de waarheid vertelt, ongeacht de omstandigheden. Een belangrijke les voor iedereen die met data werkt!

Technische samenvatting

Titel: Fysisch gedreven comparatieve analyse van diverse statistische afstandsmetrics en normaliserende functies

Auteur: N. Fuad (Center for Exploration of Energy and Matter, Indiana University)

---

1. Probleemstelling

In veel wetenschappelijke disciplines, waaronder machine learning, optimalisatie en hypothesetoetsing, is het vergelijken van twee kansdichtheidsfuncties (PDF) of kansmassafuncties (PMF) een fundamentele taak. Er bestaat reeds een overvloed aan voorgestelde afstandsmetrics (zoals Hellinger, Wasserstein, Jensen-Shannon, etc.) om de dissimilariteit tussen distributies te kwantificeren.

Het centrale probleem dat dit artikel aanpakt, is het gebrek aan een gestandaardiseerde, datagedreven vergelijking van deze metrics onder verschillende omstandigheden. Specifiek wordt onderzocht hoe deze metrics presteren in termen van:

• Stabiliteit: Hoe gevoelig zijn ze voor veranderingen in steekproefgrootte en discretisatielengte?
• Normalisatie: Hoe beïnvloeden verschillende normaliserende functies de uitkomsten, en welke eigenschappen moet een dergelijke functie hebben om de metriek te behouden?
• Beperkingen: Sommige metrics (zoals Fisher-Rao) zijn van nature begrensd, terwijl andere (zoals Hellinger) onbegrensd kunnen zijn, wat vergelijkingen bemoeilijkt.

2. Methodologie

Datacollectie en Experimenteel Opzet:

• Bron: Data is verzameld met een High Purity Germanium (HPGe) spectrometer (PPC-type detector) die wordt blootgesteld aan een $^{83}$Kr-isotoopbron.
• Omgeving: De detector werkt onder cryogene vacuümcondities (vloeibare stikstof, ~88K).
• Doel: Het onderscheiden van twee deeltjestypes: elektronen en fotonen (gammastraling). Hoewel hun energieën overlappen, hebben ze verschillende signaalkenmerken.
• Signaalverwerking:
  • Golven (waveforms) worden opgenomen met een resolutie van 10 ns.
  • Twee parameters worden gebruikt: $T/E$ (triangular filter / energie) voor selectie en $A_{max}/E$ (maximale helling / energie) voor het construeren van de distributies.
  • Elektronen vertonen een veel scherpere stijgende flank in het signaal dan fotonen vanwege hun kortere drifttijd in de detector.

Parameter van Interesse (PoI):

• Een dimensieloze parameter $x$ wordt gedefinieerd als de genormaliseerde maximale helling van het signaal: $x = \max(ds(t)/dt) / E$.
• Deze waarde wordt gerescaled naar het interval $[0, 1]$.
• Op basis van deze $x$-waarden worden discrete PMFs (kansmassafuncties) gegenereerd voor zowel elektronen als fotonen. De distributies zijn gescheiden, maar niet maximaal disjunct (ze overlappen licht).

Vergelijkingsframework:

• Metrics: Zeven metrics worden getest: Hellinger ($H$), Wasserstein-1 ($W_1$), Wasserstein-2 ($W_2$), $\sqrt{JS}$ (Jensen-Shannon), $L_\infty$-norm, Kolmogorov-Smirnov ($KS$) en Fisher-Rao ($FR$).
• Normaliserende Functies: Er wordt een lijst van eigenschappen gedefinieerd waaraan een normaliserende functie $n(x)$ moet voldoen (bijectiviteit, monotonie, behoud van metriek-eigenschappen, limieten bij 0 en $\infty$).
  • Geteste functies: $n_1(x) = \frac{\log(1+x)}{1+\log(1+x)}$, $n_2(x) = \frac{x}{1+x}$, $n_3(x) = 1-e^{-x}$, $n_4(x) = \frac{2}{\pi}\arctan(x)$.
• Variabelen: De stabiliteit wordt getest bij variatie in:
  1. Discretisatielengte (bin-grootte).
  2. Steekproefgrootte (aantal gebeurtenissen).
  3. Toepassing van de bovenstaande normaliserende functies.

3. Belangrijkste Bijdragen

1. Definitie van een Normaliserende Functie: Het artikel stelt een formele definitie op voor een "normaliserende functie" die niet alleen waarden naar $[0,1]$ brengt, maar ook de metriek-eigenschappen (zoals de driehoeksongelijkheid) behoudt.
2. Fysisch Gedreven Validatie: In plaats van synthetische data, wordt gebruikgemaakt van echte experimentele data uit de kernfysica, wat de resultaten direct toepasbaar maakt voor detectieproblemen.
3. Systematische Vergelijking: Een uitgebreide analyse van hoe zeven veelgebruikte metrics reageren op normalisatie en data-variabiliteit, met specifieke aandacht voor de stabiliteit bij lage statistieken.

4. Resultaten

• Sensitiviteit en Saturatie:
  • Metrics zoals Hellinger, KS en Fisher-Rao neigen snel naar de waarde 1,0, wat betekent dat ze onderscheid maken tussen "volledig disjunct" en "maximaal disjunct" sets verliezen (ze satureren).
  • $W_1$ en $L_\infty$ zijn minder gevoelig voor saturatie, maar blijken zeer instabiel bij kleine steekproefgroottes en variaties in discretisatie.
• Stabiliteit:
  • $\sqrt{JS}$ (Wortel Jensen-Shannon): Blijkt de meest betrouwbare metric. Deze behoudt zijn onderscheidend vermogen (niet-maximaliteit) en is stabiel onder variatie in discretisatielengte en steekproefgrootte.
  • $W_2$: Blijkt zeer instabiel, vooral bij lage statistieken.
  • Fisher-Rao: Zeer gevoelig voor normalisatiekeuzes.
• Effect van Normalisatie:
  • Handmatig gedefinieerde normaliserende functies ($n_1$ t/m $n_4$) leiden over het algemeen tot lagere standaardafwijkingen in de metingen vergeleken met niet-genormaliseerde data. Dit suggereert dat normalisatie metrics dichter bij elkaar brengt en robuuster maakt.
  • De keuze van de specifieke normaliserende functie ($n_1$ vs $n_2$ vs $n_3$) maakt echter weinig significant verschil in de uiteindelijke rangschikking van de metrics.
• Visualisatie: Figuur 7 en 8 tonen aan dat Hellinger en $\sqrt{JS}$ het minst beïnvloed worden door de keuze van de normaliserende functie, terwijl $L_\infty$ en Fisher-Rao het meest fluctueren.

5. Betekenis en Conclusie

De studie concludeert dat $\sqrt{JS}$ (de wortel van de Jensen-Shannon divergentie) de meest betrouwbare afstandsmetric is voor het vergelijken van PDF/PMFs in dit type fysische analyse. Deze metric combineert stabiliteit bij lage statistieken en variabele discretisatie met een goed behoud van het onderscheidend vermogen tussen de distributies.

De auteurs benadrukken dat:

• Normalisatie essentieel is om metrics vergelijkbaar te maken en de variabiliteit te verminderen.
• Er geen enkele "beste" normaliserende functie is, maar dat het gebruik van een functie die voldoet aan de gedefinieerde eigenschappen (bijectiviteit, monotonie, etc.) cruciaal is.
• Deze aanpak kan worden gegeneraliseerd voor andere toepassingen in machine learning en data-analyse waar het vergelijken van probabilistische distributies centraal staat.

Dit werk biedt een waardevol kader voor onderzoekers die statistische metrics moeten selecteren voor fysische detectieproblemen of vergelijkbare data-analyse taken, waarbij de stabiliteit van de metric onder realistische, beperkte data-omstandigheden doorslaggevend is.