Physics-driven Comparative Analysis of Various Statistical Distance Metrics and Normalizing Functions

Cet article présente une analyse comparative systématique et pilotée par les données de diverses métriques de distance statistique et de fonctions de normalisation, en évaluant leur stabilité sur des événements d'électrons et de photons issus d'un isotope de Krypton-83 détectés par un spectromètre HPGe.

L'essentiel

Imaginez que vous êtes un chef cuisinier qui doit distinguer deux types de pommes : des pommes rouges et des pommes vertes. Dans le monde de la physique, les scientifiques doivent faire la même chose, mais au lieu de pommes, ils comparent des signaux d'énergie (des ondes) provenant de deux sources différentes : des électrons et des photons.

Ce document est comme un rapport de dégustation scientifique où l'auteur, N. Fuad, teste différentes "règles de comparaison" pour voir laquelle est la meilleure pour dire : "Ces deux signaux sont-ils vraiment différents ?"

Voici une explication simple de ce qu'il a fait, avec des analogies du quotidien.

1. Le Problème : Comment mesurer la différence ?

En science, on a souvent besoin de comparer deux groupes de données (comme deux distributions de pommes). Il existe déjà des dizaines de règles mathématiques (appelées "métriques") pour mesurer la distance entre deux groupes.

• Le défi : Certaines règles sont trop sensibles aux petits détails, d'autres sont trop rigides, et certaines ne fonctionnent pas bien si vous avez peu de données.
• L'objectif : Trouver la règle la plus fiable, celle qui ne se trompe pas, même si les données sont un peu bruitées ou incomplètes.

2. L'Expérience : Le laboratoire de physique

Pour tester ces règles, l'auteur n'a pas utilisé de pommes, mais un détecteur de germanium (un cristal très pur et très froid, comme un bloc de glace géant dans l'espace).

• La source : Il a utilisé un isotope (une version spéciale) du Krypton-83 qui émet des particules.
• Les acteurs :
  • Les Électrons : Ce sont des particules chargées. Quand elles entrent dans le détecteur, elles s'arrêtent très vite (comme une voiture qui freine brusquement). Leur signal monte très vite, comme un ascenseur qui part d'un coup.
  • Les Photons : Ce sont des particules de lumière (neutres). Elles traversent le détecteur plus lentement. Leur signal monte doucement, comme un ascenseur qui démarre en douceur.
• Le but : L'auteur veut que l'ordinateur soit capable de dire : "Tiens, ce signal monte vite, c'est un électron ! Ce signal monte doucement, c'est un photon !"

3. Les Outils de Comparaison (Les "Règles")

L'auteur a pris 7 règles mathématiques différentes pour mesurer la différence entre les signaux d'électrons et de photons. Voici comment on peut les imaginer :

1. Distance de Hellinger & KS : Comme comparer la forme de deux silhouettes.
2. Distance de Wasserstein : Imaginez que vous devez déplacer des meubles d'une pièce à l'autre. Cette règle calcule le "travail" nécessaire pour transformer la forme d'un groupe en l'autre.
3. Norme L∞ : Regarde simplement le plus grand écart entre les deux courbes (le point où elles sont le plus loin l'une de l'autre).
4. Fisher-Rao : Une règle plus complexe qui regarde la "géométrie" de l'espace des données.

4. Le "Filtre Magique" (Les Fonctions de Normalisation)

C'est ici que ça devient intéressant. Parfois, les règles mathématiques donnent des nombres énormes ou très petits, ce qui les rend difficiles à comparer.
L'auteur a proposé d'utiliser des "filtres de normalisation".

• L'analogie : Imaginez que vous mesurez la taille de gens. Certains sont très grands, d'autres très petits. Si vous voulez les comparer sur une échelle de 0 à 10, vous devez les "écraser" ou les "étirer" pour qu'ils rentrent tous dans le même cadre.
• L'auteur a testé 4 types de filtres différents (comme des lentilles de lunettes différentes) pour voir si cela aidait les règles à mieux fonctionner.

5. Les Résultats : Qui a gagné ?

Après avoir testé toutes ces combinaisons avec des milliers de signaux, voici ce qu'il a découvert :

• Le grand gagnant : La distance $\sqrt{JS}$ (Racine de la divergence de Jensen-Shannon).
  • Pourquoi ? C'est la règle la plus stable. Peu importe si vous avez beaucoup de données ou peu, peu importe si vous changez un peu la façon de mesurer, elle donne toujours le même résultat fiable. C'est comme un mètre ruban en métal : il ne se déforme pas avec la chaleur ou l'humidité.
• Les perdants :
  • Certaines règles (comme Wasserstein-2) sont très sensibles. Si vous changez un tout petit peu la façon de compter les données, le résultat change énormément. C'est comme essayer de mesurer la distance avec un élastique : ça dépend de combien vous tirez dessus !
  • D'autres règles (comme Hellinger) donnent souvent un résultat de "1" (le maximum), ce qui signifie qu'elles ne font plus la différence entre "très différent" et "totalement différent".

6. Conclusion Simple

Ce papier nous dit essentiellement :

"Si vous voulez comparer deux groupes de données scientifiques et que vous voulez être sûr de votre résultat, n'utilisez pas n'importe quelle règle. Utilisez la distance $\sqrt{JS}$. C'est la plus robuste, la plus fiable, et elle résiste bien aux erreurs de mesure ou au manque de données."

C'est une victoire pour la méthode scientifique : au lieu de deviner quelle règle est la meilleure, l'auteur a fait un test rigoureux (avec de la physique réelle, pas juste de la théorie) pour prouver laquelle fonctionne le mieux dans la vraie vie.

Résumé technique

1. Problématique

La comparaison de deux fonctions de densité de probabilité (PDF) ou de masse de probabilité (PMF) est fondamentale dans de nombreux domaines scientifiques, notamment l'apprentissage automatique, l'optimisation et les tests d'hypothèses. De nombreuses métriques de distance (Hellinger, Wasserstein, Jensen-Shannon, etc.) existent, mais leur comportement relatif face à des données réelles, leur stabilité face aux variations de taille d'échantillon, de discrétisation et l'impact des fonctions de normalisation restent souvent mal caractérisés dans un contexte physique concret.

L'objectif de cette étude est de réaliser une comparaison systématique et pilotée par les données de plusieurs métriques de distance statistiques. L'analyse vise à identifier la métrique la plus fiable pour distinguer deux populations de particules (électrons et photons) et à évaluer l'impact de différentes fonctions de normalisation sur la stabilité et la précision de ces mesures.

2. Méthodologie

A. Source de données et Détection

• Données : Les données proviennent d'événements d'électrons et de photons issus de la désintégration d'un isotope de Krypton-83 ($^{83}$Kr).
• Instrumentation : Les signaux ont été collectés à l'aide d'un spectromètre au Germanium à haute pureté (HPGe) de type PPC (Point Contact), fonctionnant dans des conditions cryo-vide (pression de l'ordre du nanobar, température de l'azote liquide ~88 K).
• Séparation des populations : Les électrons et les photons produisent des signatures distinctes dans le détecteur. Les électrons, étant chargés, s'arrêtent rapidement dans le détecteur (quelques micromètres), générant des signaux à front de montée raide. Les photons, neutres, interagissent sur une plus grande distance (centaines de micromètres), produisant des fronts de montée plus lents.

B. Construction du Paramètre d'Intérêt (PoI)

1. Extraction de signaux : Les formes d'ondes (waveforms) sont analysées. Un paramètre $x$ est défini comme le maximum de la dérivée temporelle normalisée par l'énergie : $x = \max(ds(t)/dt / E)$.
2. Normalisation : Ce paramètre $x$ est ensuite redimensionné pour être sans dimension et compris dans l'intervalle $[0, 1]$ en utilisant les valeurs minimales et maximales observées pour les deux populations.
3. Génération de PMF : Des PMFs discrétisées sont générées pour les populations d'électrons et de photons à partir de ce paramètre $x$. Les distributions sont disjointes mais pas totalement séparées (recouvrement partiel).

C. Métriques et Fonctions de Normalisation Comparées

• Métriques de distance évaluées :
  1. Distance de Hellinger ($H$)
  2. Distance de Wasserstein-1 ($W_1$) et Wasserstein-2 ($W_2$)
  3. Racine carrée de la divergence de Jensen-Shannon ($\sqrt{JS}$)
  4. Norme $L_\infty$ (distance de Chebyshev)
  5. Distance de Kolmogorov-Smirnov ($KS$)
  6. Distance de Fisher-Rao ($FR$)
• Fonctions de normalisation : L'article propose une liste de propriétés qu'une fonction de normalisation $n(x)$ doit satisfaire (bornes, bijectivité, monotonie, préservation de la métrique). Quatre fonctions candidates sont testées :
  • $n_1(x) = \frac{\log(1+x)}{1+\log(1+x)}$
  • $n_2(x) = \frac{x}{1+x}$
  • $n_3(x) = 1 - e^{-x}$
  • $n_4(x) = \frac{2}{\pi}\arctan(x)$

D. Analyse de stabilité
Les auteurs étudient la stabilité des distances calculées en variant :

• La taille de l'échantillon (nombre d'événements).
• La longueur de discrétisation (taille des bins).
• L'application (ou non) des fonctions de normalisation.

3. Résultats Clés

A. Comportement des métriques sans normalisation

• Les distances mesurées varient considérablement selon la métrique choisie.
• Les métriques Hellinger, KS et Fisher-Rao montrent une insensibilité marquée : elles tendent vers la valeur maximale (1,0) même pour des distributions qui ne sont pas totalement disjointes, limitant leur utilité pour quantifier des différences subtiles.
• Les distances Wasserstein-1 ($W_1$) et $L_\infty$ sont moins sujettes à cette saturation mais s'avèrent très instables, particulièrement avec de faibles statistiques ou des longueurs de discrétisation variables.
• La distance $\sqrt{JS}$ se distingue par sa robustesse.

B. Impact de la normalisation

• L'application de fonctions de normalisation manuellement définies tend à réduire l'écart-type des mesures, rapprochant les différentes métriques les unes des autres.
• Les métriques Hellinger, $\sqrt{JS}$ et KS sont les moins affectées par le choix de la fonction de normalisation (leurs valeurs restent stables avec ou sans normalisation).
• À l'inverse, les distances $L_\infty$ et Fisher-Rao sont fortement impactées par le choix de la fonction de normalisation.

C. Stabilité face aux variations de données

• Discrétisation : La distance $W_2$ est la plus sensible aux changements de la longueur de discrétisation. En revanche, Hellinger, $\sqrt{JS}$ et Fisher-Rao restent stables.
• Taille de l'échantillon : $\sqrt{JS}$, $L_\infty$ et Fisher-Rao sont les plus instables lorsque les statistiques sont faibles. Cependant, dans l'ensemble, $\sqrt{JS}$ démontre le meilleur compromis entre stabilité et capacité à ne pas saturer prématurément.

4. Contributions Principales

1. Analyse comparative empirique : Fourniture d'une comparaison systématique de sept métriques de distance courantes sur un jeu de données physiques réels (spectroscopie HPGe), comblant un manque d'études basées sur des données expérimentales.
2. Définition formelle des fonctions de normalisation : Proposition d'un ensemble de propriétés mathématiques rigoureuses (bornes, bijectivité, préservation de la métrique) qu'une fonction de normalisation doit posséder pour être valide dans ce contexte.
3. Identification de la métrique optimale : Mise en évidence que la racine carrée de la divergence de Jensen-Shannon ($\sqrt{JS}$) est la métrique la plus fiable pour cette application spécifique, offrant un équilibre entre stabilité numérique et sensibilité aux différences de distribution.
4. Validation physique : Démonstration de l'efficacité de ces outils statistiques pour discriminer des événements physiques (électrons vs photons) dans des détecteurs à semi-conducteurs, avec des implications pour l'optimisation des algorithmes de sélection d'événements.

5. Signification et Conclusion

Cette étude conclut que le choix de la métrique de distance est critique et dépend fortement du contexte d'application (taille des données, niveau de bruit, besoin de normalisation). Pour l'analyse des événements dans les détecteurs HPGe, la distance $\sqrt{JS}$ est recommandée comme la métrique la plus robuste.

Les auteurs soulignent également que les fonctions de normalisation manuelles proposées améliorent la cohérence globale des mesures, bien qu'aucune ne se distingue nettement des autres dans cette étude spécifique. Ce travail ouvre la voie à des investigations futures incluant d'autres métriques et fonctions de normalisation, avec une application potentielle étendue à d'autres domaines de la physique des particules et de l'apprentissage automatique où la comparaison de distributions est essentielle.