Correlation of divergency: c-delta. Being different in a similar way or not

Cet article présente le coefficient de corrélation de divergence (c-delta), une nouvelle mesure statistique conçue pour quantifier la similarité des schémas de divergence interne entre deux groupes de valeurs, offrant ainsi une perspective inédite pour l'analyse de structures de variabilité dans des domaines allant de la physique quantique à l'intelligence artificielle.

L'essentiel

🌟 Le "Miroir des Différences" : Comprendre le coefficient $c\delta$

Imaginez que vous avez deux groupes de personnes : un groupe d'artistes (Groupe X) et un groupe de cuisiniers (Groupe Y).

Habituellement, si vous voulez comparer deux groupes, vous utilisez des outils classiques (comme la corrélation de Pearson) qui vous disent : "Quand un artiste peint beaucoup, est-ce que le cuisinier cuisine beaucoup ?". C'est une comparaison de valeurs.

Mais l'auteur, Johan Hoorn, se pose une question totalement différente et plus subtile :

"Est-ce que la façon dont les artistes sont différents les uns des autres ressemble à la façon dont les cuisiniers sont différents les uns des autres ?"

C'est là qu'intervient le coefficient de corrélation de la divergence (ou $c\delta$).

🎭 L'Analogie du "Chorégraphe des Écarts"

Pour visualiser ce que fait ce nouvel outil, imaginez une scène de théâtre :

1. Le Groupe X (Les Artistes) : Ils sont tous sur scène. Certains sont très grands, d'autres très petits. Certains sont très bruyants, d'autres silencieux.

   • L'outil regarde chaque artiste et se demande : "Par rapport à tout le reste du groupe, est-ce que toi, tu es une exception ?"
   • Si l'artiste A est très différent de la moyenne, il a un "score de divergence" élevé. S'il ressemble à tout le monde, son score est bas.

2. Le Groupe Y (Les Cuisiniers) : Même chose. On regarde chaque cuisinier et on calcule son "score de divergence" par rapport aux autres cuisiniers.

3. La Magie du $c\delta$ : Maintenant, on superpose les deux groupes.

   • Si l'artiste le plus "bizarre" (le plus différent) correspond au cuisinier le plus "bizarre", et que l'artiste "moyen" correspond au cuisinier "moyen", alors le coefficient $c\delta$ sera élevé.
   • Cela signifie : "Vous n'êtes pas pareils (vous ne cuisinez pas comme vous peignez), mais vous avez la même structure de différences."

En résumé : Le $c\delta$ ne vous dit pas si les valeurs sont proches. Il vous dit si la carte des écarts est la même. C'est comme comparer deux empreintes digitales : même si les doigts sont de tailles différentes, si les lignes (les écarts) se ressemblent, les empreintes sont "corrélées".

---

🧐 À quoi ça sert ? (Des exemples concrets)

L'auteur suggère plein d'utilisations fascinantes :

• En Génétique : Est-ce que la façon dont les humains varient génétiquement (certains très différents, d'autres très similaires) ressemble à la façon dont les chimpanzés varient ?
• En Usine (Contrôle Qualité) : Est-ce que la machine A produit des pièces avec la même "variabilité" (certaines parfaites, d'autres avec des défauts uniques) que la machine B ?
• En Physique Quantique : Est-ce que le "brouillard" d'incertitude d'une particule ressemble au brouillard d'une autre ?
• En Réseaux Sociaux : Est-ce que la façon dont les gens sont éloignés les uns des autres dans un réseau d'amis ressemble à la façon dont ils sont éloignés dans un réseau professionnel ?

---

⚠️ Les Pièges et Limites (Ce qu'il faut savoir)

Comme tout nouvel outil, il a ses défauts, que l'auteur explique honnêtement :

1. Il ne peut pas être négatif :

   • Imaginez que le Groupe A a un "pic" de différence au début, et le Groupe B a un "pic" de différence à la fin. Le $c\delta$ dira que c'est une grande similarité (car il y a des pics dans les deux), même si l'ordre est inversé.
   • Solution proposée : Il faut ajouter un petit "indicateur de direction" (comme une boussole) pour savoir si les différences vont dans le même sens ou en sens inverse.

2. Il déteste les extrêmes (les "Outliers") :

   • Si vous avez un groupe de 10 personnes et qu'une seule est un génie de 3 mètres de haut, cela va fausser tout le calcul. Le $c\delta$ est très sensible aux valeurs extrêmes (comme la variance classique).
   • Solution : Utiliser une version "douce" qui ignore un peu les extrêmes, ou utiliser des rangs (1er, 2ème, 3ème) au lieu des mesures exactes.

3. Pas de "zéro absolu" universel :

   • Contrairement à la température (où 0°C est toujours 0°C), la valeur du $c\delta$ dépend de vos données. Un score de 5 peut être énorme pour un jeu de données, mais faible pour un autre.
   • Solution : L'auteur propose de comparer le résultat obtenu avec le "meilleur score possible" pour vos propres données, pour avoir un pourcentage (de 0% à 100%).

4. Il faut beaucoup de données :

   • Avec seulement 2 ou 3 personnes, l'outil ne fonctionne pas bien. Il faut un échantillon d'au moins 10 personnes pour être sûr du résultat.

---

🏁 Conclusion Simple

Le coefficient $c\delta$ est un nouvel outil statistique qui répond à une question que personne ne posait vraiment avant :

"Est-ce que nos deux groupes sont différents de la même manière ?"

C'est comme comparer la texture de deux tissus différents. L'un peut être de la soie et l'autre du velours (valeurs différentes), mais si tous les deux ont des motifs de plis très similaires, le $c\delta$ vous dira : "Hé, regardez ! Vos structures de différences sont jumeaux !"

C'est une méthode prometteuse pour la science, l'IA et la physique, mais il faut l'utiliser avec précaution, en vérifiant bien qu'il n'y a pas de valeurs bizarres qui faussent le résultat.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche de Johan F. Hoorn (2026) intitulé « Correlation of divergency: cδ. Being different in a similar way or not ».

1. Problématique et Contexte

L'article identifie un vide méthodologique dans les statistiques comparatives. Les coefficients de corrélation classiques (Pearson, Spearman) mesurent l'association directe entre des valeurs appariées (c'est-à-dire si une augmentation de $x$ correspond à une augmentation ou une diminution de $y$). Cependant, de nombreuses applications scientifiques (physique quantique, génétique, psychométrie, apprentissage automatique) nécessitent de comparer la structure de la variabilité interne de deux ensembles de données, indépendamment de leurs valeurs absolues.

La question centrale est : « Les deux groupes de données divergent-ils de manière similaire ? » Autrement dit, lorsque une valeur dans le groupe A s'éloigne de la moyenne du groupe A, la valeur correspondante dans le groupe B s'éloigne-t-elle également de la même manière par rapport à son propre groupe ? Les mesures existantes (distance d'énergie, MMD, fidélité quantique) comparent souvent les distributions globales ou les états, mais ne quantifient pas spécifiquement la similarité des profils de dispersion entre des paires d'observations.

2. Méthodologie : Le Coefficient de Corrélation de Divergence ($c\delta$)

L'auteur propose une nouvelle mesure statistique, le coefficient $c\delta$, conçu pour quantifier la similarité des motifs de divergence interne entre deux groupes de valeurs appariées ($x$ et $y$).

A. Formulation Mathématique

Le calcul repose sur une approche hiérarchique en trois étapes :

1. Calcul de la divergence individuelle ($D_{i}$) : Pour chaque point $i$ dans un ensemble, on calcule sa divergence par rapport à tous les autres points de ce même ensemble.

   • La version standard utilise la racine carrée de la moyenne des écarts quadratiques (RMS) :
     $$D_{x,i} = \sqrt{\frac{1}{n-1} \sum_{j \neq i} (x_i - x_j)^2}$$
   • Une variante robuste utilise les valeurs absolues (type Gini) :
     $$D_{x,i} = \frac{1}{n-1} \sum_{j \neq i} |x_i - x_j|$$

2. Calcul du numérateur (Signal) : On multiplie les divergences individuelles correspondantes des deux ensembles ($D_{x,i} \times D_{y,i}$) et on somme ces produits sur tous les $i$. Cela mesure la co-variance des structures de dispersion.

3. Calcul du dénominateur (Normalisation) : On multiplie les divergences moyennes internes de chaque groupe ($\bar{D}_x \times \bar{D}_y$). Cela assure l'invariance d'échelle.

La formule finale est :
$$c\delta = \frac{\sum_{i=1}^{n} (D_{x,i} \cdot D_{y,i})}{\bar{D}_x \cdot \bar{D}_y}$$

B. Propriétés Techniques

• Invariance d'échelle : Si les données sont multipliées par une constante, le coefficient reste inchangé.
• Plage de valeurs : $c\delta \in [0, +\infty)$. Il est strictement non-négatif par construction.
• Complexité computationnelle : $O(N^2)$ en raison du calcul des paires, similaire à la distance d'énergie.
• Extensions : La méthode s'adapte aux données complexes (en utilisant le module au carré) et aux distributions de probabilité (en remplaçant les différences par des distances de distributions comme Wasserstein ou KL).

3. Résultats et Analyse Comparative

L'article compare $c\delta$ avec d'autres métriques statistiques et informationnelles (Tableau 1) :

• Vs. Pearson/Spearman : Contrairement à ces derniers qui mesurent l'association linéaire ou monotone des valeurs brutes, $c\delta$ compare la structure de la dispersion. $c\delta$ n'est pas borné entre -1 et 1 et ne détecte pas la directionnalité (positif/négatif) de la relation, mais seulement la similarité de la "forme" de la variabilité.
• Vs. Distance d'Énergie et MMD : Ces métriques mesurent la distance entre deux distributions globales. $c\delta$ est unique car il préserve la structure d'appariement des observations tout en analysant leur variabilité interne relative.
• Robustesse : La version standard (écarts quadratiques) est très sensible aux valeurs aberrantes (outliers), avec un point de rupture proche de 0. L'auteur recommande la version basée sur les valeurs absolues (L1) ou une version basée sur les rangs pour une meilleure robustesse.

Comportement de la mesure

• Valeurs élevées : Indiquent que les motifs de divergence sont similaires (ex: si un point est un "outlier" dans X, le point correspondant est aussi un "outlier" dans Y).
• Valeurs proches de zéro : Indiquent une absence de relation entre les structures de divergence.
• Limitation de la directionnalité : $c\delta$ ne peut pas distinguer un motif de divergence similaire d'un motif inverse (miroir). Par exemple, si X augmente et Y diminue de manière symétrique, $c\delta$ restera élevé car les écarts internes sont similaires. L'auteur propose de coupler $c\delta$ avec une corrélation de Pearson/Spearman calculée sur les vecteurs de divergence $D_i$ pour capturer la direction.

4. Contributions Clés

1. Nouvelle Métrique Statistique : Introduction du $c\delta$, un outil dédié à la comparaison des structures de variabilité interne plutôt que des associations de valeurs.
2. Cadre d'Interprétation : Proposition d'une normalisation empirique ($c\delta / c\delta_{max}$) pour ramener la valeur dans l'intervalle [0, 1], permettant une interprétation plus intuitive, bien que dépendante de l'échantillon.
3. Cadre d'Inférence : Reconnaissance de l'absence de distribution nulle analytique fermée et recommandation d'utiliser des tests de permutation (pour les p-values) et le bootstrap (pour les intervalles de confiance) comme méthodes d'inférence standard.
4. Applications Transdisciplinaires : Identification de cas d'usage concrets :
   • Physique Quantique : Comparaison de la dispersion des résultats de mesure entre systèmes quantiques ou états intriqués.
   • Biologie : Comparaison des profils de divergence génétique entre espèces.
   • Psychométrie : Vérification de la cohérence des différences inter-individuelles à travers différents tests.
   • Contrôle Qualité : Comparaison de la variabilité entre différentes machines de production.

5. Signification et Limites

Signification :
Le $c\delta$ comble un vide méthodologique en offrant un moyen de quantifier la similitude structurelle de la variabilité. Il est particulièrement pertinent pour valider des simulateurs quantiques, vérifier la cohérence de modèles de clustering, ou analyser la stabilité de la variabilité dans des systèmes complexes. Il permet de répondre à la question : "Les deux systèmes sont-ils 'différents de la même manière' ?"

Limites et Avertissements :

• Sensibilité aux Outliers : La version quadratique est vulnérable aux valeurs extrêmes.
• Non-borné et Non-directionnel : Sans normalisation, la valeur est difficile à interpréter universellement. L'incapacité à détecter les relations inverses nécessite une analyse complémentaire.
• Dépendance à l'échantillon : La normalisation par $c\delta_{max}$ rend la comparaison entre études différentes délicate si les structures de données sous-jacentes diffèrent.
• Variance Nulle : La mesure est indéfinie si l'un des groupes n'a aucune variabilité interne (toutes les valeurs identiques).

Conclusion :
L'article présente le $c\delta$ comme une mesure prometteuse mais nécessitant des précautions d'usage. Il recommande l'utilisation de variantes robustes (L1 ou rangs), l'application systématique de tests de permutation, et le rapport conjoint de la valeur brute, de la valeur normalisée, et d'une mesure de directionnalité pour une interprétation complète. Des travaux futurs sont nécessaires pour établir la théorie asymptotique et développer des implémentations logicielles open-source.