On topological and algebraic structures of categorical random variables

Cet article définit une métrique pour les variables aléatoires catégorielles basée sur l'entropie et l'incertitude symétrique, démontrant que l'espace quotient associé possède une structure de monoïde commutatif compatible avec la topologie induite.

L'essentiel

Imaginez que vous êtes un détective essayant de comprendre une ville remplie de gens qui ne parlent pas la même langue, mais qui partagent des habitudes. Certains portent des chapeaux rouges, d'autres des chapeaux bleus. Certains mangent des pommes, d'autres des bananes. Ces "chapeaux" et "fruits" sont ce que les mathématiciens appellent des variables catégorielles : des données qui ne sont pas des nombres (comme 1, 2, 3), mais des étiquettes (comme "Rouge", "Bleu", "Pomme").

Le défi, c'est de mesurer à quel point deux de ces étiquettes sont liées. Est-ce que les gens qui portent des chapeaux rouges mangent souvent des pommes ? Ou est-ce que c'est juste une coïncidence ?

Voici ce que ce papier de recherche (écrit par Inocencio Ortiz, Santiago Gómez-Guerrero et Christian E. Schaerer) propose, expliqué simplement :

1. La Règle du "Jeu de l'Information" (La Métrique SU)

Jusqu'à présent, mesurer la relation entre deux catégories était un peu comme essayer de comparer une pomme et une orange avec une règle en bois : on ne savait pas trop comment faire.

Les auteurs ont utilisé un concept appelé Symmetric Uncertainty (SU), ou "Incertitude Symétrique".

• L'analogie : Imaginez que vous avez deux boîtes mystères.
  • Si ouvrir la première boîte (Variable A) ne vous donne aucune idée de ce qu'il y a dans la deuxième (Variable B), alors elles sont totalement indépendantes. Elles ne se ressemblent pas.
  • Si ouvrir la première boîte vous permet de deviner exactement ce qu'il y a dans la deuxième, alors elles sont "collées" l'une à l'autre. Elles sont très similaires.

Le papier transforme cette idée en une règle de distance. Ils disent : "Plus deux variables sont liées, plus la distance entre elles est petite. Plus elles sont différentes, plus la distance est grande."
Ils ont prouvé mathématiquement que cette règle fonctionne comme une vraie règle de mesure (comme un mètre), permettant de dire : "Ces deux variables sont à 0,1 mètre l'une de l'autre, tandis que celles-ci sont à 0,9 mètre."

2. Le "Club des Jumelles" (L'Espace Quotient)

Il y a un petit problème : parfois, deux variables semblent différentes mais sont en fait des jumeaux séparés à la naissance.

• Exemple : Une variable "Couleur" avec les étiquettes {Rouge, Bleu} et une autre "Vêtement" avec {Chapeau, Pantalon}. Si chaque fois qu'il y a un "Rouge", il y a un "Chapeau", et chaque fois qu'il y a un "Bleu", il y a un "Pantalon", ces deux variables disent exactement la même chose, juste avec des mots différents.

Les auteurs disent : "Arrêtons de les compter comme deux personnes différentes." Ils créent un club des jumelles (ce qu'ils appellent un espace quotient). Dans ce club, on ne regarde pas l'étiquette (le mot), mais le sens (la partition). Si deux variables disent la même chose, elles sont considérées comme indiscernables (identiques). C'est comme si on regroupait tous les jumeaux sous un seul nom pour simplifier le calcul.

3. La "Fusion" des Variables (La Structure Algébrique)

Maintenant, imaginez que vous voulez combiner deux informations.

• Vous avez la variable "Météo" (Pluie / Soleil).
• Vous avez la variable "Vêtements" (Manteau / T-shirt).

Les auteurs proposent une opération magique appelée Joint (ou Joint Operation). C'est comme si vous preniez deux cartes à jouer et que vous les colliez dos à dos pour en faire une seule carte plus grosse.

• Le résultat est une nouvelle variable "Météo + Vêtements" qui a des étiquettes comme {Pluie+Manteau, Pluie+T-shirt, Soleil+Manteau, Soleil+T-shirt}.

Ils montrent que cette opération fonctionne très bien dans leur "Club des jumelles". Elle est :

• Commutable : Peu importe l'ordre (Météo + Vêtements = Vêtements + Météo).
• Associative : Vous pouvez grouper les variables comme vous voulez.
• Avec un élément neutre : Il existe une variable "vide" (comme une boîte vide) qui, si vous la combinez avec n'importe quelle autre, ne change rien.

Ensemble, cela forme ce qu'ils appellent un monoïde commutatif. En langage simple : c'est un système de règles très solide pour combiner des informations qualitatives sans rien casser.

4. L'Harmonie Parfaite (Compatibilité Topologique et Algébrique)

C'est la partie la plus élégante du papier.

• D'un côté, ils ont une carte (la topologie) qui mesure les distances entre les variables.
• De l'autre, ils ont une machine à fusionner (l'algèbre) qui combine les variables.

Leur grande découverte est que ces deux choses fonctionnent en harmonie. Si vous prenez deux variables qui sont très proches l'une de l'autre sur la carte, et que vous les fusionnez avec deux autres variables qui sont aussi proches, le résultat sera encore proche.

• L'analogie : Imaginez que vous mélangez deux couleurs de peinture très similaires (un bleu clair et un bleu ciel). Si vous faites la même chose avec deux autres nuances très proches, le résultat final restera dans la même famille de couleurs. La "fusion" ne crée pas de chaos ; elle respecte la distance.

Pourquoi est-ce utile pour tout le monde ?

Avant ce papier, les statisticiens utilisaient des outils puissants pour les nombres (comme la corrélation de Pearson), mais ils étaient un peu perdus avec les données textuelles ou catégorielles (comme les couleurs, les marques, les types de maladie).

Ce papier dit : "Maintenant, nous avons une règle de mesure et une méthode de combinaison pour les données non-numériques."
Cela permet aux praticiens de :

1. Mesurer la similarité entre des concepts abstraits.
2. Combiner des données qualitatives de manière mathématiquement rigoureuse.
3. Comprendre les données qualitatives avec la même précision que les données numériques.

En résumé, les auteurs ont construit un pont mathématique qui permet de traiter les mots et les catégories avec la même rigueur que les chiffres, en leur donnant une "distance" et une capacité à se "fusionner" proprement. C'est comme donner une boussole et un moteur à un explorateur qui naviguait auparavant à l'aveugle dans la jungle des données qualitatives.

Résumé technique

Voici un résumé technique détaillé de l'article « On topological and algebraic structures of categorical random variables » en français.

1. Problématique

Les variables aléatoires catégorielles (ou nominales) sont omniprésentes dans l'analyse de données, mais leur traitement mathématique pose des défis spécifiques par rapport aux variables numériques. Bien que des mesures de corrélation comme l'information mutuelle (MI) et l'incertitude symétrique (SU) existent pour évaluer la similarité entre ces variables, elles manquent souvent d'une fondation structurelle rigoureuse.

Le problème central abordé par les auteurs est le manque de formalisation mathématique unifiée pour l'espace des variables aléatoires catégorielles. Plus précisément :

• Comment définir une topologie (une notion de distance et de continuité) sur cet espace basée sur des mesures d'entropie ?
• Existe-t-il une structure algébrique naturelle (comme une opération de combinaison) compatible avec cette topologie ?
• Comment formaliser l'équivalence entre des variables qui partagent la même structure d'information mais des étiquettes différentes ?

2. Méthodologie

Les auteurs adoptent une approche combinant la théorie de l'information (entropie de Shannon) et l'algèbre abstraite (théorie des catégories et structures topologiques).

• Fondements théoriques : Ils utilisent l'entropie $H(X)$, l'entropie conjointe $H(X, Y)$ et l'information mutuelle $MI(X, Y)$. Ils s'appuient sur la définition de l'incertitude symétrique (SU) :
  $$SU(X, Y) = 2 \left[ 1 - \frac{H(X, Y)}{H(X) + H(Y)} \right]$$
• Construction de l'espace quotient : Pour gérer le fait que deux variables peuvent être structurellement identiques mais avoir des étiquettes différentes (ex: {1,2,3} vs {A,B,C}), les auteurs définissent une relation d'indiscernabilité. Deux variables $X$ et $Y$ sont indiscernables s'il existe une bijection entre leurs ensembles de valeurs telle que $Y = h \circ X$ presque partout. L'espace de travail est l'espace quotient $\mathcal{C}$ des classes d'équivalence de variables catégorielles.
• Définition de la métrique : Ils proposent de transformer la mesure de similarité SU en une métrique de distance $d$ sur l'espace quotient $\mathcal{C}$ via la relation $d(X, Y) = 1 - SU(X, Y)$.
• Définition de l'opération algébrique : Ils introduisent une opération binaire, notée $\ast$ (jointure), définie par la combinaison des partitions associées aux variables. Si $X$ et $Y$ sont des variables, $Z = X \ast Y$ est la variable dont les valeurs sont les paires $(X(p), Y(p))$.
• Analyse de compatibilité : Ils étudient la continuité de l'opération $\ast$ par rapport à la topologie induite par la métrique $d$.

3. Contributions Clés

A. Structure Topologique (Métrique)

• Preuve de métrique : Les auteurs démontrent que $d(X, Y) = 1 - SU(X, Y)$ satisfait les axiomes d'une métrique (non-négativité, symétrie, inégalité triangulaire, identité des indiscernables) sur l'espace quotient $\mathcal{C}$.
• Non-discrétion de la topologie : Contrairement à une intuition initiale suggérant que l'espace des variables catégorielles pourrait être discret, ils prouvent que la topologie induite n'est pas discrète. Ils montrent qu'il est possible de construire une suite de variables "bruitées" qui converge vers la variable originale, rendant la distance arbitrairement petite.

B. Structure Algébrique (Monoïde)

• Opération de Jointure : L'opération $\ast$ (correspondant à l'intersection des partitions) est bien définie sur les classes d'équivalence.
• Structure de Monoïde Commutatif : Ils établissent que l'espace quotient $\mathcal{C}$ muni de l'opération $\ast$ forme un monoïde commutatif.
  • Associativité et Commutativité : Démontrées via les propriétés des intersections de partitions.
  • Élément neutre : La variable constante (qui définit la partition triviale de l'espace d'échantillonnage) agit comme élément neutre.

C. Compatibilité Topo-Algébrique

• Continuité : Le résultat majeur est la preuve que l'opération de jointure $\ast : \mathcal{C} \times \mathcal{C} \to \mathcal{C}$ est continue par rapport à la topologie définie par la métrique $d$.
• Cela signifie que si deux paires de variables sont proches (faible distance), leurs jointures respectives sont également proches.

4. Résultats Principaux

1. Théorème 3.5 : La quantité $1 - SU(X, Y)$ est une métrique de distance normalisée sur l'espace des classes d'équivalence de variables catégorielles.
2. Théorème 4.5 : L'opération de jointure confère à cet espace une structure de monoïde commutatif.
3. Théorème 4.6 : L'opération de jointure est continue par rapport à la métrique induite par l'incertitude symétrique.
4. Exemple empirique : L'article illustre ces concepts avec un jeu de données sur le recrutement (traits de personnalité vs embauche), montrant comment la SU permet de quantifier la similarité entre des variables catégorielles (ex: la créativité est fortement corrélée à l'embauche dans l'exemple).

5. Signification et Impact

Ce travail apporte une formalisation mathématique rigoureuse à l'analyse des variables catégorielles, comblant un vide entre la théorie de l'information et l'analyse structurelle des données.

• Intuition pour les praticiens : En établissant une structure de métrique et d'algèbre compatible, les auteurs rendent l'utilisation de la corrélation entropique (SU) aussi intuitive et opérationnelle que la corrélation de Pearson pour les variables numériques. Les praticiens peuvent désormais "opérer" sur des variables qualitatives avec des garanties mathématiques.
• Représentation des concepts : Les variables catégorielles ne sont plus vues comme de simples étiquettes, mais comme des porteurs de concepts dont les distances et les combinaisons ont un sens sémantique et mathématique.
• Perspectives futures : Les auteurs indiquent que ces résultats ouvrent la voie à l'extension vers des mesures d'incertitude symétrique multivariée (MSU) pour $n$ variables, permettant une analyse de corrélation plus complexe où les incertitudes se compensent mutuellement.

En résumé, cet article transforme l'incertitude symétrique d'une simple mesure de similarité en un outil structurel puissant, dotant l'espace des variables catégorielles d'une géométrie et d'une algèbre cohérentes.