📊 statistics

Unbiased mixed variables distance

Cet article traite du biais dans les mesures de distance à variables mixtes existantes causé par la différence des types et des échelles de variables en définissant des concepts pertinents pour quantifier de tels biais et en proposant une formulation générale pour construire des distances impartiales où les contributions de chaque variable sont indépendantes des types ou des unités de mesure.

Auteurs originaux : Michel van de Velden, Alfonso Iodice D'Enza, Angelos Markos, Carlo Cavicchia

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michel van de Velden, Alfonso Iodice D'Enza, Angelos Markos, Carlo Cavicchia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de mesurer à quel point deux personnes sont différentes l'une de l'autre. Vous avez une liste de traits : leur taille (un nombre), leur couleur préférée (une catégorie), leur âge (un nombre) et leur intitulé de poste (une catégorie).

Dans le monde de la science des données, on appelle cela un problème de « variable mixte ». Vous essayez de mélanger des pommes (des nombres) et des oranges (des catégories) dans une seule salade de fruits de la « différence ».

L'article de Van de Velden et de ses collègues soutient que les recettes standards pour préparer cette salade sont biaisées. Elles ont tendance à donner un goût beaucoup plus fort aux oranges qu'aux pommes, ou vice versa, simplement à cause de la manière dont les ingrédients sont mesurés, et non parce qu'un trait est réellement plus important que l'autre.

Voici une décomposition simple de leur argument et de leur solution :

1. Le Problème : Le « bouton de volume » est cassé

Lorsque nous calculons à quelle distance se trouvent deux personnes, nous additionnons généralement les différences pour chaque trait.

Le Problème : Si vous mesurez la taille en mètres, la différence peut être de 0,5. Si vous la mesurez en millimètres, la différence est de 500. Si vous avez un intitulé de poste avec 50 options, la « distance » entre les titres peut être énorme par rapport à une couleur avec seulement 3 options.
Le Biais : L'article montre que les méthodes standard (comme la célèbre « distance de Gower ») augmentent accidentellement le volume sur les variables catégorielles (comme les intitulés de poste ou les couleurs) et baissent le volume sur les variables numériques (comme la taille ou le salaire). C'est comme essayer de comparer un murmure à un cri simplement parce que les réglages du microphone sont différents. Le résultat n'est pas une mesure réelle de la différence ; c'est une mesure de la façon dont les données ont été formatées.

2. Les Deux Règles pour un Mélange Équitable

Pour corriger cela, les auteurs proposent deux règles pour un calculateur de distance « équitable » :

Règle n°1 : L'Additivité (La Somme des Parties)
Imaginez que vous construisez une tour avec des blocs. La hauteur totale de la tour devrait simplement être la somme des hauteurs des blocs individuels. L'article insiste sur le fait que la « distance » totale entre deux personnes doit simplement être la somme des différences pour chaque trait spécifique. Pas de racines carrées fantaisistes ou de mathématiques cachées qui changent l'importance de chaque bloc.
Règle n°2 : La Commensurabilité (La Règle des « Pommes avec des Pommes »)
« Commensurable » signifie « mesurable sur la même échelle ».
- L'Analogie : Imaginez que vous payez une facture. Vous avez un tas de pièces de monnaie et un tas de billets de banque. Si vous comptez simplement le nombre de pièces et de billets sans les convertir en dollars, les pièces sembleront avoir beaucoup plus d'importance que les billets.
- La Correction : Vous devez tout convertir en une unité standard (comme une « différence moyenne »). L'article exige que, en moyenne, chaque variable (qu'il s'agisse d'un nombre ou d'une catégorie) contribue de la même quantité à la distance totale. Si un intitulé de poste possède 50 options, nous ne devons pas simplement compter « différent = 1 ». Nous devons ajuster les mathématiques pour que le « poids » de cet intitulé de poste corresponde au poids d'une différence de taille.

3. La Solution : Le « Poids d'Équité »

Les auteurs fournissent une formule générale pour corriger cela. Voyez cela comme une balance intelligente.

Comment ça marche : Avant d'additionner les différences, la balance examine chaque variable. Elle demande : « En moyenne, de combien cette variable change-t-elle habituellement ? »
L'Ajustement : Si une variable change souvent beaucoup (comme un intitulé de poste avec 50 options), la balance lui attribue un poids minuscule. Si une variable change très peu (comme une couleur avec seulement 3 options), la balance lui attribue un poids important.
Le Résultat : Lorsqu'on additionne enfin tout, chaque variable a un droit de cité égal. La distance est désormais « non biaisée ». Peu importe que les données soient un nombre ou un mot ; les mathématiques garantissent qu'elles contribuent de manière égale au score final.

4. Tester la Théorie

Les auteurs n'ont pas seulement écrit une théorie ; ils l'ont testée.

La Simulation : Ils ont créé des données fictives avec un « vrai » motif caché (comme une forme secrète). Ils ont ensuite essayé de trouver cette forme en utilisant différentes méthodes de distance.
- Les anciennes méthodes biaisées se trompaient de forme car elles étaient trop distraites par les variables catégorielles (les intitulés de poste).
- Les nouvelles méthodes « non biaisées » ont trouvé la forme secrète avec beaucoup plus de précision car elles traitaient toutes les variables équitablement.
Le Test en Conditions Réelles : Ils ont utilisé des données de joueurs de football FIFA (2021). Ils ont examiné des éléments comme la taille, le poids et la position. Ils ont montré que les méthodes standard faisaient en sorte que la variable « position » domine les résultats, tandis que leur nouvelle méthode équilibrait l'influence de la position par rapport aux statistiques physiques comme la taille et le poids.

L'Essentiel à Retenir

L'article conclut que lorsque nous mélangeons des nombres et des catégories, nous laissons souvent accidentellement le type de données dicter les résultats, plutôt que les données elles-mêmes.

Leur solution est une nouvelle façon de calculer la distance qui agit comme un terrain nivelé. Elle garantit que, que vous compariez le salaire d'une personne ou son sport préféré, aucun des deux ne bénéficie d'un « passe gratuit » pour dominer la comparaison simplement à cause de sa manière d'être mesuré. Cela offre aux chercheurs un point de départ bien plus honnête pour le regroupement de données ou la visualisation.

Résumé Technique : Distance de Variables Mixtes Non Biaisée

Énoncé du Problème
Dans les tâches d'analyse de données telles que le partitionnement (clustering), la classification et la visualisation, la mesure de la distance entre les observations est fondamentale. Un défi important surgit lorsque les ensembles de données contiennent des variables mixtes — des combinaisons de variables numériques (continues ou discrètes) et catégorielles (binaires, ordinales ou nominales). Les méthodes existantes pour calculer les distances de variables mixtes, notamment le coefficient de similitude général de Gower, souffrent souvent de « biais ». Ce biais se manifeste lorsque la contribution des variables individuelles à la distance globale est indûment influencée par leur type de mesure, leur échelle ou le nombre de catégories, plutôt que par leurs différences réelles observées. Par conséquent, certains types de variables peuvent dominer le calcul de la distance, entraînant des résultats déformés dans les analyses en aval.

Méthodologie
Les auteurs proposent une formulation générale pour construire des distances de variables mixtes « non biaisées ». Leur approche est fondée sur deux propriétés théoriques :

Additivité Multivariée : La distance multivariée globale est définie comme la somme des distances univariées spécifiques à chaque variable. Cela garantit que la contribution de chaque variable est additive et explicitement définie, évitant ainsi les hypothèses géométriques implicites des métriques non additives comme la distance euclidienne (qui diminue la contribution par variable à mesure que la dimensionnalité augmente).
Commensurabilité : Les contributions univariées à la distance globale doivent être commensurables, ce qui signifie que leurs valeurs attendues sont constantes pour toutes les variables, quels que soient le type de variable, l'échelle ou la distribution sous-jacente.

Les auteurs dérivent une formulation de distance générale :
$d(x_i, x_l) = \sum_{j=1}^{p} w_j \delta_j(x_i, x_l)$
où $\delta_j$ quantifie la dissimilarité pour la variable $j$ , et $w_j$ est un poids. Pour atteindre la commensurabilité, les poids sont définis comme l'inverse de la distance attendue pour cette variable :
$w_j = 1 / E[d_j(X_i, X_l)]$

L'article analyse systématiquement comment les choix courants d'échelle et de distance violent ces propriétés :

Variables Numériques : Les auteurs évaluent l'échelle de l'écart-type, l'échelle de l'étendue (utilisée dans la distance de Gower), l'échelle d'étendue robuste et l'échelle par composantes principales. Ils démontrent que bien que ces méthodes standardisent les échelles, elles ne garantissent pas la commensurabilité entre différentes distributions sous-jacentes (par exemple, Normale vs Uniforme vs Asymétrique).
Variables Catégorielles : Les auteurs passent en revue diverses matrices de dissimilarité de catégories (par exemple, appariement simple, Eskin, fréquence d'occurrence, mise à l'échelle de Hennig-Liao, et mesures basées sur l'association comme Kullback-Leibler et la Variance Totale). Ils montrent que la distance moyenne pour les variables catégorielles dépend fortement du nombre de catégories et de la distribution des probabilités de catégories.

Pour construire une distance non biaisée, les auteurs proposent d'estimer la distance moyenne attendue pour chaque variable à partir des données observées (ou des distributions théoriques) et d'appliquer l'inverse de cette valeur comme poids. Cela crée une famille de distances non biaisées où l'« unité » de mesure est effectivement la « distance moyenne ».

Contributions Clés

Formulation Générale : L'article fournit un cadre flexible et général pour les distances de variables mixtes qui satisfait l'additivité multivariée et la commensurabilité, permettant diverses implémentations de $\delta_j$ et de méthodes d'échelle.
Quantification du Biais : Les auteurs dérivent l'ampleur des biais introduits par les méthodes populaires (par exemple, la distance de Gower, la mise à l'échelle de Hennig-Liao) et démontrent comment ces biais varient selon les types de distribution et le nombre de catégories.
Construction Non Biaisée : Ils fournissent une méthode concrète pour corriger ces biais en pondérant les variables selon leurs distances moyennes empiriques ou théoriques, garantissant que les types de variables et les échelles ne dictent pas trivialement la structure de la distance.
Évaluation : L'étude évalue les approches indépendantes (spécifiques à la variable) et basées sur l'association (distribution jointe) pour les variables catégorielles, montrant comment les approches basées sur l'association peuvent affiner davantage les calculs de distance dans les contextes mixtes.

Résultats
Les auteurs valident leurs conclusions par une étude de simulation et une application empirique utilisant les données des joueurs de la FIFA :

Simulation : Dans un environnement contrôlé avec des structures sous-jacentes connues, les auteurs montrent que les méthodes non commensurables (comme la distance de Gower standard ou les approches euclidiennes naïves) conduisent à des contributions de variables biaisées par le nombre de catégories ou le type de variable. Par exemple, la distance de Gower a tendance à surpondérer les variables catégorielles, tandis que la mise à l'échelle de Hennig-Liao avec la distance euclidienne peut surpondérer les variables numériques.
Récupération de la Structure : Lors de la récupération d'une configuration de faible dimension via le Positionnement Multidimensionnel (MDS), les variantes non biaisées (spécifiquement la variante « Dépendante Non Biaisée » utilisant des mesures basées sur l'association) ont démontré une performance supérieure pour récupérer la véritable structure sous-jacente, particulièrement à mesure que le nombre de catégories augmentait.
Application Empirique : L'analyse du jeu de données FIFA a confirmé que les méthodes biaisées produisent des distorsions prévisibles dans l'importance des variables et les solutions MDS. Les méthodes non biaisées ont fourni une base plus objective où les contributions des variables sont équilibrées selon le principe de commensurabilité.

Signification et Revendications
Les auteurs affirment que leur travail répond à un problème fondamental dans l'analyse de données basée sur la distance : le manque d'objectivité dans la manière dont les différents types de variables contribuent à la dissimilarité globale. En définissant et en construisant des distances non biaisées, ils fournissent un point de départ plus neutre pour l'analyse exploratoire.

Le papier exprime explicitement sa modestie concernant l'optimalité. Les auteurs ne prétendent pas que leur méthode proposée est la distance « optimale » pour tous les scénarios. Au lieu de cela, ils soutiennent qu'une distance « non biaisée » est une distance où les types de variables, les échelles et les niveaux de mesure n'impactent pas trivialement la distance. Si des connaissances métier suggèrent que certaines variables devraient être pondérées plus lourdement, cela peut être fait intentionnellement ; cependant, la méthode proposée garantit qu'un tel pondération est un choix délibéré plutôt qu'un artefact du calcul de la distance. La signification réside dans la fourniture d'une formulation généralisée et théoriquement saine qui permet aux chercheurs de construire des distances de variables mixtes exemptes de biais structurels inhérents.

1. Le Problème : Le « bouton de volume » est cassé

2. Les Deux Règles pour un Mélange Équitable

3. La Solution : Le « Poids d'Équité »

4. Tester la Théorie

L'Essentiel à Retenir

Articles similaires