Résumé technique : Un algorithme k–NN basé sur la divergence de Jensen-Shannon pour l'imputation de valeurs manquantes dans les données compositionnelles

1. Énoncé du problème

Les données compositionnelles, définies comme des vecteurs multivariés non négatifs dont la somme est constante (généralement 1), résident dans un espace d'échantillonnage simplexe standard ($S^{D-1}$). Les valeurs manquantes dans de telles données posent des défis uniques, car les techniques d'imputation classiques échouent souvent à respecter la géométrie restrictive du simplexe ou nécessitent des transformations log-ratio qui ne peuvent pas gérer les valeurs nulles.

Les méthodes existantes, telles que l'algorithme k–NN proposé par Hron et al. (2010), reposent sur la distance d'Aitchison. Cependant, la distance d'Aitchison nécessite des transformations log-ratio, la rendant inapplicable aux jeux de données contenant des zéros (qu'ils soient arrondis ou structurels). De plus, les approches traditionnelles supposent souvent une structure paramétrique spécifique ou requièrent des modèles de régression itératifs qui peuvent être coûteux en calcul. Cet article répond au besoin d'une méthode d'imputation flexible et non paramétrique qui :

1. Opère directement sur le simplexe sans transformations log-ratio.
2. Intègre naturellement les valeurs nulles.
3. Offre une efficacité computationnelle et une flexibilité dans la gestion des motifs de valeurs manquantes.

2. Méthodologie

La solution proposée est un nouvel algorithme JSD k–NN, étendu par une généralisation de la moyenne de Fréchet et un mécanisme adaptatif.

2.1 Métrique de distance : Divergence de Jensen-Shannon (JSD)

Au lieu de la distance d'Aitchison, l'algorithme utilise la divergence de Jensen-Shannon (JSD) pour mesurer les distances entre les vecteurs compositionnels.

• Définition : Pour deux compositions $x$ et $y$, $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$.
• Avantages : Contrairement à la distance d'Aitchison, la JSD traite les valeurs nulles naturellement (puisque $0 \log 0 = 0$), éliminant ainsi le besoin de stratégies de remplacement des zéros. C'est une métrique (la racine carrée satisfait l'inégalité triangulaire) et elle est bornée.

2.2 L'algorithme JSD k–NN

L'algorithme central suit une procédure non paramétrique en six étapes :

1. Sélection : Choisir le nombre de voisins les plus proches, $k$.
2. Séparation : Diviser les données en vecteurs incomplets ($X_M$) et vecteurs complets ($X_O$).
3. Normalisation : Pour un vecteur incomplet, normaliser les composantes observées pour qu'elles somment à 1. De même, normaliser les composantes correspondantes dans les vecteurs complets.
4. Calcul de la distance : Calculer la JSD entre les composantes observées normalisées du vecteur incomplet et tous les vecteurs complets.
5. Sélection des voisins : Identifier les $k$ vecteurs complets ayant les plus petites distances JSD.
6. Imputation : Calculer la moyenne des $k$ voisins les plus proches. Les composantes manquantes sont estimées en prenant la moyenne arithmétique des composantes correspondantes dans les $k$ voisins, en les normalisant, puis en les mettant à l'échelle par la somme des composantes observées dans le vecteur incomplet original.

2.3 Extension 1 : JSD $\alpha$–k–NN (Moyenne de Fréchet)

Pour augmenter la flexibilité, la moyenne arithmétique utilisée à l'étape 5 est remplacée par la moyenne de Fréchet empirique définie par Tsagris et al. (2011) :
$$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$$
où $\alpha$ est un hyperparamètre ajustable.

• Propriétés : Lorsque $\alpha \to 0$, elle converge vers la moyenne géométrique ; à $\alpha = 1$, c'est la moyenne arithmétique. Cela permet à l'algorithme de s'adapter à la distribution des données sans transformations log-ratio.

2.4 Extension 2 : JSD $\alpha$–k–NN adaptatif

Reconnaissant que les motifs de valeurs manquantes peuvent varier (par exemple, l'absence de données liée aux grandeurs spécifiques des composantes), les auteurs proposent une approche adaptative où les hyperparamètres ($\alpha$ et $k$) sont ajustés séparément pour chaque motif d'absence distinct observé dans les données, plutôt que d'utiliser une seule paire globale.

2.5 Réglage des hyperparamètres

Les valeurs optimales pour $k$ et $\alpha$ sont déterminées via un protocole de validation croisée répétée leave-N-out. La métrique de performance est la distance (distance d'Aitchison si aucun zéro n'est présent ; JSD si des zéros sont présents) entre les valeurs réelles et les valeurs imputées dans l'ensemble de test.

3. Contributions clés

1. Imputation tolérante aux zéros : La méthode est la première approche k–NN pour les données compositionnelles qui ne nécessite pas de transformations log-ratio, gérant ainsi nativement à la fois les zéros arrondis et structurels.
2. Flexibilité non paramétrique : En utilisant la JSD et la moyenne de Fréchet, la méthode évite les hypothèses paramétriques restrictives concernant la structure des données.
3. Efficacité computationnelle : L'algorithme est nettement plus rapide que les méthodes concurrentes basées sur la régression itérative (spécifiquement celles du package robCompositions).
4. Cadre adaptatif : L'introduction d'un mécanisme adaptatif permet aux hyperparamètres de s'ajuster aux motifs d'absence spécifiques, bien que l'article note que cela ajoute de la complexité computationnelle.

4. Résultats des études de simulation

Les auteurs ont évalué les algorithmes en utilisant quatre jeux de données réels : Vins (sans zéros), Hydrochimie (sans zéros), Acides gras de proies (contenant des zéros et des classes d'espèces), et FADN (données agricoles avec des zéros et des scénarios d'agrégation/désagrégation).

• Précision (Sans zéros) : Sur les jeux de données Vins et Hydrochimie, le JSD $\alpha$–k–NN (avec $\alpha$ optimal) a surpassé le JSD k–NN standard de 12 % et 2 % respectivement, mesurés par la distance d'Aitchison. Les deux méthodes proposées ont surpassé les algorithmes concurrents de Hron et al. (2010) (rob k–NN, lm, ltsReg).
• Précision (Avec zéros) : Sur le jeu de données Acides gras de proies, le JSD k–NN a amélioré les performances de 22 % par rapport au k–NN robuste (Hron et al., 2010) utilisant la distance euclidienne. Le JSD $\alpha$–k–NN a apporté une amélioration supplémentaire de 3,5 %. La version adaptative n'a pas produit de gains supplémentaires dans ce cas spécifique.
• Scénario de désagrégation : Dans le jeu de données FADN (simulant la désagrégation de données agricoles agrégées), le JSD k–NN a surpassé le k–NN robuste de 15 %. Les extensions $\alpha$ et adaptative n'ont pas montré d'amélioration supplémentaire ici.
• Coût computationnel : Le JSD k–NN était nettement plus rapide que le k–NN robuste. Les facteurs d'accélération variaient d'environ 6x à 25x, selon la taille de l'échantillon et la dimensionalité. L'accélération était plus prononcée à des dimensions plus élevées et des tailles d'échantillon plus faibles.

5. Importance et affirmations

L'article affirme que l'algorithme JSD k–NN proposé offre une alternative robuste, précise et computationnellement efficace pour l'imputation de valeurs manquantes dans les données compositionnelles. Sa principale importance réside dans sa capacité à gérer les valeurs nulles sans modification, une limitation critique des méthodes existantes basées sur les log-ratio.

Les auteurs concluent modestement que si l'extension JSD $\alpha$–k–NN adaptatif offre une amélioration théorique en adaptant les paramètres aux motifs d'absence, elle n'améliore pas toujours substantiellement les performances en pratique. Ils suggèrent que la complexité ajoutée peut ne pas en valoir la peine dans tous les cas, en particulier lorsque les motifs d'absence sont rares. Cependant, le JSD k–NN de base et l'extension de la moyenne de Fréchet (JSD $\alpha$–k–NN) démontrent constamment une précision et une efficacité supérieures par rapport aux méthodes de pointe actuelles.

Ce travail est présenté comme un outil pratique pour des domaines tels que l'écologie, l'agriculture et les statistiques officielles où les données compositionnelles avec des zéros et des valeurs manquantes sont prévalentes. Les auteurs reconnaissent que, bien que la méthode suppose un mécanisme d'absence aléatoire (MAR), elle n'a pas été évaluée dans des scénarios d'absence non aléatoire (MNAR), qui sont courants dans les statistiques officielles.