A novel hybrid approach for positive-valued DAG learning

Cet article présente l'algorithme H-MRS, une nouvelle approche hybride combinant régression à l'échelle logarithmique et ratios de moments à l'échelle brute pour apprendre efficacement des graphes acycliques dirigés à partir de données positives, telles que celles rencontrées en génomique et en économie.

L'essentiel

🌱 Découvrir la Causalité dans un Monde de "Chiffres Positifs" : L'histoire de la méthode H-MRS

Imaginez que vous êtes un détective privé. Votre mission ? Comprendre qui influence qui dans un système complexe. Par exemple : est-ce que la publicité fait vendre des chaussures, ou est-ce que les chaussures se vendent bien et donc on fait de la publicité ?

Dans le monde des données, on appelle cela la découverte causale. Le problème, c'est que la plupart des détectives (les algorithmes classiques) sont formés pour résoudre des énigmes où les choses s'additionnent (comme des points de basket). Mais dans la vraie vie, beaucoup de choses fonctionnent par multiplication (comme les intérêts bancaires, la croissance des bactéries ou les revenus d'une entreprise).

C'est là qu'intervient Yao Zhao et son nouvel algorithme, le H-MRS (Hybrid Moment-Ratio Scoring). Voici comment il fonctionne, expliqué avec des métaphores du quotidien.

---

1. Le Problème : Le Dilemme de la Croissance Exponentielle 📈

La plupart des méthodes actuelles regardent les données comme si elles étaient faites de briques qu'on empile (addition).

• Exemple classique : Si vous ajoutez 10 briques, vous avez 10 briques de plus.

Mais les données réelles (prix d'actions, nombre de vues sur YouTube, revenus d'une entreprise) fonctionnent souvent comme une boule de neige qui dévale une pente (multiplication).

• Exemple réel : Si vous avez 100€ et que vous gagnez 10% par an, l'année suivante vous n'avez pas 110€, vous avez 110€... et l'année d'après, 10% de 110€, etc. C'est une croissance exponentielle.

Si vous essayez d'utiliser une méthode "briques" (additive) sur une "boule de neige" (multiplicative), vous ratez le coup. C'est comme essayer de mesurer la distance avec une règle en élastique : ça ne tient pas la route.

2. La Solution : La Recette Hybride H-MRS 🥣

L'algorithme H-MRS est un chef cuisinier très astucieux qui utilise deux techniques différentes pour réussir son plat.

Étape 1 : La Cuisine en "Logarithme" (La Transformation Magique) 🪄

Pour comprendre la "boule de neige", le chef décide d'abord de la transformer. Il utilise une recette spéciale (la régression Ridge sur l'échelle logarithmique) qui transforme la multiplication en addition.

• L'analogie : Imaginez que vous avez une montagne de neige. Au lieu de mesurer la hauteur totale (qui est énorme), vous mesurez la pente. Sur la pente, les règles de l'addition fonctionnent à nouveau ! Cela permet de calculer des prévisions stables sans que les chiffres ne deviennent trop gros pour le cerveau de l'ordinateur.

Étape 2 : Le Test du "Ratio de Moment" (Le Détecteur de Vérité) ⚖️

Une fois qu'il a fait ses prévisions, le chef les ramène à la réalité (l'échelle brute) pour faire un test crucial. Il compare deux choses :

1. La variabilité totale du phénomène (le bruit).
2. La variabilité une fois qu'on a pris en compte les causes potentielles (le signal).

Il utilise une formule mathématique appelée Ratio de Moment.

• L'analogie : Imaginez que vous essayez de deviner qui a fait du bruit dans la maison.
  • Si vous écoutez tout le monde sans filtre, c'est très bruyant (le ratio est élevé).
  • Si vous écoutez en sachant que c'est le chien qui aboie, le bruit "inexpliqué" diminue.
  • Le but de l'algorithme est de trouver le groupe de "suspects" (les parents) qui réduit le bruit au minimum. C'est comme chercher la clé qui ouvre la serrure la plus silencieuse.

Étape 3 : Le Tri Final (L'Élastique Intelligent) 🕸️

Une fois qu'il a trouvé l'ordre dans lequel les événements se produisent, il doit choisir exactement qui influence qui. Il utilise une technique appelée ElasticNet.

• L'analogie : C'est comme un filet de pêche très intelligent. Il attrape les vrais poissons (les vraies causes) et laisse passer les algues (les fausses pistes). Il est conçu pour ne pas se tromper même si les poissons sont très proches les uns des autres (ce qui arrive souvent en finance ou en génétique).

---

3. Pourquoi c'est génial ? (Les Résultats) 🏆

L'auteur a testé cette méthode sur deux types de terrains de jeu :

1. Le terrain d'entraînement (Données synthétiques) : Il a créé des mondes virtuels avec des règles de multiplication. H-MRS a été un champion, battant les anciens détectives (comme PC, GES ou LiNGAM) avec une précision bien supérieure.
2. Le vrai monde (Données financières) : Il a appliqué la méthode sur les bilans de 2 223 entreprises.
   • Ce qu'il a découvert : L'algorithme a trouvé des liens logiques. Par exemple, il a montré que le Capital Propre (l'argent des actionnaires) est la racine de l'arbre, influençant tout le reste (bénéfices, stocks, valeur de l'entreprise). Il a aussi vu que les Frais d'Intérêt agissent comme un frein universel qui influence presque tout le système.

C'est comme si l'algorithme avait réussi à lire dans les pensées des directeurs financiers, en révélant comment l'argent circule vraiment dans une entreprise.

---

En Résumé 🎯

L'article de Yao Zhao nous dit :

"Arrêtez de traiter les données positives (comme l'argent ou les populations) comme si elles s'additionnaient. Elles se multiplient ! Utilisez notre méthode hybride H-MRS qui transforme d'abord le problème pour le comprendre, puis utilise un test de ratio intelligent pour trouver la vérité, et enfin nettoie le résultat pour ne garder que les liens essentiels."

C'est un outil puissant pour les économistes, les biologistes et les data scientists qui veulent comprendre les mécanismes cachés derrière les chiffres qui ne font que grandir.

Résumé technique

1. Problématique et Contexte

La découverte causale à partir de données observationnelles est un défi fondamental en apprentissage automatique et en statistiques. Cependant, la plupart des méthodes existantes (comme PC, GES ou LiNGAM) reposent sur des hypothèses de modèles additifs (bruit additif) et supposent souvent des distributions gaussiennes.

Ces hypothèses sont théoriquement inadéquates pour des variables strictement positives (ex : niveaux d'expression génique, prix d'actifs, revenus d'entreprises, comptages de population). Dans ces domaines, les relations causales sont souvent multiplicatives. Par exemple, l'expression d'un gène peut être proportionnelle au produit des concentrations de ses régulateurs, ou les rendements financiers peuvent se composer de manière multiplicative.

Le modèle structurel approprié pour ces données est un modèle structurel linéaire-logarithmique :
$$\log X_j = \theta_j + \sum_{k \in Pa(j)} \beta_{kj} X_k + \epsilon_j$$
Ce qui équivaut à un modèle multiplicatif sur l'échelle originale :
$$X_j = \exp\left(\theta_j + \sum_{k \in Pa(j)} \beta_{kj} X_k + \epsilon_j\right)$$

L'objectif de l'article est de proposer une méthode capable d'apprendre la structure du graphe acyclique dirigé (DAG) sous-jacent pour ce type de données, en garantissant l'identifiabilité complète du DAG (et non seulement de sa classe d'équivalence markovienne), ce qui est souvent impossible avec les modèles additifs standards.

2. Méthodologie : L'algorithme H-MRS

Les auteurs proposent l'algorithme Hybrid Moment-Ratio Scoring (H-MRS), une approche hybride combinant régression à l'échelle logarithmique et score basé sur les rapports de moments à l'échelle brute.

A. Estimation de l'espérance conditionnelle (Échelle Logarithmique)

Pour chaque variable $X_j$ et un ensemble de candidats parents $S$, l'algorithme utilise une régression Ridge sur les données transformées en logarithme ($\log X_j$).

• Pourquoi Ridge ? Elle fournit des estimations stables et à faible variance de l'espérance conditionnelle $\hat{E}[X_j|S]$ sans introduire de biais de sélection agressif (contrairement au Lasso), ce qui est crucial pour le calcul précis des moments.
• La prédiction est ensuite transformée de retour à l'échelle originale : $\hat{\mu}_{j|S} = \exp(\hat{\theta}_j + \sum \hat{\beta}_k X_k)$.

B. Score de Rapport de Moments (Échelle Brute)

Le cœur de la méthode réside dans un critère de score défini par le rapport de moments :
$$M(j, S) = \frac{E[X_j^2]}{E[(E[X_j|S])^2]}$$

• Propriété clé (Plateau) : Ce score est minimisé lorsque l'ensemble conditionnant $S$ contient l'ensemble réel des parents de $j$ ($Pa(j)$). De plus, le score reste constant (plateau) pour tout sur-ensemble de $S$ qui n'inclut pas de descendants.
• Stratégie gloutonne : L'algorithme construit un ordre causal itérativement. À chaque étape, il sélectionne la variable dont le rapport de moments est minimal lorsqu'elle est conditionnée par toutes les variables déjà ordonnées. Cela indique que ses vrais parents sont déjà dans l'ordre.

C. Sélection des Parents (Échelle Logarithmique)

Une fois l'ordre causal établi, la sélection des parents spécifiques pour chaque nœud est effectuée via une régression ElasticNet sur les données log-transformées.

• Pourquoi ElasticNet ? Contrairement au Lasso qui peut échouer à sélectionner un seul variable parmi un groupe corrélé, ElasticNet combine la régularisation $L_1$ (pour la parcimonie) et $L_2$ (pour la stabilité avec des prédicteurs corrélés). Cela permet de distinguer le vrai ensemble de parents parmi les sur-ensembles qui donnent le même score de moment.

3. Contributions Clés

1. Modélisation adaptée aux données positives : Introduction d'un cadre théorique basé sur des modèles log-linéaires, évitant la mauvaise spécification des modèles additifs pour les données multiplicatives.
2. Identifiabilité garantie : Démonstration théorique (Proposition 1) que le critère de rapport de moments permet une identification complète du DAG sous des hypothèses de bruit borné, sans nécessiter de bruit non-gaussien (contrairement à LiNGAM).
3. Approche hybride robuste : Combinaison innovante de la régression Ridge (pour la stabilité des prédictions nécessaires au score) et de l'ElasticNet (pour la sélection de variables parcimonieuse), exploitant les avantages de chaque méthode à l'étape appropriée.
4. Invariance d'échelle : Le critère de score est invariant par mise à l'échelle multiplicative des variables, le rendant robuste aux variations d'unités de mesure.

4. Résultats Expérimentaux

Les auteurs ont évalué H-MRS sur des données synthétiques et réelles.

• Données Synthétiques :

  • Comparaison avec PC, GES et DirectLiNGAM sur des graphes de tailles variées ($p=10, 20, 30$) et différents niveaux de complexité.
  • Performance : H-MRS a obtenu des scores F1 supérieurs (0.733 à 0.900) et des distances de Hamming structurelles (SHD) plus faibles que les méthodes de base.
  • Il a maintenu une précision élevée (souvent > 0.75, atteignant 1.00 sur des graphes simples) tout en maintenant un rappel raisonnable, indiquant un excellent contrôle des faux positifs.
  • Les méthodes classiques (PC, GES) ont souffert de la mauvaise spécification du modèle (hypothèse additive vs réalité multiplicative), et DirectLiNGAM a également eu des performances inférieures.

• Données Réelles (Finance) :

  • Application sur un jeu de données de 2 223 entreprises avec 19 variables financières (bilan, compte de résultat, valorisation).
  • Résultats : La structure découverte est économiquement cohérente.
    • Le Capital Actions (Equity Capital) apparaît comme un nœud source central, influençant les profits, les actifs et la valorisation de marché.
    • Les Frais d'Intérêt (Interest Expense) agissent comme un moteur systémique, influençant la gestion de la liquidité, l'endettement et la valorisation.
    • Ces résultats valident l'hypothèse selon laquelle la structure causale financière suit des dynamiques multiplicatives (effets de levier, coûts du capital).

5. Signification et Conclusion

L'article H-MRS représente une avancée significative pour la découverte causale dans les domaines où les données sont intrinsèquement positives et multiplicatives (génétique, finance, économie).

• Avantages pratiques : L'algorithme est efficace en temps polynomial, respecte nativement les contraintes de positivité et produit des graphes interprétables.
• Limitations et perspectives : La méthode suppose actuellement des variables strictement positives (difficile avec des zéros structurels comme en génomique) et une structure acyclique (DAG). Les auteurs suggèrent des extensions futures pour gérer les cycles (boucles de rétroaction) et les données avec zéros (modèles "hurdle" ou à inflation de zéros).

En résumé, H-MRS offre un cadre robuste et théoriquement fondé pour apprendre des relations causales là où les méthodes standards échouent, en exploitant intelligemment la structure log-linéaire des données positives.