🤖 machine learning

Unsupervised Causal Abstractions Discovery

Cet article aborde le défi de la découverte d'abstractions causales non supervisées en démontrant que les graphes causaux de faible rang induisent des variables latentes de haut niveau identifiables et en proposant un objectif pratique pour apprendre ces modèles causaux structurels de haut niveau directement à partir de mesures de bas niveau.

Auteurs originaux : Théo Saulus, Simon Lacoste-Julien, Dhanya Sridhar

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Théo Saulus, Simon Lacoste-Julien, Dhanya Sridhar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un orchestre massif et complexe joue une symphonie. Vous avez l'enregistrement de chaque instrument (la donnée de « bas niveau » : 100 violons, 50 flûtes, 20 tambours). Mais écouter 170 pistes individuelles est accablant. Vous voulez comprendre la musique elle-même — la mélodie, l'harmonie, le rythme (les concepts de « haut niveau »).

D'habitude, pour comprendre la musique, un chef d'orchestre (un expert) devine : « Je pense que les violons jouent la mélodie », puis vérifie l'enregistrement pour voir s'il a raison. C'est l'ancienne méthode : le Test d'Hypothèse. Il faut une supposition avant de pouvoir vérifier.

Cette publication pose une question différente : Pouvons-nous découvrir automatiquement la « musique » simplement en écoutant les instruments, sans avoir besoin qu'un chef d'orchestre nous donne d'abord la supposition ?

Les auteurs répondent « Oui », mais seulement si l'orchestre suit un schéma spécifique et organisé. Voici comment ils procèdent, en utilisant des analogies simples :

1. Le Problème : Trop de variables, pas assez d'indices

Dans les systèmes complexes (comme un cerveau ou un programme informatique de deep learning), il existe des milliers de petites parties (neurones ou variables) qui interagissent. Si vous essayez de cartographier la façon dont chacune d'elles communique avec toutes les autres, c'est un chaos. C'est comme essayer de comprendre l'intrigue d'un film en regardant chaque image de film individuellement sans voir l'histoire.

2. La Recette Secrète : La structure de « Bas Rang » (Low-Rank)

Les auteurs supposent que le système possède une simplicité cachée. Ils appellent cela une structure de « Bas Rang » (Low-Rank).

L'Analogie : Imaginez une chorale où les chanteurs ne chantent pas tous des notes aléatoires. Au lieu de cela, ils sont regroupés en 5 sections distinctes (Sopranos, Altos, Ténors, Barytons, Basses).

La vue de Bas Niveau voit 100 voix individuelles.
La vue de Haut Niveau ne voit que 5 sections.

Les auteurs supposent que beaucoup de voix individuelles ne sont que des copies ou des variations de ces 5 sections. Si vous connaissez les 5 sections, vous pouvez expliquer toute la chorale. En termes mathématiques, le réseau complexe de connexions entre 100 personnes peut être compressé en un réseau plus petit reliant seulement 5 groupes.

3. La Découverte : Trouver les « Ancres »

C'est ici que cela devient délicat : si vous écoutez simplement la chorale, comment savoir quels chanteurs appartiennent à quelle section ? Peut-être que les Sopranos sont mélangées avec les Ténors. Comment les séparer ?

Les auteurs introduisent une règle appelée l'« Hypothèse de l'Ancre » (Anchor Assumption).

L'Analogie : Imaginez que dans cette chorale, il y a quelques « Super-Chanteurs ».

L'Ancre-Entrée (In-Anchor) : Un chanteur qui n'écoute que le chef de la section des Sopranos et personne d'autre.
L'Ancre-Sortie (Out-Anchor) : Un chanteur qui chante uniquement ce que le chef de la section des Sopranos lui dicte, et personne d'autre ne l'influence.

Si vous trouvez ces « Super-Chanteurs » (Ancres) dans les données, vous pouvez les utiliser comme une carte. Parce qu'ils sont si étroitement liés à une section spécifique, ils agissent comme un phare. Une fois que vous avez trouvé le phare, vous pouvez comprendre quels autres chanteurs appartiennent à cette même section.

Le papier prouve que si ces « Ancres » existent, vous pouvez mathématiquement garantir que vous trouverez les bons groupes de haut niveau (les 5 sections) sans avoir besoin de faire des suppositions au préalable.

4. Le Résultat : Une nouvelle façon de « Piloter » les systèmes

Une fois que l'ordinateur a appris ces groupes de haut niveau (l'« Abstraction Causale »), il peut mieux comprendre le système.

Ancienne méthode : « Je pense que si je change la section des Sopranos, la mélodie change. Laissez-moi essayer de changer 50 chanteurs individuels pour voir si j'ai raison. » (Lent, coûteux, nécessite de deviner).
Nouvelle méthode : L'ordinateur a déjà compris : « Ah, la mélodie est contrôlée par le "Groupe des Sopranos". » Maintenant, si vous voulez changer la mélodie, vous pouvez intervenir directement sur le « Groupe des Sopranos ».

Le papier a testé cela sur deux éléments :

Données Fictives : Ils ont créé un système fictif où ils connaissaient la réponse. L'ordinateur a réussi à trouver les groupes cachés, prouvant que les mathématiques fonctionnent.
Un Réseau de Neurones Simple : Ils ont entraîné un programme informatique pour vérifier si un nombre est divisible par 6. Le programme a découvert que le réseau utilisait secrètement deux concepts principaux : « Est-il divisible par 2 ? » et « Est-il divisible par 3 ? ». Il a trouvé ces idées de haut niveau simplement en regardant les calculs de bas niveau, sans qu'on lui dise quoi chercher.

Résumé

Ce papier fournit une recette pour trouver automatiquement les règles de la « vue d'ensemble » à l'intérieur d'un système complexe.

Il suppose que le système est organisé en quelques groupes cachés (Bas Rang).
Il recherche des signaux « Ancres » spéciaux qui identifient de manière unique ces groupes.
Si ces ancres existent, il peut prouver mathématiquement qu'il a trouvé la bonne structure de haut niveau.

Cela signifie que nous pourrons peut-être un jour regarder une IA complexe ou un système biologique et dire : « Voici les 5 concepts principaux qu'il utilise », sans avoir besoin qu'un expert nous dise quels pourraient être ces concepts.

Résumé technique : Découverte d'abstractions causales non supervisée

Énoncé du problème

Le papier traite du défi de la découverte d'abstractions causales de haut niveau directement à partir de mesures de bas niveau, sans dépendre d'hypothèses proposées par des experts. Alors que les travaux existants en interprétabilité mécaniste et en abstraction causale suivent largement un paradigme de test d'hypothèse — où un expert propose un modèle structurel causal (SCM) candidat de haut niveau pour vérifier si un système de bas niveau (par exemple, un réseau de neurones profonds) l'implémente — cette approche est coûteuse et irréalisable pour des systèmes qui ne sont pas entièrement compris. Les auteurs visent à résoudre le problème complémentaire : apprendre un SCM de haut niveau directement à partir d'observations de bas niveau de manière non supervisée.

Méthodologie

Cadre théorique : f-DAGs et structure de faible rang

Les auteurs s'appuient sur le concept de graphes acycliques dirigés factoriels (f-DAGs), une famille de modèles où les variables de bas niveau sont paramétrées par un petit nombre de facteurs latents. Cela repose sur l'hypothèse que la matrice d'adjacence $A$ du graphe causal de bas niveau présente une structure de faible rang (plus précisément, un rang booléen $m < n$ ).

Factorisation : La matrice d'adjacence de bas niveau $A$ est décomposée en $A = Q \diamond R^\top$ , où $Q$ représente les liens des variables observées vers les facteurs latents ( $X \to Z$ ) et $R$ représente les liens des facteurs vers les variables ( $Z \to X$ ).
Abstraction causale : Les auteurs formalisent la relation entre le SCM de bas niveau ( $L$ ) et le SCM de haut niveau ( $H$ ) sur les facteurs latents. Ils prouvent que si le système de bas niveau est généré par un f-SCM, le SCM compressé sur les facteurs constitue une transformation uniforme du SCM de bas niveau. Cela signifie que le modèle de haut niveau préserve le comportement interventionnel du système de bas niveau sous des cartes d'état et d'intervention spécifiques.

Identifiabilité et l'hypothèse de l'ancre

Une contribution critique est l'établissement des conditions sous lesquelles ces facteurs latents sont identifiables.

L'hypothèse de l'ancre (Anchor Assumption) : Inspirés par la modélisation thématique (topic modeling), les auteurs introduisent la condition d'« ancre ». Pour chaque facteur latent $Z$ , il doit exister au moins une ancre d'entrée (une variable de bas niveau $X$ qui est un enfant uniquement de $Z$ ) et une ancre de sortie (une variable de bas niveau $X$ qui est un parent uniquement de $Z$ ).
Résultats d'identifiabilité : Sous cette hypothèse (ainsi que les hypothèses standards de suffisance causale et de fidélité/faithfulness), les auteurs prouvent :
1. La factorisation booléenne de la matrice d'adjacence est unique à une permutation de facteurs près.
2. Les mécanismes du f-SCM sont identifiables à des reparamétrages simples près (spécifiquement des transformations affines si les mécanismes sont linéaires).

Implémentation pratique : UCAD

Les auteurs proposent un algorithme pratique, Unsupervised Causal Abstractions Discovery (UCAD), qui formule le problème d'apprentissage comme une tâche d'optimisation contrainte.

Objectif : Le modèle maximise la vraisemblance des données observées sous un modèle de graphe paramétré tout en satisfaisant des contraintes spécifiques.
Contraintes :
1. Acyclicitée (CDAG) : Impose que le graphe appris soit un DAG, adapté à la structure de faible rang pour assurer une structure triangulaire supérieure par blocs dans les systèmes stratifiés.
2. Ancres (Canchors) : Impose l'existence d'ancres d'entrée et d'ancres de sortie pour chaque facteur afin de garantir l'identifiabilité.
3. Parcimonie (Sparsity) : Une contrainte $L_1$ pour éviter le surapprentissage.
Transformation approximative : L'objectif d'apprentissage est lié à l'objectif théorique via une borne de « transformation approximative ». Les auteurs montrent que la minimisation de l'objectif d'apprentissage (log-vraisemblance négative) borne linéairement l'erreur d'approximation de l'abstraction causale de haut niveau.

Résultats clés

Expériences synthétiques

Les auteurs ont validé UCAD sur des f-SCM synthétiques avec des complexités variables (mécanismes linéaires/non linéaires, structures stratifiées/non stratifiées, niveaux de bruit).

Récupération des latents : La méthode a réussi à récupérer les facteurs latents de vérité terrain. Lorsque les mécanismes étaient linéaires, le coefficient de corrélation moyen (MCC) entre les facteurs appris et réels a atteint une moyenne de 0,83.
Cas non linéaires : Dans les contextes entièrement non linéaires, le MCC (Pearson) a chuté (comme prévu en raison de transformations bijectives arbitraires), mais le coefficient de dépendance randomisé (MCC-RDC) est resté élevé (0,70–0,79), indiquant une récupération réussie de la structure sous-jacente à une reparamétrage non linéaire près.
Robustesse : La performance était largement invariante au nombre de variables (16–128) et de facteurs (3–8).

Interprétabilité des réseaux de neurones

La méthode a été appliquée à un réseau de neurones profond (MLP) entraîné pour résoudre une tâche de divisibilité par 6.

Récupération de concepts : Le modèle a identifié avec succès les facteurs correspondant aux concepts intuitifs de la divisibilité par 2 ( $c_2$ ) et de la divisibilité par 3 ( $c_3$ ).
Métriques : Les facteurs appris ont montré un fort alignement avec les concepts hypothétiques (MCC-RDC de 0,72 pour les concepts positifs) par rapport aux contrôles négatifs (nombres premiers non pertinents), qui présentaient un alignement proche de zéro (0,07).
Résultats spécifiques : Un facteur appris présentait une corrélation de Pearson de 0,80 avec le concept de divisibilité par 2, suggérant que le réseau implémente systématiquement cette logique.

Signification et affirmations

Le papier affirme fournir le premier cadre théorique et pratique pour la découverte non supervisée d'abstractions causales à partir de données de bas niveau uniquement.

Contribution théorique : Il fait le pont entre la découverte causale de faible rang et la théorie de l'abstraction causale, prouvant que les hypothèses de faible rang induisent naturellement des abstractions de haut niveau valides. Il établit que l'« hypothèse de l'ancre » est suffisante pour rendre ces facteurs latents identifiables à des équivalences triviales près.
Contribution pratique : Il traduit ces garanties théoriques en un objectif d'apprentissage différentiable (UCAD) qui peut être appliqué à des systèmes réels comme les DNN.
Modestie : Les auteurs reconnaissent les limites, notant que l'approche actuelle nécessite de connaître le nombre de facteurs latents et que le passage à l'échelle vers des systèmes plus larges et plus complexes (par exemple, les grands modèles de langage) nécessite des recherches supplémentaires en optimisation. Ils notent également que bien que la méthode identifie les facteurs, l'interprétation des heuristiques spécifiques apprises par les DNN reste difficile, car un faible accord avec un concept peut indiquer une stratégie sous-jacente différente plutôt qu'un échec de la méthode.

Ce travail se positionne comme une étape vers l'automatisation de la découverte de structures causales de haut niveau dans des systèmes complexes, dépassant la dépendance à l'intuition de l'expert pour la génération d'hypothèses.