Conceptual Views of Neural Networks: A Framework for Neuro-Symbolic Analysis

Cet article présente les « vues conceptuelles », un cadre formel basé sur l'analyse conceptuelle formelle qui permet d'expliquer globalement les réseaux de neurones, de comparer leurs architectures et d'extraire des règles abductives compréhensibles par l'humain.

L'essentiel

Imaginez que les réseaux de neurones (les "cerveaux" artificiels qui font fonctionner les voitures autonomes ou reconnaissent vos photos) soient comme des boîtes noires géantes. À l'intérieur, des milliards de petits interrupteurs (les neurones) s'allument et s'éteignent à une vitesse folle pour prendre des décisions. Le problème ? Personne ne sait vraiment pourquoi ils prennent telle ou telle décision. C'est magique, mais pas très rassurant si vous voulez comprendre la logique derrière.

C'est ici qu'intervient l'article de Johannes Hirth et Tom Hanika. Ils proposent une nouvelle méthode, qu'ils appellent "Les Vues Conceptuelles", pour ouvrir cette boîte noire sans la casser, en utilisant une discipline mathématique appelée Analyse de Concepts Formels.

Voici une explication simple, avec des analogies, de ce qu'ils ont fait :

1. Le Problème : La Boîte Noire

Actuellement, pour comprendre un réseau de neurones, on regarde souvent ce qui rentre (l'image d'un chat) et ce qui sort (le mot "Chat"). Mais ce qui se passe au milieu est un chaos de nombres. C'est comme essayer de comprendre comment fonctionne une voiture en regardant juste le volant et la route, sans jamais ouvrir le capot.

2. La Solution : Deux Miroirs Magiques

Les auteurs proposent de créer deux "miroirs" pour refléter ce qui se passe à l'intérieur du réseau, juste avant qu'il ne donne sa réponse finale.

• Le Premier Miroir (La Vue Numérique) :
  Imaginez que vous preniez une photo de l'état d'esprit de chaque neurone à un instant T. Au lieu de voir des nombres compliqués, vous créez une carte de distances.

  • L'analogie : C'est comme si vous preniez un groupe d'amis et que vous mesuriez la distance entre chacun d'eux. Vous ne regardez pas qui ils sont, mais comment ils se sentent les uns par rapport aux autres. Les auteurs ont montré que cette carte suffit à prédire ce que le réseau va dire, presque aussi bien que le réseau lui-même. C'est un "double" fidèle du cerveau.

• Le Deuxième Miroir (La Vue Symbolique) :
  C'est là que ça devient vraiment intéressant. Ils prennent ces nombres et les transforment en Oui/Non (Vrai/Faux).

  • L'analogie : Imaginez que vous transformiez un tableau Excel rempli de températures précises en une liste simple : "Il fait chaud" ou "Il fait froid".
  • En utilisant des seuils (par exemple : "Si le neurone est allumé à plus de 50%, c'est OUI"), ils convertissent le langage des machines en un langage binaire simple. Cela permet de créer des règles logiques que des humains peuvent comprendre, comme : "Si le neurone A est allumé ET que le neurone B est éteint, alors c'est une pomme."

3. L'Outil Secret : L'Arbre de la Connaissance

Pour organiser ces règles, ils utilisent une structure mathématique appelée un Treillis de Concepts (ou "Concept Lattice").

• L'analogie : Imaginez un arbre généalogique géant, mais au lieu de relier des personnes, il relie des idées.
  • Au sommet, vous avez des concepts très généraux (ex: "Fruit").
  • En descendant, vous trouvez des sous-catégories (ex: "Fruit rouge", "Fruit sucré").
  • Plus bas, vous avez des détails précis (ex: "Pomme rouge brillante").
    Cet arbre montre comment le réseau de neurones a appris à classer les choses. Il révèle la hiérarchie cachée que la machine a découverte toute seule.

4. Ce qu'ils ont découvert (Les Résultats)

Ils ont testé leur méthode sur 24 modèles différents capables de reconnaître des images (comme ceux qui identifient des chats, des chiens ou des fruits).

• Comparaison de cerveaux : Ils ont pu comparer deux réseaux de neurones différents en mesurant la "distance" entre leurs vues conceptuelles. C'est comme comparer deux architectes en regardant non pas leurs plans, mais la façon dont ils ont organisé les pièces de leurs maisons. Ils ont vu que des architectures différentes apprenaient des choses différentes.
• La clé du succès (L'activation) : Ils ont découvert que pour que cette transformation en "Oui/Non" fonctionne bien, il faut choisir le bon type de "commutateur" interne. Ils ont trouvé que les réseaux utilisant une activation appelée Tanh (qui peut être positive ou négative) sont beaucoup plus faciles à traduire en règles humaines que ceux utilisant ReLU (qui ne peut être que positive). C'est un peu comme essayer de traduire un poème : c'est plus facile si le poète utilise des mots avec des sens opposés (positif/négatif) plutôt que des mots tous positifs.
• Des règles compréhensibles : Dans le cas de la reconnaissance de fruits, ils ont pu extraire des règles du genre : "Si le fruit n'est pas marron, pas taché et pas en forme d'étoile, alors c'est probablement une orange."

En résumé

Cet article ne propose pas de remplacer les réseaux de neurones, mais de leur donner une traductrice.
Au lieu de dire "Le réseau a dit oui", on peut maintenant dire : "Le réseau a dit oui parce qu'il a détecté que l'objet avait ces caractéristiques spécifiques, et voici la règle logique qui relie ces caractéristiques à la décision."

C'est un pont entre le monde chaotique et mathématique des machines et le monde logique et structuré de la pensée humaine. Cela permet de faire confiance à l'IA, car on peut enfin voir pourquoi elle pense ce qu'elle pense.

Résumé technique

1. Problématique

Les réseaux de neurones (RN) excellent dans de nombreuses tâches d'apprentissage, mais leur manque d'interprétabilité (effet "boîte noire") pose un problème majeur, en particulier pour les décisions à haut risque. La littérature actuelle se divise souvent entre :

• Explications locales : Méthodes comme les cartes de saillance qui expliquent une prédiction spécifique, mais qui peinent à généraliser sur des données complexes ou à fournir une compréhension globale du modèle.
• Explications globales : Nécessaires pour comprendre le comportement global du modèle, mais difficiles à obtenir sans sacrifier la précision ou en utilisant des méthodes opaques.

L'objectif de cet article est de proposer un cadre formel pour l'analyse globale des réseaux de neurones, permettant de dériver des règles compréhensibles par l'humain et de comparer les architectures de manière rigoureuse, sans contraindre l'architecture du réseau dès la conception (contrairement aux Concept Bottleneck Models).

2. Méthodologie : Les "Conceptual Views" (Vues Conceptuelles)

Les auteurs introduisent un cadre basé sur l'Analyse de Concepts Formels (FCA - Formal Concept Analysis). L'approche opère sur l'espace d'incorporation (embedding) du réseau, spécifiquement les sorties de la dernière couche cachée.

Le processus se déroule en deux étapes principales :

A. Vue Conceptuelle Multi-valuée (Many-Valued Conceptual View)

Cette vue capture la structure réelle (valeurs continues) des activations et des poids sous forme de deux matrices :

1. Vue Objet ($O$) : Une matrice où chaque ligne représente un objet d'entrée $g$ et chaque colonne l'activation d'un neurone $n$ de la dernière couche cachée.
2. Vue Classe ($W$) : Une matrice où chaque ligne représente une classe de sortie $c$ et chaque colonne le poids reliant un neurone caché à cette classe.

Ces vues définissent un espace pseudo-métrique sur les objets et les classes. La classification d'un objet peut être reformulée comme un calcul de similarité (cosinus ou distance euclidienne) entre la représentation de l'objet dans l'espace des neurones et la représentation de la classe.

B. Vue Conceptuelle Symbolique (Symbolic Conceptual View)

Pour rendre le modèle interprétable, la vue multi-valuée est discrétisée via un processus de mise à l'échelle conceptuelle (conceptual scaling) issu de la FCA.

• Seuillage : Des seuils $\delta_O$ (pour les activations) et $\delta_W$ (pour les poids) sont appliqués.
• Attributs binaires : Cela génère des attributs symboliques binaires (ex: $n \ge \delta$ ou $n \le \delta$).
• Contexte Formel : Le résultat est un contexte formel binaire $(G, M, I)$ qui peut être analysé pour former un réseau de concepts (concept lattice).
• Interprétation Abductive : En intégrant des connaissances de fond (ontologies, taxonomies), ce réseau permet de déduire des règles logiques reliant les neurones à des concepts humains compréhensibles.

3. Contributions Clés

1. Cadre Formel Global : Une méthode mathématiquement fondée (FCA) pour analyser l'état global d'un réseau de neurones, évitant les approximations locales.
2. Mesure de Similarité Architecturale : L'utilisation de la distance de Gromov-Wasserstein (GW) appliquée aux espaces pseudo-métriques des vues conceptuelles permet de comparer des architectures différentes de manière invariante aux permutations de neurones.
3. Surrogates Interprétables : La transformation en vue symbolique permet d'entraîner des classifieurs interprétables (arbres de décision, règles logiques) qui servent de substituts fidèles au réseau original.
4. Intégration Neuro-Symbolique : Un pont systématique entre les représentations neuronales et les raisonnements symboliques (logique propositionnelle, découverte de sous-groupes).

4. Résultats Expérimentaux

Les auteurs ont évalué leur cadre sur 24 modèles ImageNet (VGG, ResNet, EfficientNet, etc.) et sur le jeu de données Fruits-360.

• Fidélité des Vues Multi-valuées :

  • Les vues multi-valuées agissent comme des substituts très fidèles. Un classifieur 1-NN (plus proche voisin) basé sur la distance euclidienne dans l'espace conceptuel atteint une fidélité allant jusqu'à 0,999 (pour ResNet152V2) par rapport au modèle original.
  • La distance euclidienne s'est révélée supérieure à la similarité cosinus pour la plupart des architectures.

• Comparaison d'Architectures :

  • La distance Gromov-Wasserstein a permis d'identifier des clusters d'architectures similaires (ex: VGG16/19, EfficientNet) qui correspondent à leur structure sous-jacente, offrant une vision plus riche que les mesures de fidélité paires ou l'alignement de noyaux centrés (CKA).

• Vues Symboliques et Interprétabilité :

  • Impact de la fonction d'activation : La fonction Tanh s'est révélée supérieure à ReLU pour la discrétisation binaire, car elle permet une séparation naturelle des valeurs positives et négatives (seuil à 0). Les modèles ReLU ont montré des performances médiocres en vue symbolique pure en raison de leur domaine de codage strictement positif.
  • Fidélité des substituts symboliques : Sur Fruits-360 (avec Tanh), les arbres de décision entraînés sur la vue symbolique ont atteint des performances compétitives (ex: ~98% de fidélité), prouvant que la traduction symbolique préserve l'information décisionnelle.
  • Extraction de règles : L'analyse des réseaux de concepts a permis de découvrir des règles logiques. Par exemple, l'activation d'un ensemble spécifique de neurones implique qu'un fruit est "orange" avec une confiance de ~0,54, ou que certains fruits (Cerises, Prunes) sont indistinguables pour certaines architectures, révélant des limites de représentation.

5. Signification et Perspectives

Cet article propose une avancée significative dans l'explicabilité des IA (XAI) en passant d'une approche heuristique à une approche algébrique et formelle.

• Signification : Le cadre démontre qu'il est possible d'extraire une connaissance globale et structurée d'un réseau de neurones sans modifier son architecture. Il offre un langage commun (la FCA) pour discuter des représentations internes des réseaux.
• Limitations identifiées :
  • La méthode suppose des architectures feed-forward avec une dernière couche cachée bien définie (difficile à appliquer directement aux Transformers ou RNN sans extension).
  • La qualité de l'interprétation symbolique dépend fortement de la fonction d'activation (Tanh préférée) et de la qualité des connaissances de fond (ontologies) utilisées.
  • L'explosion combinatoire de la taille des réseaux de concepts pour un grand nombre d'attributs peut rendre la visualisation directe difficile, bien que l'analyse computationnelle (implications) reste possible.
• Avenir : Les auteurs suggèrent d'intégrer ce cadre aux Concept Bottleneck Models, d'explorer des couches intermédiaires pour une analyse multi-résolution, et d'utiliser l'analyse symbolique pour guider l'amélioration ou le raffinement des modèles (identification de neurones redondants ou biaisés).

En résumé, ce travail établit un pont robuste entre l'apprentissage profond et l'intelligence artificielle symbolique, offrant un outil puissant pour auditer, comparer et comprendre le "savoir" encodé dans les réseaux de neurones.