🧬 biology

A Quotient Homology Theory of Representation in Neural Networks

Ce papier présente un cadre « homologie de chevauchement » sans métrique qui exploite la structure linéaire par morceaux des réseaux de neurones ReLU pour définir un espace quotient, permettant le calcul intrinsèque de nombres de Betti qui suivent des caractéristiques purement topologiques des représentations neuronales plutôt que géométriques.

Auteurs originaux : Kosio Beshkov

Publié 2026-05-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kosio Beshkov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

La Grande Image : Comment les Réseaux de Neurones « Colle » les Choses Ensemble

Imaginez un réseau de neurones comme une machine géante et complexe qui prend un tas désordonné de données brutes (comme des photos de chats et de chiens) et tente de les trier. Pour ce faire, la machine écrase, étire et plie les données jusqu'à ce que les chats soient dans un tas et les chiens dans un autre.

Les mathématiciens savent depuis longtemps que ces réseaux agissent comme des artistes de l'origami. Ils prennent une feuille de papier plate (les données d'entrée) et la plient en différentes formes. Le papier est divisé en pièces géométriques plates appelées polyèdres (pensez-y comme des carreaux plats). Sur chaque carreau, la machine effectue un mouvement simple et linéaire (une « application affine »).

Le problème est le suivant : Comment savoir si la machine comprend réellement la forme des données, ou si elle a simplement de la chance avec la géométrie ?

Le Problème avec les Outils Actuels : Le Piège du « Mètre »

Actuellement, les scientifiques utilisent un outil appelé Homologie Persistante pour étudier ces formes. Imaginez cet outil comme un mètre ou un ruban à mesurer. Il examine les données et demande : « Quelle est la distance entre ces points ? »

Le Défaut : Si vous utilisez un mètre, vous mesurez la géométrie (distance, courbes, angles), et non simplement la topologie (la forme réelle, comme savoir si quelque chose a un trou ou est connecté).
L'Analogie : Imaginez que vous avez un élastique avec un trou au milieu (une forme de beignet). Si vous l'étirez, c'est toujours un beignet. Mais si vous utilisez un mètre pour mesurer la distance entre les points, l'étirement pourrait faire paraître le trou disparu ou changé de taille. Le mètre est trop sensible à la façon dont l'objet est étiré, plutôt qu'à ce que l'objet est.

Les auteurs soutiennent que, parce que les réseaux de neurones étirent les données de manière si sauvage, les outils standards sont confus par l'étirement (géométrie) et manquent la structure réelle (topologie).

La Nouvelle Solution : La Carte de la « Colle »

Les auteurs proposent une nouvelle façon de regarder le réseau qui ignore complètement le mètre. Au lieu de mesurer les distances, ils posent une question plus simple : « Quels points le réseau colle-t-il ensemble ? »

Si le réseau prend deux points différents de l'entrée et les envoie exactement au même endroit dans la sortie, il les a « collés » ensemble. C'est la seule façon dont le réseau peut changer la forme fondamentale des données (comme transformer un beignet en une boule solide en colmatant le trou).

Ils appellent cette nouvelle méthode Homologie Quotient.

Les Deux Façons dont la Colle se Produit

Le papier identifie deux façons dont le réseau colle les points ensemble :

La Source Rang (L'Aplatisseur) : Imaginez écraser une boule d'argile 3D à plat sur une table. Elle devient une crêpe 2D. Le réseau fait cela en effondrant toute une région de données vers une dimension inférieure.
La Source Chevauchement (La Colle) : Imaginez deux morceaux de papier différents (polyèdres) que le réseau plie. Même s'ils ont commencé à des endroits différents, le réseau les plie de sorte qu'ils atterrissent l'un sur l'autre. Les points sur ces deux pièces différentes sont maintenant « collés » ensemble dans la sortie.

Les auteurs prouvent un fait surprenant : Si les données reposent bien sur les carreaux plats (ce qui est généralement vrai), vous n'avez besoin de vous soucier que de la « Source Chevauchement ». Vous pouvez ignorer la partie « aplatissement » et simplement regarder où les différents carreaux atterrissent les uns sur les autres.

Comment Ils L'Ont Fait (L'Algorithme)

Pour trouver ces points « collés » sans utiliser de mètre, les auteurs ont construit un algorithme informatique qui agit comme un détective :

Diviser pour Régner : Ils divisent les données d'entrée en les carreaux plats (polyèdres) que le réseau crée.
Le Test « Peuvent-ils se Rencontrer ? » : Pour chaque paire de carreaux, ils utilisent une technique mathématique appelée Programmation Linéaire pour demander : « Y a-t-il un point dans le Carreau A et un point dans le Carreau B que le réseau envoie exactement à la même destination ? »
L'Union-Find : Si la réponse est oui, ils marquent ces points comme « collés ». Ils utilisent une méthode de regroupement simple (comme trier des chaussettes par paires) pour voir quels grands groupes de points sont maintenant collés ensemble.

Ce Qu'ils Ont Trouvé

Ils ont testé cette nouvelle méthode sur des ensembles de données simples et fictifs (comme des cercles, des anneaux et des sphères) et l'ont comparée à l'ancienne méthode du « mètre ».

Topologie Pure : Leur nouvelle méthode a réussi à ignorer l'étirement et n'a compté que les trous et les connexions réels. Elle ne s'est pas trompée lorsque les données étaient écrasées ou courbées.
Changements Plus Lents : Lorsqu'ils ont observé le réseau apprendre (entraînement), ils ont constaté que la « topologie » (les trous et les formes) change beaucoup plus progressivement que ce que les études précédentes suggéraient. Les anciennes méthodes basées sur le mètre donnaient l'impression que le réseau détruisait instantanément la forme des données. La nouvelle méthode montre que cela se produit lentement, étape par étape.
Effet de l'Entraînement : À mesure que le réseau apprend à classer les choses (comme trier les chats des chiens), les régions « collées » (chevauchements) deviennent plus petites en volume, mais il y en a plus. Le réseau devient plus précis dans la façon dont il colle des groupes spécifiques de données ensemble.

Les Limitations (Les « Pièges »)

Les auteurs sont honnêtes sur les endroits où leur méthode pourrait trébucher :

La Colle « Invisée » : Leur méthode ne regarde que les points de données qu'ils ont réellement donnés au réseau. Si le réseau a un endroit de « colle » caché que aucune donnée d'entraînement n'a jamais touché, la méthode pourrait le manquer (une erreur de type 2).
La Colle « Fausse » : Inversement, la méthode pourrait penser que deux points sont collés parce qu'ils atterrissent au même endroit dans l'espace mathématique, même si ces points n'existent pas réellement dans les données du monde réel (une erreur de type 1).
Coût Computationsnel : Vérifier chaque paire possible de carreaux pour voir s'ils se collent ensemble est très difficile pour les réseaux massifs. C'est comme essayer de vérifier chaque poignée de main possible dans un stade de millions de personnes. Cela fonctionne pour les réseaux petits à moyens, mais devient coûteux pour les énormes.

Résumé

Ce papier introduit un nouveau « détecteur de colle » pour les réseaux de neurones. Au lieu de mesurer la distance entre les points de données (ce qui devient désordonné lorsque le réseau les étire), il demande simplement : « Quels points le réseau a-t-il décidé de coller ensemble ? »

En se concentrant sur cette « colle », ils peuvent voir la vraie forme des données au fur et à mesure que le réseau les traite, révélant que les changements topologiques se produisent plus lentement et plus subtilement que nous ne le pensions auparavant. C'est un moyen de voir la structure de la pensée du réseau sans se laisser distraire par l'étirement des données.

Résumé Technique : Une Théorie d'Homologie Quotient de la Représentation dans les Réseaux de Neurones

Énoncé du Problème
Les réseaux de neurones profonds avec des fonctions d'activation ReLU sont connus pour implémenter des fonctions continues par morceaux linéaires (CPWL), partitionnant le domaine d'entrée en polyèdres convexes (régions linéaires) sur lesquels le réseau opère de manière affine. Bien que l'Analyse Topologique des Données (ATD), spécifiquement l'homologie persistante, ait été utilisée pour étudier la topologie des représentations neuronales, les méthodes standard reposent sur des métriques externes (par exemple, la distance euclidienne) pour construire des complexes simpliciaux. Cette dépendance introduit des biais géométriques, tels que la courbure et la convexité, qui peuvent confondre les caractéristiques géométriques avec des caractéristiques purement topologiques. De plus, l'homologie persistante est sensible aux valeurs aberrantes et à la densité d'échantillonnage. L'article répond au besoin d'une approche sans métrique pour quantifier les changements topologiques induits par les réseaux de neurones, en distinguant spécifiquement les distorsions géométriques des simplifications topologiques authentiques (par exemple, le collage de parties distinctes de la variété).

Méthodologie
Les auteurs proposent un cadre basé sur l'homologie quotient qui exploite la structure intrinsèque des réseaux ReLU. La méthodologie centrale comporte trois étapes :

Décomposition Polyédrale : L'espace d'entrée est décomposé en polyèdres convexes ( $G_J$ ) basés sur les motifs d'activation (codes) du réseau. À l'intérieur de chaque polyèdre, le réseau agit comme une application affine $\Phi_J$ .
Décomposition des Chevauchements ( $O_\Phi$ ) : Les auteurs définissent une relation d'équivalence $\sim_\Phi$ où $x \sim_\Phi x'$ si $\Phi(x) = \Phi(x')$ . Ils identifient deux sources de non-injectivité (changement topologique) :
- Source de Rang : L'application affine locale $\Phi_J$ a un rang inférieur à la dimension de la variété, projetant la région sur un sous-espace de dimension inférieure.
- Source de Chevauchement : Des polyèdres distincts $G_{J_i}$ et $G_{J_j}$ sont mappés vers des images se coupant dans l'espace de sortie ( $\bigcap \text{Im}\Phi_{J_i} \neq \emptyset$ ).
L'article se concentre sur la décomposition des chevauchements, qui rassemble les classes d'équivalence résultant des intersections non triviales des images de différents polyèdres.
Calcul Numérique :
- La décomposition des chevauchements est calculée algorithmiquement en utilisant la Programmation Linéaire (PL). Pour les paires de polyèdres peuplés, la méthode vérifie la faisabilité de points $p \in G_{J_1}$ et $p' \in G_{J_2}$ tels que $\Phi(p) = \Phi(p')$ sous les contraintes définies par la représentation-H des polyèdres.
- Un algorithme Union-Find est utilisé pour regrouper ces points chevauchants en classes d'équivalence.
- Les nombres de Betti de la représentation neuronale sont ensuite calculés comme l'homologie de l'espace quotient $H_k(M/O_\Phi)$ , où $M$ est la variété d'entrée.

Résultats Théoriques Clés
L'article établit un théorème fondamental (Théorème 3.2) stipulant que si l'intersection entre la variété de données $M$ et n'importe quel polyèdre $G_J$ est convexe, les groupes d'homologie de la représentation neuronale sont isomorphes aux groupes d'homologie quotient de la décomposition des chevauchements :
$H_k(\Phi(M)) \simeq H_k(M/O_\Phi)$
Dans cette condition, la source de rang de la non-injectivité n'altère pas les groupes d'homologie, permettant à la décomposition des chevauchements seule de suffire pour calculer les invariants topologiques sans métriques externes.

Résultats Expérimentaux
Les auteurs valident leur approche à travers plusieurs expériences :

Jeux de Données Jouets (Courbes Non-linéaires) : Comparaison de l'homologie quotient avec l'homologie persistante standard sur des jeux de données dont la topologie est connue. Les résultats montrent que l'homologie persistante identifie souvent des caractéristiques géométriques (par exemple, de fausses structures circulaires dues à la proximité dans l'espace de sortie) que l'homologie quotient ignore correctement, car elle ne détecte que les points explicitement collés par l'application du réseau.
Propagation de Variété : Réexamen de l'évolution des nombres de Betti à travers les couches du réseau sur des jeux de données de Naitzat et al. (2020). Alors que l'homologie persistante suggérait une simplification topologique rapide dans les premières couches, l'approche par homologie quotient révèle que les changements topologiques se produisent beaucoup plus progressivement. Cela suggère que les premières couches induisent principalement un torsion géométrique plutôt qu'un collage topologique.
Dynamique d'Entraînement : Analyse des réseaux aléatoires par rapport aux réseaux entraînés sur des tâches de classification de sphères. L'étude constate que, bien que le volume des régions de chevauchement diminue après l'entraînement, le nombre de régions de chevauchement a tendance à augmenter, en particulier dans les dimensions supérieures.

Importance et Revendications
L'article revendique de fournir une perspective nouvelle et sans métrique sur les représentations neuronales en déplaçant l'accent de la géométrie de l'espace de sortie vers la structure de l'application elle-même. Les contributions clés incluent :

Analyse Topologique Intrinsèque : Une méthode pour calculer les nombres de Betti qui est robuste aux distorsions géométriques et ne nécessite pas la sélection d'une métrique externe.
Compréhension Affinée du Changement Topologique : Des preuves que la simplification topologique dans les réseaux profonds est un processus graduel, contrastant avec les résultats précédents basés sur l'homologie persistante.
Nouvelle Mesure de l'Expressivité : La décomposition des chevauchements offre une nouvelle façon de quantifier l'expressivité du réseau en mesurant la capacité à implémenter des applications non injectives, distincte du simple comptage des régions linéaires.
Rigueur Théorique : Le travail relie les décompositions polyédrales des fonctions CPWL à l'homologie quotient, fournissant les conditions dans lesquelles la décomposition des chevauchements caractérise pleinement la topologie de la représentation.

Les auteurs reconnaissent des limitations, notamment le coût computationnel de la détermination des représentations-H pour les espaces de haute dimension et d'éventuelles « erreurs homologiques de type 1 et 2 » découlant de polyèdres non peuplés ou d'un échantillonnage limité des jeux de données. Ils concluent que ce cadre ouvre des voies pour distinguer rigoureusement les transformations topologiques et géométriques dans l'apprentissage profond.