🤖 machine learning

Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds

Cet article démontre que les structures internes compositionnelles dans les réseaux de neurones n'émergent que dans un régime étroit et dépendant de la cible de motifs de connectivité et de profondeurs de réseau spécifiques, et propose une élagage basé sur la similitude ainsi qu'un prédicteur de profondeur pour identifier et exploiter ces conditions tout en fournissant un cadre théorique expliquant pourquoi la descente de gradient converge autrement vers des solutions fracturées.

Auteurs originaux : Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

Publié 2026-06-19

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Trouver la Zone « Goldilocks » pour les Cerveaux d'IA

Imaginez que vous essayiez d'apprendre à un robot à dessiner un crâne. Vous voulez que le robot apprenne le concept de « crâne » en combinant des parties simples et réutilisables : une orbite oculaire, une mâchoire, un nez. C'est ce qu'on appelle la compositionnalité. C'est comme avoir un ensemble de briques Lego où vous pouvez emboîter la même pièce « œil » sur différents modèles pour construire une voiture, une maison ou un robot.

Cependant, la plupart des modèles d'IA modernes (entraînés avec des méthodes standards) n'apprennent pas de cette manière. Au lieu de construire avec des briques Lego propres, ils ont tendance à construire avec une énorme pelote de laine emmêlée. Chaque partie de l'image est mélangée avec toutes les autres parties. Si vous modifiez un minuscule fil dans la pelote, toute l'image peut devenir un désastre. C'est ce qu'on appelle l'enchevêtrement fracturé.

Les auteurs de cet article se sont posé une question simple : Existe-t-il une façon spécifique de construire le cerveau du robot pour qu'il apprenne naturellement à utiliser des briques Lego propres et réutilisables plutôt qu'une pelote de laine emmêlée ?

Leur réponse est un « Oui » surprenant, mais avec une condition très stricte : Le cerveau doit être construit dans une zone « Goldilocks » (ni trop chaud, ni trop froid, juste ce qu'il faut) très spécifique de taille et de profondeur.

Les Deux Règles du Succès

L'article découvre que pour qu'une IA apprenne ces parties propres et réutilisables, deux choses doivent se produire simultanément. Si vous vous trompez sur l'une d'elles, l'IA échoue.

1. La Règle de la Connectivité : « Moins, c'est mieux, mais seulement si c'est le bon « moins » »

Imaginez une pièce remplie de gens (des neurones) essayant de résoudre un puzzle.

L'Erreur : Si vous laissez tout le monde parler à tout le monde (un réseau dense et entièrement connecté), ils commencent tous à se crier dessus. Ils s'embrouillent, et personne ne prend la responsabilité d'une pièce spécifique du puzzle.
La Solution : Vous devez couper les connexions. Mais vous ne pouvez pas en couper au hasard. Vous devez couper les bonnes connexions.
L'Analogie : Pensez à une autoroute très fréquentée. Si vous fermez des voies au hasard, les embouteillages empirent. Mais si vous fermez les voies spécifiques qui causent l'engorgement et que vous gardez celles qui permettent aux voitures de circuler fluidement, le trafic se débloque.
La Découverte de l'Article : Les auteurs ont découvert une méthode de pointe (de coupe de connexions) appelée Élagage basé sur la Similitude (Similarity-based Pruning - SP). Cette méthode examine quels neurones font exactement le même travail et supprime les doublons. Cela force les neurones restants à se spécialiser. Un neurone devient l'expert de l'« œil », un autre devient l'expert de la « mâchoire ».

2. La Règle de la Profondeur : « Ni trop peu profond, ni trop profond »

Maintenant, imaginez les couches du cerveau comme les étages d'un bâtiment.

Trop peu profond (1-2 étages) : Le bâtiment est trop court. L'expert de l'« œil » et l'expert de la « mâchoire » sont sur le même étage et ne peuvent pas organiser leur travail correctement. Ils ne peuvent pas construire une structure complexe.
Trop profond (100 étages) : Le bâtiment est trop haut. Les instructions se perdent dans la cage de l'ascenseur. Au moment où le signal atteint le sommet, les experts de l'« œil » et de la « mâchoire » ont oublié qui ils sont censés être, et ils recommencent à mélanger leurs tâches.
Le Point d'Équilibre : Il existe un nombre spécifique d'étages qui est parfait pour le dessin que vous essayez de réaliser.
- Pour une pomme simple, peut-être que 12 étages sont parfaits.
- Pour un papillon complexe, peut-être que 14 étages sont parfaits.
- Si vous ajoutez ou retirez seulement un seul étage, la magie disparaît, et l'IA revient à la construction avec de la laine emmêlée.

Le Régime du « Point de l'Équilibre »

L'article appelle cela le Régime de Profondeur et de Connectivité Étroit (Narrow Depth–Connectivity Regime).

Pensez à l'accordage d'une radio.

La Connectivité est l'antenne. Elle doit avoir la bonne forme (parcelle et spécifique) pour capter le signal.
La Profondeur est le cadran de la fréquence. Il doit être tourné vers le nombre exact.
Si vous avez la bonne antenne mais la mauvaise fréquence, vous entendez des parasites.
Si vous avez la bonne fréquence mais la mauvaise antenne, vous n'entendez rien.
Seulement quand les deux sont parfaits, la musique (la compositionnalité) joue clairement.

Comment Ils l'Ont Prouvé

Les chercheurs n'ont pas seulement deviné ; ils ont construit un terrain d'essai appelé EMC2-Bench.

Le Test : Ils ont entraîné des modèles d'IA à dessiner des images (comme des crânes, des papillons et des pommes).
Le Test du « Frétillement » (Wiggle Test) : Après l'entraînement, ils ont appliqué un minuscule « frétillement » (un petit changement aléatoire) à un seul nombre à l'intérieur du cerveau de l'IA.
- Si l'IA utilisait de la laine emmêlée, ce minuscule frétillement brisait toute l'image (ex: le crâne devient une tache informe).
- Si l'IA utilisait des briques Lego, ce minuscule frétillement n'affecterait qu'une partie spécifique (ex: l'œil devient légèrement plus grand, mais la mâchoire reste parfaite).
Le Résultat : Ils ont constaté que l'entraînement standard produisait presque toujours de la laine emmêlée. Mais lorsqu'ils ont utilisé leur méthode spéciale d'élagage (SP) et réglé la profondeur sur le point d'équilibre exact, l'IA a soudainement commencé à construire avec des briques Lego propres et réutilisables.

Pourquoi Cela Se Produit-il ? (La Théorie)

L'article propose une explication mathématique utilisant un concept appelé Ratio de Volume.

Imaginez un océan géant de toutes les façons possibles de construire un cerveau.

L'Océan Enchevêtré : La majeure partie de l'océan est remplie de solutions « emmêlées ». Elles sont immenses, faciles à trouver et faciles à atteindre.
L'Île Compositionnelle : Les solutions de type « Lego propre » sont comme une petite île cachée au milieu de cet océan. Elle est très petite et difficile à trouver.

L'article soutient que :

Si votre cerveau est trop large (trop de neurones), l'océan « emmêlé » devient plus grand, et l'île « propre » devient relativement plus petite. Statistiquement, vous êtes susceptible de vous perdre dans le désordre emmêlé.
Si votre cerveau est trop profond ou trop peu profond, l'île disparaît complètement.
La Magie : Si vous atteignez la largeur et la profondeur exactes, l'océan « emmêlé » rétrécit, et l'île « propre » devient le seul endroit où il reste de la place pour se tenir. L'IA doit trouver la solution propre car il n'y a nulle part ailleurs où aller.

Résumé

Cet article montre que les modèles d'IA n'apprennent pas naturellement à penser en parties réutilisables et modulaires. Ils apprennent naturellement à être désordonnés et emmêlés.

Cependant, si vous forcez l'IA dans une boîte architecturale très spécifique — où vous coupez les bonnes connexions et construisez le nombre exact de couches — vous forcez l'IA à s'organiser. Elle cesse d'être une pelote de laine emmêlée et commence à construire avec des briques Lego propres et réutilisables. C'est le secret pour créer une IA capable de généraliser et de comprendre le monde de manière plus proche de celle d'un humain.

Résumé technique : La compositionnalité émerge dans un régime étroit de profondeur et de connectivité

Énoncé du problème

Les modèles de fondation modernes (LLM, VLM, modèles de diffusion) présentent des capacités fortes mais souffrent d'une généralisation fragile, particulièrement en ce qui concerne la compréhension compositionnelle. De petites perturbations non pertinentes par rapport à la tâche peuvent déclencher des changements de comportement brusques, suggérant une absence de structure compositionnelle interne robuste. Alors que les algorithmes évolutionnaires (par exemple, NEAT sur Picbreeder) peuvent découvrir des « Représentations Unifiées Factorisées » (UFR) — des primitives unifiées, réutilisables et sémantiquement stables — l'optimisation standard par gradient (SGD) converge généralement vers des « Représentations Fracturées Entrelacées » (FER). Dans le cas des FER, les concepts sont distribués sur des neurones chevauchants, et les caractéristiques sont polysémantiques, échouant à s'aligner avec des significations stables et interprétables.

La question centrale abordée est la suivante : La monosémanticité et la compositionnalité peuvent-elles émerger lors de la rétropropagation standard par gradient, et si oui, sous quelles conditions architecturales spécifiques ? Les auteurs émettent l'hypothèse que cette émergence n'est pas un résultat par défaut de l'échelle ou d'une perte faible, mais qu'elle est régie par un problème de joignabilité structurelle défini par l'interaction entre la profondeur et la connectivité du réseau.

Méthodologie

1. Suite d'évaluation : EMC2-Bench

Pour quantifier la compositionnalité, les auteurs introduisent EMC2-Bench, une suite d'évaluation basée sur la perturbation.

Métrique : Le « Score de Compositionnalité » est défini comme la fraction de paramètres non nuls qui, lorsqu'ils sont perturbés par un bruit ( $\delta$ ), préservent l'identité sémantique globale de l'image générée.
Procédure : Pour chaque poids non nul $w$ , une copie perturbée $w' = w + \delta$ est créée. Le réseau génère une image, qui est évaluée par un juge de type Modèle Vision-Langage (VLM) (Qwen3-VL-4B-Thinking) pour déterminer si le contenu sémantique (ex: « crâne ») reste intact.
Référence : Le benchmark compare les MLP denses entraînés via SGD contre des solutions évolutionnaires (CPPN de Picbreeder) et diverses stratégies d'élagage (pruning).

2. Interventions structurelles

Élagage basé sur la similitude (SP - Similarity-based Pruning) : Pour récupérer une connectivité compositionnelle, les auteurs proposent un algorithme itératif d'élagage et de réentraînement.
- Mécanisme : Au sein de chaque couche, des cartes de caractéristiques par neurone sont extraites. Les neurones présentant une forte similitude cosinus sont identifiés comme redondants. Un neurone de chaque paire redondante est sélectionné aléatoirement pour être supprimé, et ses poids entrants/sortants sont mis à zéro.
- Objectif : Cela force le réseau à allouer des neurones distincts à des facteurs sémantiques distincts, faisant s'effondrer les solutions entrelacées en circuits creux et réutilisables.
Prédicteur de profondeur heuristique : Reconnaissant que la profondeur optimale dépend de la cible, les auteurs proposent d'utiliser le taux de compression PNG de l'image cible comme proxy de la complexité de l'image. Une relation linéaire est observée entre la complexité de l'image et la profondeur empiriquement optimale, permettant de prédire de manière légère le « point idéal » de profondeur sans balayage exhaustif.

3. Cadre théorique

Le papier fournit une justification théorique basée sur :

Sparsité compositionnelle : S'appuyant sur l'hypothèse de la variété (manifold hypothesis), les auteurs soutiennent que les solutions compositionnelles se factorisent à travers un graphe acyclique dirigé (DAG) avec une arité locale bornée.
Argument du ratio de volume : Ils définissent le « ratio de volume compositionnel » $\rho(W, L)$ comme la probabilité qu'une configuration de paramètres aléatoire tombe dans un bassin compositionnel. Ils prouvent que $\rho$ est fortement concentré à un point spécifique $(W_{min}, L^*)$ et décroît exponentiellement lorsque la largeur ( $W$ ) ou la profondeur ( $L$ ) s'écarte de ce point.
Bornes d'interférence des caractéristiques : En utilisant la borne de Welch, ils démontrent que la sparsité compositionnelle réduit la borne géométrique inférieure de l'interférence des caractéristiques, rendant les caractéristiques monosémantiques (orthogonales) géométriquement réalisables uniquement lorsque le nombre de primitives $r$ est inférieur ou égal à la dimension $d$ .

Résultats clés

1. Le régime étroit de Profondeur–Connectivité

La compositionnalité n'émerge pas universellement ; elle n'apparaît que dans un régime spécifique :

Connectivité : La compositionnalité dépend fortement de quelles connexions subsistent, et pas seulement du niveau de sparsité. Les méthodes d'élagage standard (Hypothèse du Ticket de Loterie, Wanda, LLM-Pruner) échouent à récupérer des structures compositionnelles (score de 0 sur EMC2-Bench). Seul l'Élagage basé sur la similitude (SP) produit des scores non nuls, indiquant que l'organisation des connexions est critique.
Profondeur : La compositionnalité présente une relation non monotone avec la profondeur. Pour des cibles spécifiques (ex: crâne, papillon, pomme), le score de compositionnalité culmine à une profondeur donnée et chute rapidement si le réseau est rendu plus superficiel ou plus profond. Cette profondeur optimale est propre à chaque cible.

2. Optimisation et émergence

Sensibilité de l'optimiseur : Même avec l'architecture correcte, l'optimiseur compte. Muon (un optimiseur utilisant des itérations de Newton-Schulz) atteint une perte d'entraînement plus faible et des scores de compositionnalité plus élevés que Adam. Cela suggère que de meilleurs minima (plus plats, plus stables) sont nécessaires pour atteindre le bassin compositionnel.
Fragilité des FER : Lorsque les conditions de profondeur ou de connectivité sont violées, la descente de gradient converge silencieusement vers des solutions fracturées. De petites perturbations des poids dans ces solutions provoquent une dérive sémantique, tandis que les solutions compositionnelles restent robustes.

3. Généralisation à des cibles inconnues

La méthode se transfère à des images dont la solution compositionnelle sous-jacente est inconnue (ex: scènes naturelles, images multi-objets). Le SP combiné au prédicteur de profondeur heuristique parvient à récupérer des caractéristiques intermédiaires monosémantiques et des variations de sortie significatives sous balayage de poids, bien que l'effet soit plus faible pour les scènes multi-objets complexes.

Signification et affirmations

Le papier affirme que la généralisation nécessite des contraintes architecturales qui rendent les solutions compositionnelles accessibles à l'entraînement par gradient.

Réfutation des solutions basées uniquement sur l'échelle : Les auteurs soutiennent que le simple passage à l'échelle (augmentation de la largeur ou de la profondeur) tend à produire des solutions fracturées car la mesure relative de la variété compositionnelle rétrécit à mesure que l'espace des paramètres croît (Argument du ratio de volume).
Insight mécaniste : Ce travail comble le fossé entre l'existence de mises en œuvre compactes et modulaires (prouvées par les algorithmes évolutionnaires) et l'échec de la rétropropagation classique à les trouver. Il postule que le SGD est biaisé vers les bassins compositionnels uniquement lorsque l'architecture est « juste ce qu'il faut » (le point idéal de profondeur-connectivité étroite) et que l'optimiseur est capable de trouver des minima plats.
Implications pratiques : L'introduction du SP et du prédicteur de profondeur offre une voie pour induire une structure compositionnelle dans les MLP standards sans changer l'objectif d'entraînement, simplement en contraignant l'architecture et la stratégie d'élagage.

Les auteurs restent modestes, notant que si leur cadre explique bien la compositionnalité d'un objet unique, la compositionnalité spatiale dans les scènes multi-objets reste une frontière ouverte en raison de l'augmentation exponentielle des primitives ( $P$ ) requises, ce qui fait s'effondrer le ratio de volume $\rho$ . Ils ne prétendent pas avoir résolu le raisonnement compositionnel général pour toutes les tâches de vision-langage, mais ont identifié un régime structurel spécifique où cela est empiriquement et théoriquement atteignable.