🤖 machine learning

Dynamics Reveals Structure: Challenging the Linear Propagation Assumption

Cet article démontre que l'hypothèse de propagation linéaire, qui postule que les mises à jour locales des paramètres dans les réseaux de neurones préservent la cohérence logique, est fondamentalement erronée car les exigences mathématiques pour traiter la composition de relations (la bilinéarité) sont incompatibles avec celles de la négation, expliquant ainsi les limitations structurelles dans l'édition de connaissances, la malédiction de l'inversion et le raisonnement multi-sauts.

Auteurs originaux : Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Le Problème du « Dominos »

Imaginez que vous avez une machine géante et complexe (un réseau de neurones) qui connaît des faits. Vous voulez lui apprendre un nouveau fait, comme « Le T-Rex a quatre pattes ».

Le papier pose une question simple : Si vous modifiez légèrement la machine pour lui apprendre ce seul fait, la machine met-elle automatiquement à jour tous les faits connexes de manière logique ?

Par exemple :

Si vous lui apprenez « Le T-Rex a quatre pattes », apprend-elle automatiquement « Le T-Rex n'a pas cinq pattes » (Négation) ?
Apprend-elle « Quatre pattes appartiennent au T-Rex » (Converse/Inversion) ?
Apprend-elle « Si le T-Rex a quatre pattes, et que quatre pattes sont un type de membre, alors le T-Rex a des membres » (Composition/Multi-saut) ?

Les auteurs appellent la croyance selon laquelle « de petits ajustements corrigent automatiquement toute la logique connexe » l'Hypothèse de Propagation Linéaire (LPA). Ils soutiennent que, bien que cela semble idéal, les mathématiques prouvent qu'il est impossible pour les types d'IA actuels de le faire parfaitement en utilisant de simples petits ajustements.

Les Trois Tests Logiques

Les chercheurs ont testé trois types spécifiques de logique pour voir si la machine pouvait les gérer. Ils ont utilisé une approche « géométrique », imaginant les connaissances de l'IA comme des formes et des directions dans l'espace.

1. Le Test de l'« Opposé » (Négation)

La Logique : Si vous poussez la machine à croire « Oui », elle devrait naturellement pousser « Non » dans la direction exactement opposée.
L'Analogie : Imaginez une balançoire. Si vous poussez un côté vers le bas (Oui), l'autre côté doit monter (Non).
La Découverte : Le papier prouve que pour que cela fonctionne automatiquement, la « mémoire » interne de la machine doit être construite comme un ensemble de Lego avec des briques séparées. Un ensemble de briques doit contenir le qui (T-Rex), et un ensemble complètement séparé doit contenir le quoi (quatre pattes).
La Réalité : Les auteurs ont examiné de vrais modèles d'IA et ont constaté qu'ils n'utilisent pas de briques séparées. Au lieu de cela, ils mélangent tout. Ainsi, lorsque vous poussez « Oui », le côté « Non » se déplace souvent dans la même direction, créant une contradiction.

2. Le Test de l'« Échange » (Converse)

La Logique : Si « A est le parent de B », la machine devrait automatiquement comprendre que « B est l'enfant de A ».
L'Analogie : Imaginez une danse. Si le Partenaire A mène le Partenaire B, la machine devrait instantanément savoir comment échanger les rôles pour que le Partenaire B mène le Partenaire A, sans se confondre.
La Découverte : Cela nécessite une structure très spécifique et symétrique dans la mémoire de la machine. C'est comme un miroir qui reflète parfaitement. Le papier montre que les modèles d'IA actuels n'ont pas cette symétrie miroir parfaite intégrée, c'est pourquoi ils échouent souvent à inverser les relations (un problème connu sous le nom de « malédiction de l'inversion »).

3. Le Test de la « Chaîne » (Composition)

La Logique : Si « A mène à B » et que « B mène à C », la machine devrait automatiquement savoir que « A mène à C ».
L'Analogie : Imaginez une chaîne de dominos. Si vous faites tomber le premier, le deuxième tombe, puis le troisième.
La Découverte : C'est ici que le papier livre son plus grand « ouille ». Ils ont prouvé qu'il est mathématiquement impossible de faire fonctionner cette réaction en chaîne en utilisant de simples ajustements linéaires, si vous voulez aussi que le test de l'« Opposé » fonctionne.
La Métaphore : C'est comme essayer de construire un pont où les lois de la physique disent que « Haut » et « Bas » doivent s'annuler parfaitement, mais où les règles du pont disent que « Haut » et « Bas » doivent se multiplier pour redevenir « Haut ». La seule façon de satisfaire les deux règles est de faire effondrer le pont entièrement (la carte des caractéristiques devient nulle).

Pourquoi Cela Importe-t-il ?

Le papier suggère que de nombreuses échecs frustrants que nous observons en IA ne sont pas simplement dus au fait que l'IA est « bête » ou pas assez entraînée. C'est plutôt dû à un décalage structurel.

Le Problème : Nous essayons de résoudre un problème complexe et non linéaire (la logique) en utilisant un outil simple et linéaire (de petites mises à jour de paramètres).
Le Résultat : L'IA peut apprendre un fait spécifique, mais elle ne peut pas « propager » de manière fiable cet apprentissage à ses conséquences logiques.
- Elle ne peut pas apprendre de manière fiable l'opposé d'un fait.
- Elle ne peut pas inverser de manière fiable une relation.
- Elle ne peut pas enchaîner de manière fiable des faits entre eux.

La Leçon « La Dynamique Révèle la Structure »

Les auteurs utilisent une phrase astucieuse : « La Dynamique Révèle la Structure ».

Habituellement, nous regardons une IA et demandons : « Que sait-elle ? » (Vue statique).
Ce papier demande : « Comment change-t-elle lorsque nous lui apprenons quelque chose ? » (Vue dynamique).

En observant comment l'IA bouge lorsque nous la modifions, nous avons découvert que sa structure interne est fondamentalement brisée pour le raisonnement logique. C'est comme regarder une voiture et réaliser que, peu importe à quel point vous appuyez sur la pédale d'accélérateur, les roues ne tournent pas parce que les essieux sont en caoutchouc et non en acier. Le problème n'est pas la pédale d'accélérateur (l'entraînement) ; c'est les essieux (la géométrie des mises à jour).

Résumé

L'Hypothèse : De petits changements locaux apportés à une IA devraient automatiquement corriger tous les faits logiques connexes.
La Vérité : Les mathématiques prouvent que c'est impossible pour la « Négation » et la « Composition » de fonctionner ensemble de manière linéaire simple.
La Conséquence : Les modèles d'IA actuels sont structurellement limités. Ils peuvent mémoriser des faits, mais ils peinent à raisonner logiquement sur ces faits (comme les inverser ou les enchaîner) simplement en étant légèrement ajustés. Pour corriger cela, nous devons probablement changer l'architecture fondamentale de la façon dont ces modèles apprennent, et non pas simplement les entraîner plus longtemps.

Résumé technique : La dynamique révèle la structure : Remise en question de l'hypothèse de propagation linéaire

1. Formulation du problème

Les systèmes d'apprentissage automatique modernes, en particulier les grands modèles de langage (LLM), s'adaptent aux nouvelles informations principalement par le biais de mises à jour de paramètres du premier ordre (optimisation basée sur le gradient). Bien que ces modèles exhibent des capacités de raisonnement logique impressionnantes lors de l'inférence, il reste incertain si la géométrie locale de ces mises à jour préserve intrinsèquement la cohérence logique. Plus précisément, lorsqu'un modèle révise une croyance concernant un fait, ses croyances logiquement liées (par exemple, les négations, les converses ou les conséquences compositionnelles) se mettent-elles à jour de manière rationnelle pour maintenir la cohérence ?

Les techniques actuelles reposent souvent sur l'hypothèse de propagation linéaire (LPA), qui postule que les mises à jour locales du premier ordre peuvent se propager de manière cohérente vers les conséquences logiques. Cette hypothèse sous-tend de nombreuses stratégies d'édition de connaissances, d'apprentissage continu et d'oubli, qui traitent les couches du réseau comme des mémoires associatives linéaires. Cependant, des échecs empiriques — tels que la « malédiction de l'inversion » (incapacité à généraliser aux relations inversées) et l'impossibilité de propager les éditions vers les négations ou les tâches de raisonnement multi-sauts — suggèrent que la LPA pourrait être fondamentalement erronée.

La question centrale abordée est la suivante : Quelles contraintes structurelles sont imposées à la représentation d'un modèle si nous exigeons que les mises à jour linéaires locales respectent la structure logique des connaissances relationnelles ?

2. Méthodologie

Les auteurs formalisent le problème en faisant le pont entre l'algèbre relationnelle et l'analyse géométrique des mises à jour des réseaux de neurones.

Formalisme : Les connaissances relationnelles sont modélisées à l'aide de l'algèbre relationnelle, en se concentrant sur trois opérations fondamentales :
- Négation ( $\neg$ ) : Inverse les valeurs de vérité.
- Converse ( $\cdot^\smile$ ) : Échange l'ordre des arguments (par exemple, $r(h, t) \to r^\smile(t, h)$ ).
- Composition ( $\cdot; \cdot$ ) : Enchaîne les relations (par exemple, $r; s$ ).
Outil géométrique : Les auteurs adoptent la perspective du Neural Tangent Kernel (NTK), traitant le modèle comme une fonction linéaire des paramètres dans le régime local. Les requêtes sont associées à des caractéristiques linéarisées définies comme les gradients de la fonction de score : $\phi_q = \nabla_\theta s_\theta(q)$ .
Propagation linéaire systématique (SLP) : Les auteurs définissent une condition stricte selon laquelle le couplage logique doit être une propriété géométrique intrinsèque de la représentation, valable pour toutes les directions de mise à jour $\Delta\theta$ $Δ θ$ dans le sous-espace des caractéristiques. Cela nécessite :
1. Équivariance logique : Les vecteurs de caractéristiques pour les requêtes logiquement liées doivent se transformer de manière prévisible (par exemple, $\phi_{\neg q} = -\phi_q$ pour la négation).
2. Indépendance linéaire : Les familles logiquement non liées doivent être linéairement indépendantes pour permettre des mises à jour sélectives.
Analyse de symétrie : S'appuyant sur le critère d'invariance de Tarski, les auteurs traitent les renommages d'entités comme des symétries de l'espace des requêtes. Ils analysent comment ces symétries contraignent les représentations du groupe linéaire sur l'espace des caractéristiques.

3. Contributions et résultats clés

A. La négation et le converse nécessitent une factorisation tensorielle

L'article démontre que satisfaire la SLP pour la négation et le converse impose des contraintes géométriques strictes sur l'espace des caractéristiques :

Théorème 1 (Factorisation contexte-relation) : Pour soutenir la propagation systématique de la négation, l'espace des caractéristiques doit se décomposer en une structure de produit tensoriel séparant le contexte de la paire d'entités du contenu de la relation. Plus précisément, $\phi(h, r, t) \approx \sum u(h, t) \otimes v(r)$ . La négation agit localement comme un changement de signe sur la composante relationnelle $v(r)$ .
Théorème 2 (Alignement symétrique-antisymétrique) : Pour soutenir la propagation systématique de l'opération de converse, la composante de la paire d'entités doit se décomposer davantage en parties symétriques et antisymétriques. Cela garantit que l'échange des entités (et de la relation) aboutit à une représentation de caractéristique cohérente via des mécanismes d'annulation de signe.
Validation empirique : Les auteurs démontrent que les LLM actuels (Qwen3, Olmo) violent ces exigences géométriques. Empiriquement, les gradients des faits et de leurs négations sont fortement alignés positivement (similarité cosinus $\approx 0,85$ ), alors que la SLP exige qu'ils soient anti-alignés (similarité cosinus $-1$). Ce désalignement persiste à travers les échelles de modèles et les architectures.

B. L'effondrement de la conjonction linéaire

Le résultat théorique le plus significatif concerne la composition relationnelle (raisonnement multi-sauts) :

Théorème 3 (Effondrement structurel) : Les auteurs montrent que si une application de caractéristiques soutient la propagation systématique à la fois pour la négation et la conjonction (une forme minimale de composition) sous des mises à jour linéaires, l'application de caractéristiques doit s'effondrer à zéro.
Mécanisme de l'échec :
1. La conjonction systématique sur des caractéristiques linéaires nécessite un opérateur bilinéaire (en raison des exigences de stabilité du noyau).
2. L'équivariance de la négation exige que la caractéristique d'une requête négative soit l'opposée de l'originale ( $\phi_{\neg p} = -\phi_p$ ).
3. La bilinéarité implique $\tilde{F}(-\phi_p, -\phi_p) = \tilde{F}(\phi_p, \phi_p)$ .
4. Cependant, l'idempotence logique exige $\tilde{F}(\phi_{\neg p}, \phi_{\neg p}) = \phi_{\neg p} = -\phi_p$ , tandis que $\tilde{F}(\phi_p, \phi_p) = \phi_p$ .
5. Cela crée une contradiction ( $-\phi_p = \phi_p$ ), forçant $\phi_p = 0$ .
Implication : Les exigences géométriques pour la négation et la conjonction sont mutuellement incompatibles sous des mises à jour linéaires du premier ordre. Cela suggère que les échecs dans le raisonnement multi-sauts et l'édition de connaissances ne sont pas de simples artefacts d'optimisation, mais découlent d'un décalage géométrique fondamental.

4. Importance et affirmations

L'article soutient que la dynamique révèle la structure : analyser comment les représentations se transforment sous les mises à jour expose des nécessités structurelles que l'approximation de fonction statique ne peut pas révéler.

Recadrage de la systématicité : Ce travail contribue au débat sur la systématicité (Fodor & Pylyshyn, 1988) en dérivant des structures de blocs compatibles avec la liaison non pas comme un choix architectural, mais comme une nécessité géométrique pour la cohérence logique sous la LPA.
Limites de l'édition locale : Les résultats suggèrent que les méthodes d'édition de connaissances reposant sur des mises à jour linéaires en une seule étape font face à des limites fondamentales. Elles ne peuvent garantir la propagation des éditions vers les conséquences logiques (négations, converses ou compositions) sans induire de contradictions ou sans exiger des directions de mise à jour spécifiques et non génériques.
Voie à suivre : Les auteurs proposent une orientation vers l'apprentissage profond géométrique logique, où le comportement au moment de la mise à jour est contraint par des symétries logiques (équivariance) plutôt que par une simple approximation de fonction statique. Cela implique que les architectures ou les objectifs futurs devront imposer explicitement les structures factorisées en tenseurs et alignées sur les symétries identifiées dans les théorèmes pour réaliser une propagation systématique.

En résumé, l'article fournit une preuve théorique rigoureuse que l'hypothèse de propagation linéaire est structurellement insuffisante pour soutenir des opérations logiques systématiques dans les réseaux de neurones, offrant une explication géométrique des échecs persistants dans le raisonnement et l'édition des LLM.