📊 statistics

Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension

Cet article démontre que les comptages d'effacements itératifs utilisés pour estimer les dimensions de concepts ne sont pas invariants par affinité et dépendent donc de la procédure de mesure spécifique et de la géométrie de la représentation plutôt que de refléter une propriété sémantique intrinsèque de la représentation neurale.

Auteurs originaux : Tingan Jin, Shuhang Dong, Haosong Li, Chung-Hsien Chou

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tingan Jin, Shuhang Dong, Haosong Li, Chung-Hsien Chou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le piège caché dans le comptage des « directions » neuronales

Imaginez que vous essayez de comprendre comment un robot super intelligent perçoit le monde. Vous pourriez vous dire : « Si je peux poser une question au robot et obtenir une réponse, l'information doit être stockée dans une direction spécifique à l'intérieur de son cerveau. » Des scientifiques ont développé une astuce ingénieuse appelée « effacement itératif » pour compter ces directions. Cela fonctionne ainsi : vous trouvez la direction que le robot utilise pour répondre à une question, puis vous « effacez » mathématiquement cette direction et posez à nouveau la question. Si le robot connaît toujours la réponse, vous effacez une autre direction. Vous continuez à compter jusqu'à ce que le robot finisse par dire : « Je ne sais pas. » Le nombre d'effacements effectués était considéré comme la véritable « dimension » du concept — comme compter combien de couleurs distinctes sont mélangées pour créer une nuance spécifique de violet.

Mais voici le piège : et si le cerveau du robot n'était pas une boîte fixe et rigide, mais un ballon extensible et changeant de forme ? Si vous pressez ou étirez le ballon (un mouvement mathématique appelé « reparamétrage »), les directions à l'intérieur changent d'angles et de longueurs, même si le robot connaît exactement les mêmes choses. Ce document plonge dans un recoin de l'intelligence artificielle appelé « apprentissage de représentation », où les chercheurs étudient comment les modèles d'IA organisent l'information. La grande question est la suivante : lorsque nous comptons combien de fois nous devons effacer une direction pour que l'IA oublie quelque chose, comptons-nous une caractéristique réelle et immuable du concept, ou comptons-nous simplement la façon dont le ballon se trouve étiré à cet instant précis ?

La grande expérience du ballon extensible

Ce document lève le voile sur une méthode populaire utilisée pour mesurer les concepts de l'IA, révélant une vérité surprenante et quelque peu malicieuse : le compte que vous obtenez dépend entièrement de la façon dont vous étirez les données, et non du concept lui-même.

Les auteurs, Tingan Jin, Shuhang Dong, Haosong Li et Chung-Hsien Chou, soutiennent que le « compte d'effacement itératif » — le nombre de directions que vous devez supprimer pour faire oublier un concept à une IA — n'est pas une propriété fixe et intrinsèque de la connaissance de l'IA. Au lieu de cela, c'est un nombre « relatif à la procédure », ce qui signifie qu'il change en fonction des outils mathématiques et des règles spécifiques que vous utilisez pour compter.

Pour prouver cela, ils ont construit un « laboratoire » mathématique où ils pouvaient contrôler chaque variable. Ils ont créé un scénatrio où un concept (comme un simple signal « oui/non ») était généré par une seule source cachée. Dans le monde réel, c'est comme un interrupteur unique qui allume une lampe. Cependant, ils ont ensuite appliqué un « cisaillement » mathématique (un étirement oblique) aux données, mélangeant cet interrupteur unique avec un bruit aléatoire. Même si le concept était toujours généré par une seule source, et que l'IA pouvait toujours être « gardée » (rendue incapable d'oublier) en supprimant une seule direction, le jeu de comptage par effacement donnait une réponse différente.

Lorsqu'ils ont utilisé une méthode de comptage standard et rectiligne (euclidienne) :

Si les données étaient parfaitement droites (sans étirement), le compteur s'arrêtait à 1.
S'ils appliquaient un étirement infime (un facteur de cisaillement de seulement 0,5 ou 2), le compteur sautait soudainement à 2.

C'est comme si vous aviez un seul interrupteur, mais que si vous regardiez la pièce sous un angle incliné, vous pensiez soudainement qu'il faut débrancher deux fils différents pour éteindre la lumière. Le document prouve mathématiquement que pour un type spécifique de sonde d'IA, le compte peut passer de 1 à 2 (ou de 2 à 4 dans des configurations plus complexes) simplement en changeant le système de coordonnées, même si la « dimension du concept » sous-jacente n'a jamais changé.

Le « test de résistance » avec de vrais robots

Les auteurs ne se sont pas arrêtés aux mathématiques ; ils ont testé cela sur de vrais modèles d'IA figés qui analysent des vidéos et des images (spécifiquement V-JEPA2 et DINOv2). Ils ont observé un concept appelé « contact main-objet » — en gros, est-ce qu'une main touche un objet ?

Ils ont pris les caractéristiques internes de l'IA (son état de « cerveau ») et ont appliqué différents étirements mathématiques (appelés « cartes denses ») à celles-ci. Ils ont ensuite relancé le jeu de comptage par effacement.

Le Résultat : Lorsqu'ils utilisaient une vue standard, non étirée, l'IA semblait nécessiter un certain nombre d'effacements pour oublier le contact. Mais lorsqu'ils étiraient les données (en utilisant des facteurs de 2, 3, 5 ou 10), le nombre d'effacements requis pour faire « oublier » l'IA changeait considérablement.
La Preuve : Dans une expérience avec 4 000 échantillons, une configuration standard (identité) s'est arrêtée après 1 mise à jour dans les 20 essais. Mais lorsqu'ils ont appliqué un étirement (un cisaillement de 1), chacun des 20 essais a accepté au moins 2 mises à jour, et certains sont montés jusqu'à 8.

Cela montre que le « compte » n'est pas une mesure stable du nombre de « variables physiques » impliquées dans le concept. C'est une mesure de la façon dont les mathématiques interagissent avec la forme spécifique des données.

La lueur d'espoir : Une nouvelle façon de compter

Le document ne se contente pas de dire « cette méthode est cassée » ; il propose une façon de corriger les mathématiques pour qu'elles fonctionnent, mais seulement si l'on suit des règles strictes. Ils prount que si vous transportez votre « règle » (la métrique) en même temps que l'étirement, le compte reste le même. C'est ce qu'on appelle l'« équivariance affine ».

Voyez cela ainsi : si vous étirez une feuille de caoutchouc sur laquelle se trouve un dessin, le dessin se déforme. Si vous utilisez une règle qui s'étire également avec le caoutchouc, vos mesures restent précises. Si vous utilisez une règle en métal rigide, vos mesures seront fausses. Les auteurs montrent que si vous utilisez la « bonne » règle (une métrique transportée) et que vous suivez les bonnes étapes, le compte devient stable. Cependant, ils soulignent que les méthodes populaires actuellement utilisées dans le domaine utilisent souvent la « règle en métal rigide », ce qui conduit à des comptes trompeurs.

Ce que cela signifie pour vous

La principale conclusion est un avertissement pour quiconque tente de compter les « dimensions » des pensées d'une IA. Si vous voyez un article affirmant qu'un concept utilise « des dizaines de directions » parce qu'un algorithme d'effacement en a compté autant, vous devriez être sceptique. Ce nombre pourrait n'être qu'un artefact de la façon dont les données ont été étirées ou de la façon dont l'algorithme a été configuré.

Les auteurs concluent que le « compte d'effacement itératif » n'est pas une vérité magique et indépendante des coordonnées sur l'esprit de l'IA. C'est un résultat déterminé conjointement par la géométrie de la représentation et la procédure de mesure complète. Pour obtenir une réponse réelle, vous devez déclarer vos règles, votre règle et votre point d'arrêt à l'avance. Sans ces engagements, le nombre que vous obtenez est simplement le reflet de votre propre mathématiques, et non du secret de l'IA.

En bref : Ne faites confiance au compte que si vous savez exactement comment le ballon a été étiré.

Résumé Technique : Le décompte itératif d'effacement n'est pas une dimension de concept affine-invariante

Énoncé du Problème

L'article traite d'une ambiguïté fondamentale dans l'interprétation de la « dimension de concept » au sein des représentations neuronales. Une méthode opérationnelle courante pour estimer le nombre de directions qu'une représentation utilise pour encoder un concept implique l'effacement itératif : ajuster une sonde linéaire, supprimer sa direction (via une projection dans le noyau/null-space), réajuster, et compter le nombre d'étapes jusqu'à ce que la sonde échoue. La littérature récente a interprété ce décompte d'arrêt ou ce rang cumulé supprimé comme une dimension sémantique intrinsèque du concept (suggérant par exemple qu'un concept est distribué sur des « dizaines » de directions).

Les auteurs soutiennent que cette interprétation est erronée. Ils démontrent que le décompte de l'effacement itératif n'est pas une propriété intrinsèque du concept ou du contenu informationnel de la représentation. Il s'agit d'un estimand relatif à la procédure qui change sous des reparamétrages inversibles (tels que des cisaillements/shears) qui préservent toutes les prédictions linéaires et l'information. Par conséquent, le décompte ne fournit pas une mesure sans coordonnées de la dimensionnalité sémantique.

Méthodologie

L'article emploie une combinaison d'analyse de population théorique, de simulations à échantillon fini et d'études de cas visuelles pour démêler des quantités distinctes souvent confondues sous l'étiquette « dimension ».

Construction de la Population Théorique :
- Les auteurs définissent cinq quantités distinctes : dimension génératrice, dimension linéaire suffisante, rang de covariance croisée, décompte d'effacement itératif et rang de garde linéaire.
- Ils construisent un modèle de population où un concept scalaire $S$ génère un label $Y$ , mélangé avec des variables de nuisance indépendantes $N$ via une matrice inversible $A$ .
- Dans ce modèle, la dimension linéaire suffisante et le rang de garde minimum sont fixés à 1 (ou $r$ pour les cas multivariés), quel que soit la matrice de mélange $A$ .
- Ils analysent le comportement de l'effacement itératif sous différents métriques (euclidienne vs covariance transportée) et schémas de régularisation (ridge, OLS).
Analyse de l'Équivariance Affine :
- L'article prouve que si la trajectoire complète d'une procédure d'effacement peut être rendue affine-équivariante si la métrique, la sonde, le régulariseur et les règles de départage sont transportés de manière cohérente, le décompte d'effacement euclidien standard ne l'est pas.
- Plus précisément, ils montrent qu'un cisaillement (shear) inversible modifie la trajectoire d'effacement euclidienne, altérant le nombre d'étapes nécessaires pour supprimer le concept, bien que l'information sous-jacente reste inchangée.
Expériences à Échantillon Fini et Études de Cas Visuelles :
- Pont Circulaire (Circular Bridge) : Une simulation à échantillon fini utilisant une cible circulaire (prédisant $\sin \theta, \cos \theta$ ) avec un optimiseur Adam et une suppression par QR complet. Cela imite la procédure utilisée dans des études récentes sur les modèles de monde vidéo.
- Étude de Cas Visuelle : Les auteurs auditent les caractéristiques figées de V-JEPA2 et DINOv2 sur des jeux de données de contact main-objet (100DOH et TouchMoment). Ils appliquent des cartes anisotropes contrôlées (matrices de Hadamard signées denses) et des cartes orthogonales aux caractéristiques.
- Contrôles : Ils comparent l'effacement euclidien standard à des procédures utilisant une covariance empirique non réduite (qui est affine-équivariante) et testent la stabilité des résultats sous la restandardisation des coordonnées et un nouvel ajustement de l'attaquant.

Contributions Clés

Non-Identification du Décompte Itératif :
- Théorème 1 : Prouve que pour une population avec un concept de rang un, le décompte d'effacement ridge itératif est de 1 sous un mélange identité, mais de 2 sous tout cisaillement non nul, bien que la dimension suffisante et le rang de garde restent à 1.
- Théorème 2 : Étend cela à la suppression QR complète multivariée. Pour un système à deux sorties, le rang d'édition cumulé passe de 2 (identité) à 4 (dimension ambiante) sous un cisaillement, tandis que la dimension suffisante reste à 2.
Théorème d'Équivariance Affine :
- Prouve que la trajectoire cumulative complète est affine-équivariante si et seulement si la métrique, la sonde, le régulariseur et les règles de départage sont transportés de manière cohérente. Cela établit que la covariance exacte est un corollaire de ce théorème, et non une métrique sémantique unique.
Tests de Stress Empiriques :
- Démontre que dans les contextes à échantillon fini (utilisant Adam/QR), la séparation entre l'identité et le cisaillement se maintient : le mélange identité s'arrête après 1 mise à jour, tandis que les cisaillements acceptent 2 mises à jour ou plus dans tous les essais.
- Montre que dans les caractéristiques visuelles réelles, la sensibilité aux coordonnées persiste même après une restandardisation par coordonnée, tandis que les cartes orthogonales (qui préservent la géométrie euclidienne) reproduisent la trajectoire d'identité.
Séparation Conceptuelle :
- Sépare rigoureusement la dimension de population (variables latentes), la dimension suffisante, le rang de garde et le décompte itératif, arguant qu'ils ne doivent pas être rapportés sous un nom unique.

Résultats

Niveau de la Population : Les preuves théoriques confirment que le décompte d'arrêt entier n'est pas invariant. Un concept de rang un peut produire un décompte de 1 ou 2 selon uniquement le nombre de condition du système de coordonnées.
Pont Circulaire à Échantillon Fini : Dans 20 séries de grands échantillons ( $n=4\,000$ ), le mélange identité s'est arrêté après 1 mise à jour. Tous les cisaillements testés ( $a \in \{0.5, \dots, 2\}$ ) ont accepté au moins 2 mises à jour. Le rang d'édition cumulé a atteint la dimension ambiante (4) pour les cisaillements, alors qu'il restait à 2 pour l'identité.
Étude de Cas Visuelle :
- L'application de cartes anisotropes denses aux caractéristiques figées de V-JEPA2 a considérablement modifié la trajectoire d'effacement et l'accessibilité post-édition (AUROC), même après restandardisation.
- Inversement, l'application d'une covariance empirique non réduite (qui satisfait la condition d'équivariance) a produit des trajectoires identiques à travers toutes les cartes.
- Les cartes orthogonales ont reproduit la trajectoire d'identité, confirmant que la sensibilité observée est pilotée par l'anisotropie, et non par le bruit du solveur ou un renommage arbitraire.
Calibration Cross-Fit : Les éditions estimées par échantillon peuvent laisser un accès résiduel substantiel pour de nouveaux attaquants, même lorsque le rang de garde de la population est connu pour être de 1, soulignant la différence entre les résidus d'échantillon fini et les propriétés de la population.

Signification et Revendications

L'article conclut que le décompte d'effacement itératif n'est pas une dimension de concept affine-invariante. C'est une quantité déterminée conjointement par la géométrie de la représentation et la procédure de mesure spécifique (métrique, sonde, régulariseur, règle d'arrêt).

Réinterprétation des Travaux Antérieurs : Les auteurs n'invalident pas l'utilité des sondes linéaires ou des représentations éditées qu'elles produisent. Cependant, ils soutiennent que l'utilisation du décompte des directions effacées pour affirmer qu'un concept est « distribué » sur de nombreuses dimensions ou pour identifier une dimension intrinsèque est mathématiquement infondée sans fixer la métrique et l'estimand au préalable.
Rapport Défendable : L'article préconise de rapporter la procédure complète (métrique, perte, régulariseur, règle d'arrêt) et de distinguer la dimension génératrice, la dimension suffisante et le rang de garde.
Portée : Les résultats s'appliquent aux représentations linéaires et aux interventions linéaires. Les auteurs précisent explicitement qu'ils ne prétendent pas identifier l'organisation conceptuelle non linéaire, par jeton (tokenwise) ou causale, et qu'ils ne proposent pas de nouvel algorithme d'« effaceur ». L'étude visuelle est présentée comme une étude de cas et un test de stress, et non comme une mesure définitive de la dimension de contact.

En résumé, l'article fournit un rebut mathématique et empirique rigoureux à l'idée que le nombre d'étapes d'une procédure d'effacement itératif révèle la dimensionnalité intrinsèque d'un concept neuronal, montrant plutôt que ce nombre est un artefact du système de coordonnées et des choix algorithmiques spécifiques effectués lors de l'analyse.