🤖 machine learning

LAWFUL: Law-Aligned Witness for Faithful Use of Latents

L'article introduit LAWFUL, un cadre fondamental qui comble des lacunes clés en matière d'interprétabilité pour vérifier si les réseaux de neurones apprennent non seulement, mais utilisent également en interne des lois physiques formelles, ce qui est démontré par la confirmation que le transformeur Mocap2Radar utilise la loi de la fréquence Doppler malgré l'absence de celle-ci dans les données d'entraînement.

Auteurs originaux : Kevin Chen, Kenneth W. Parker, Anish Arora

Publié 2026-08-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kevin Chen, Kenneth W. Parker, Anish Arora

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien sortir un lapin d'un chapeau. Vous savez que le tour fonctionne parce que le lapin apparaît, mais vous ne savez pas comment cela s'est produit. Le magicien a-t-il réellement appris un sort secret, ou a-t-il simplement mémorisé un mouvement de main spécifique qui fonctionne par hasard avec les lapins ? C'est la grande question que les scientifiques se posent aujourd'hui concernant l'intelligence artificielle. Nous avons construit des cerveaux informatiques (réseaux de neurones) qui sont incroyablement doués pour prédire comment le monde physique fonctionne — comme la façon dont une balle rebondit ou dont les ondes sonores se propagent. Mais ces ordinateurs sont-ils réellement en train d'« apprendre » les lois de la physique, ou ne font-ils que deviner très intelligemment en se basant sur des motifs qu'ils ont déjà vus auparavant ?

Pour comprendre cela, nous devons examiner deux choses. Premièrement, il y a l'idée d'une « loi », qui est une règle stricte que l'univers suit, comme la gravité qui tire toujours les objets vers le bas. Deuxièmement, il y a l'« interprétabilité », qui est l'art de jeter un coup d'œil à l'intérieur du cerveau de l'ordinateur pour voir ce qu'il pense réellement. Habituellement, quand nous essayons de jeter un coup d'œil, nous voyons seulement si l'ordinateur donne la bonne réponse. Mais c'est comme vérifier si le lapin est là sans vérifier si le magicien a réellement utilisé la magie. Le grand défi est de déterminer si l'ordinateur utilise la vraie règle ou juste une chance de bien deviner, surtout quand les règles impliquent des choses qui peuvent changer de manière fluide et infinie, comme la vitesse ou le temps, plutôt que de simples interrupteurs « marche/arrêt ».

C'est ici qu'intervient un nouveau cadre appelé LAWFUL. Considérez LAWFUL comme un détective extrêmement strict pour les cerveaux informatiques. Au lieu de simplement demander : « As-tu donné la bonne réponse ? », il demande : « As-tu utilisé la bonne logique pour obtenir cette réponse, même quand on te piège avec de nouvelles situations ? » Les chercheurs ont construit un système pour tester si un modèle informatique comprend véritablement une loi spécifique de la physique : l'effet Doppler. Vous connaissez cette loi grâce à une ambulance qui passe devant vous ; la sirène devient plus aiguë lorsqu'elle s'approche de vous et plus grave lorsqu'elle s'éloigne. La loi stipule que ce changement de hauteur dépend exactement de la vitesse à laquelle l'ambulance se déplace.

L'équipe a testé un modèle informatique intelligent qui a été entraîné à prédire ce changement de hauteur en utilisant une vidéo d'une personne en mouvement (comme un danseur avec des points lumineux sur ses articulations) et des données radar. Voici la partie délicate : l'ordinateur n'a jamais été informé de la vitesse de la personne ou de la hauteur du son. Il devait tout découvrir par lui-même à partir des vidéos brutes et des signaux radar. Les chercheurs voulaient savoir : l'ordinateur a-t-il réellement appris la formule mathématique de l'effet Doppler, ou a-t-il simplement mémorisé les mouvements de danse spécifiques qu'il a vus pendant l'entraînement ?

En utilisant leur kit de détective LAWFUL, ils ont fait quelque chose d'astucieux. Ils ont créé des scénarios de type « et si ». Ils ont pris la vidéo du danseur et ont mathématiquement accéléré ou ralenti le mouvement du danseur vers le radar, sans changer le mouvement latéral. Si l'ordinateur comprenait réellement la loi, sa prédiction de la hauteur devrait changer parfaitement en synchronisation avec le changement de vitesse. S'il ne faisait que deviner, la prédiction deviendrait désordonnée.

Les résultats ont été fascinants. Le modèle informatique semblait vraiment comprendre la loi. Lorsqu'ils l'ont testé sur des vitesses qu'il n'avait jamais vues auparavant, il prédisait toujours la hauteur correctement. Mais le véritable miracle s'est produit lorsqu'ils ont commencé à éteindre des parties du cerveau de l'ordinateur pour voir quelles parties faisaient le travail. Ils ont découvert que l'ordinateur n'avait pas besoin de tout son cerveau pour résoudre cela. En fait, ils ont identifié un minuscule « circuit » à l'intérieur du modèle — juste quelques parties spécifiques de son système d'attention — qui était responsable de 91 % de la physique correcte. C'était comme découvrir que seuls trois engrenages spécifiques dans une horloge massive faisaient réellement bouger les aiguilles.

Encore plus cool, ils ont découvert comment ces engrenages fonctionnaient. L'ordinateur ne se contentait pas de mémoriser des nombres ; il utilisait un motif spécifique d'« attention » pour comparer la distance parcourue par le danseur d'une image à l'autre. Il effectuait essentiellement un calcul de vitesse en temps réel, tout comme un physicien humain le ferait, mais à l'intérieur de son propre cerveau numérique. L'étude suggère que l'ordinateur avait effectivement appris la loi formelle de la physique, et non un simple motif. Cependant, les chercheurs précisent avec prudence que cela était un test sur une loi spécifique et un type spécifique de modèle informatique. Bien que ce soit une étape majeure pour prouver que l'IA peut réellement « comprendre » la physique, c'est une preuve de concept pour ce cas précis, et non une garantie que chaque IA comprenne toutes les lois de l'univers. Mais pour l'instant, nous avons un témoin qui affirme : oui, parfois, l'ordinateur fait réellement les mathématiques.

Résumé Technique : LAWFUL – Témoin de l'Alignement avec les Lois pour l'Usage Fidèle des Latents

1. Énoncé du Problème

Lorsqu'un réseau de neurones prédit avec précision un système physique, il reste difficile de savoir si le réseau a internalisé la loi physique régissante sous la forme d'une connaissance structurée et formelle ou s'il s'est contenté d'apprendre à imiter le comportement entrée-sortie au sein d'une distribution d'entraînement étroite. Plus précisément, trois questions distinctes se posent concernant les modèles opérant sur des variables physiques continues :

Représentation : Le réseau a-t-il appris la loi comme une connaissance structurée ?
Usage Causal : Cette représentation est-elle utilisée de manière causale par le calcul interne du réseau, ou est-elle simplement décodable par une sonde externe ?
Validité du Domaine : La représentation est-elle valable sur l'ensemble du domaine de validité de la loi, ou seulement dans la distribution d'entraînement empirique ?

Les cadres actuels d'interprétabilité mécaniste font face à quatre lacunes spécifiques lorsqu'ils abordent ces questions pour des lois sur des variables continues :

Consistance Sensible à la Couverture : Les méthodes existantes d'abstraction causale quantifient la consistance uniquement sur des paires contrefactuelles discrètes et échantillonnées de manière étroite, manquant de mesures pour les familles de contrefactuels continus.
Test du Domaine de Validité : Aucune procédure établie ne vérifie si un « circuit physique » identifié fonctionne de manière cohérente sur toute la plage théorique de la loi plutôt que sur la seule distribution d'entraînement.
Vérification de l'Invariance : Il n'existe aucune méthode pour vérifier l'application des invariants physiques (comportements interdits) au sein du circuit, car les outils existants ciblent les corrélations spécieuses plutôt que les contraintes physiques imposées.
Quantification du Flux de Signal : Bien que les méthodes d'attribution identifient quels bords sont importants, elles ne quantifient pas comment les signaux continus des quantités physiques dérivées circulent à travers le circuit (écriture, transformation, transmission et lecture).

2. Méthodologie : Le Cadre LAWFUL

Les auteurs proposent LAWFUL (Law-Aligned Witness for Faithful Use of Latents), un cadre fondamental qui aligne un modèle appris avec une loi physique explicite pour témoigner de leur accord sur des états contrefactuels continus.

2.1. Composants Clés

Le cadre associe un modèle appris $f: \mathcal{X} \to \mathcal{Y}_f$ à un modèle physique $g: \Omega \to \mathcal{Y}_g$ représentant une loi connue. Il utilise trois mécanismes clés :

Ponts (Bridges) :
- Pont d'Entrée ( $B$ ) : Mappe les entrées brutes du modèle $\mathcal{X}$ vers l'espace physique $\Omega$ (ex: extraire la vitesse radiale à partir de données de capture de mouvement).
- Pont de Sortie ( $D_f, D_g$ ) : Projette les sorties des deux modèles dans un espace observable partagé $\mathcal{Z}$ (ex: centroïde Doppler).
Famille de Perturbation ( $\mathcal{P}$ ) : Un ensemble d'opérations physiquement significatives $p_\alpha$ qui génèrent des états contrefactuels dans $\Omega$ . Cela permet de tester la réponse du modèle à des variations continues (ex: mise à l'échelle de la vitesse radiale) plutôt qu'à des échanges discrets.
Score de Consistance ( $M_P(f, g)$ ) : Un fonctionnel scalaire $\Phi$ mesurant l'accord entre les sorties pontées de $f$ et de $g$ à travers la famille de perturbation. Un score plus élevé indique une adhésion plus étroite à la loi physique.

2.2. Identification de Circuits Physiquement Cohérents

Le cadre définit un circuit physiquement cohérent comme un sous-graphe $C$ du graphe de calcul du modèle qui récupère le score de consistance via le patch de l'activation (activation patching).

Suffisance : Router la perturbation uniquement à travers $C$ (en maintenant le reste du réseau aux activations de base) devrait récupérer la consistance physique du modèle.
Nécessité : Router la perturbation à travers le complément ( $V \setminus C$ ) tout en maintenant $C$ aux activations de base devrait échouer à récupérer la consistance.
Minimalité : Un circuit est dit $\tau$ -cohérent s'il satisfait des seuils de déviation par rapport à la ligne de base non patchée, et il est minimal si aucun sous-ensemble propre n'est également $\tau$ -cohérent.

3. Instanciation Expérimentale : MoCap-vers-Radar

Le cadre est instancié sur le transformeur MoCap2Radar, un modèle entraîné à prédire des spectrogrammes radar à partir de données de capture de mouvement 3D (MoCap).

La Loi : La loi de la fréquence Doppler $f(t) = \frac{2v(t)}{\lambda}$ , où $f(t)$ est la fréquence, $v(t)$ est la vitesse radiale, et $\lambda$ est la longueur d'onde.
Le Défi : Ni $f(t)$ ni $v(t)$ n'apparaissent dans les données d'entraînement ; le modèle doit inférer la relation à partir des trajectoires brutes de marqueurs 3D.
Perturbations : Le pont d'entrée extrait les vitesses radiales. La famille de perturbation met à l'échelle ces vitesses par un facteur $\alpha$ (mise à l'échelle contrefactuelle), simulant efficacement différentes vitesses tout en préservant le mouvement tangentiel.
Domaine de Validité : La plage de perturbation est contrainte par les limites de résolution physique du radar ( $\alpha \in [-1.16, 1.16]$ ).

4. Résultats Clés

4.1. Découverte de Circuit

Baseline : Le modèle non patché atteint un score de consistance élevé ( $M_0 = 0.988$ ), confirmant qu'il apprend la loi.
Identification du Circuit : Une recherche gloutonne ascendante a identifié un circuit minimal $\tau=0.9$ cohérent ( $C^\dagger$ ) composé de seulement 9 des 18 composants totaux (50 % du modèle).
Composition : Le circuit est dominé par le bloc Temporal Transformer (7 des 9 composants), incluant spécifiquement l'MLP et les têtes d'attention $h_0, h_1, h_2, h_4, h_6, h_7$ . Le Spatial Transformer contribue de manière minimale (MLP et tête $h_4$ ).
Performance : Ce circuit réduit récupère 91 % de la consistance Doppler originale du modèle.

4.2. Domaine de Validité et Invariance

Mise à l'échelle Radiale : Dans le domaine résoluble par le radar ( $|\alpha| \le 1.16$ ), le circuit identifié $C^\dagger$ suit de près le modèle physique $g$ , présentant une réponse linéaire à la mise à l'échelle de la vitesse. En dehors de ce domaine, la performance se dégrade, probablement en raison des limites d'extrapolation physique.
Invariance Tangentielle : Lorsque la vitesse tangentielle (orthogonale à la ligne de visée du radar) est mise à l'échelle, le modèle et le circuit présentent une réponse quasi nulle, confirmant l'adhérence au principe physique selon lequel le mouvement tangentiel n'induit pas de décalage Doppler.

4.3. Analyse Mécaniste

Émergence de la Vélocité : Le sondage linéaire (linear probing) révèle que la vitesse radiale n'est pas explicitement encodée dans les têtes d'attention individuelles ou la couche de projection initialement. Au lieu de cela, elle émerge comme une représentation linéairement décodable uniquement dans la combinaison de sortie des têtes d'attention temporelles.
Mécanisme d'Action : En patchant les motifs d'attention (QK) par rapport aux transformations de valeurs (VAL), les auteurs ont découvert que les motifs d'attention (QK) sont les principaux moteurs de la consistance. Remplacer uniquement QK récupère la consistance, alors que remplacer VAL ne le fait pas.
Interprétation : Cela suggère que le modèle effectue une différenciation temporelle adaptative. Les motifs d'attention sélectionnent dynamiquement des paires de trames à comparer, calculant efficacement la vitesse basée sur la vitesse de la cible (écarts plus courts pour un mouvement rapide, plus longs pour un mouvement lent), de manière analogue au traitement de signal multi-échelle.

5. Signification et Revendications

L'article affirme fournir le premier cadre de principe pour évaluer si les modèles neuronaux incarnent des lois physiques sur des variables continues.

Combler les Lacunes : LAWFUL comble les lacunes concernant la consistance causale sensible à la couverture et le test du domaine de validité pour les lois continues.
Usage Fidèle : Il va au-delà de « le modèle est-il précis ? » pour demander « le modèle utilise-t-il la loi en interne ? » en identifiant les sous-graphes spécifiques responsables de la consistance physique.
Fondation pour des Travaux Futurs : Bien que l'instanciation actuelle se concentre sur une loi linéaire (Doppler) et une architecture transformer spécifique, le cadre pose les jalons pour traiter les invariants et la quantification du flux de signal dans des systèmes d'IA physique plus complexes.

Les auteurs font preuve de modestie quant aux limites, notant que le cadre repose actuellement sur une loi de base fournie, traite des lois linéaires dans cette instanciation spécifique, et réduit des spectrogrammes complexes à un seul centroïde, ce qui pourrait omettre des caractéristiques structurelles plus fines.