🤖 machine learning

Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

Ce document propose et démontre un cadre de garantie novateur pour les systèmes d'atterrissage d'aéronefs basés sur la vision, qui satisfait aux orientations de l'AESA en utilisant l'interprétabilité mécaniste pour séparer le contenu du style dans la représentation de situation d'un modèle, permettant ainsi une prédiction fiable fondée sur des caractéristiques pertinentes pour la tâche et le développement d'une détection d'exécution hors du domaine du modèle.

Auteurs originaux : Romeo Valentin, Olivia Beyer Bruvik, Marc R. Schlichting, Mykel J. Kochenderfer

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Romeo Valentin, Olivia Beyer Bruvik, Marc R. Schlichting, Mykel J. Kochenderfer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un pilote robot qui apprend à atterrir avec des avions simplement en regardant des images de pistes. Autrefois, les ingénieurs pouvaient expliquer exactement comment chaque partie d'une machine fonctionnait, comme un mécanicien suivant un fil jusqu'à un interrupteur. Mais avec l'IA moderne basée sur les « réseaux de neurones », le système apprend à partir de données dans une boîte noire ; nous savons ce qui entre (une image) et ce qui sort (un ordre d'atterrissage), mais nous ne savons pas comment il a pris cette décision.

C'est un problème pour la sécurité aérienne. Les régulateurs (comme l'EASA en Europe) déclarent : « Nous ne pouvons pas simplement faire confiance à l'IA parce qu'elle a obtenu de bons résultats aux tests. Nous devons voir son « processus de pensée » interne pour nous assurer qu'elle réfléchit aux bonnes choses. »

Ce papier propose une nouvelle façon d'entrevoir l'intérieur de cette boîte noire et de prouver que l'IA réfléchit correctement. Voici comment ils ont procédé, expliqué simplement :

1. Le Problème : L'IA pourrait tricher

Imaginez que vous enseigniez à un élève à identifier un chat. Si vous ne lui montrez que des photos de chats assis sur des tapis rouges, l'élève pourrait apprendre à reconnaître les « tapis rouges » plutôt que les « chats ». Si vous lui montrez ensuite un chat sur un tapis bleu, il pourrait échouer.

Dans l'aviation, une IA pourrait apprendre à atterrir en reconnaissant des couleurs ou des conditions d'éclairage spécifiques (comme « les jours ensoleillés ressemblent à ceci ») plutôt que la forme réelle de la piste. Cela s'appelle compter sur le style (l'apparence) au lieu du contenu (la structure). Si l'IA compte sur le style, elle pourrait s'écraser lorsque la météo change.

2. La Solution : Dissocier les « pensées »

Les chercheurs ont traité l'activité cérébrale interne de l'IA comme un tas désordonné d'ingrédients. Ils voulaient séparer les ingrédients essentiels (la forme de la piste, les bords, les marquages) des assaisonnements (la couleur du ciel, le grain de la photo, les graphismes du simulateur).

Ils ont utilisé un outil mathématique appelé K-SVD pour décomposer les « pensées » internes de l'IA (appelées plongements) en petits blocs de construction distincts appelés atomes.

Atomes de contenu : Ce sont comme le plan de la piste. Ils s'activent lorsque l'IA voit un bord de piste ou un marquage de seuil, peu importe que la photo provienne d'un jeu vidéo, d'un satellite ou d'un appareil photo réel.
Atomes stylistiques : Ce sont comme un filtre sur une photo. Ils ne s'activent que lorsque l'IA voit « l'herbe verte de Google Earth » ou un « flou de mouvement ».

3. Le Test : L'IA écoutait-elle les bons atomes ?

Une fois les atomes séparés, ils ont posé une question simple : Lorsque l'IA prend une décision d'atterrissage, quels atomes écoute-t-elle ?

Ils ont découvert que la « tête de prise de décision » de l'IA (la partie qui calcule le point d'atterrissage) plaçait presque 82 % de sa confiance dans les Atomes de contenu. Elle ignorait principalement les Atomes stylistiques.

L'analogie : C'est comme un chef qui goûte une soupe. Si le chef dit : « J'ajoute du sel parce que la soupe a un goût fade (contenu), » c'est bien. Si le chef dit : « J'ajoute du sel parce que le bol est bleu (style), » c'est mauvais. Ce papier a prouvé que le chef goûte principalement la soupe, et non le bol.

4. Le Nouveau Filet de Sécurité : « Hors du champ du modèle » (OOMS)

Le papier introduit un nouveau moniteur de sécurité appelé Out-of-Model-Scope (OOMS) (Hors du champ du modèle).

Filets de sécurité actuels : Habituellement, nous vérifions si l'entrée est étrange (par exemple : « Est-ce une image de banane ? ») ou si la sortie est étrange (par exemple : « L'IA a-t-elle dit que la piste est sur la lune ? »).
Le nouveau moniteur (OOMS) : Il vérifie les pensées internes de l'IA avant qu'elle ne prenne une décision. Il demande : « Le cerveau de l'IA contient-il actuellement les atomes « Plan de la piste » ? »

Comment cela fonctionne :
Les chercheurs ont construit un système d'alarme simple. Si l'IA regarde une image et que ses « atomes » internes ne s'activent pas avec les structures de piste nécessaires (peut-être parce que la piste est cachée derrière un nuage ou que l'image n'est que du ciel), l'alarme se déclenche. Le système dit : « Je n'ai pas assez de preuves pour atterrir » et rejette la prédiction.

Ils ont testé cela dans un scénario difficile où la piste était complètement hors du cadre de la caméra. L'IA a essayé de deviner quand même, mais le moniteur OOMS l'a interceptée car les « atomes de piste » manquaient. Le moniteur était précis à 96 % pour repérer ces situations dangereuses.

Résumé

Ce papier ne dit pas simplement « l'IA fonctionne ». Il fournit une explication mécaniste de pourquoi elle fonctionne.

Ils ont décomposé le cerveau de l'IA en « Faits sur la piste » et « Filtres photo ».
Ils ont prouvé que l'IA repose principalement sur les « Faits sur la piste ».
Ils ont construit un nouveau interrupteur de sécurité qui désactive l'IA si elle cesse de regarder les « Faits sur la piste ».

Cela donne aux régulateurs un moyen concret de vérifier qu'un système d'avion auto-apprenant comprend réellement la piste, et non pas simplement mémorise l'apparence des images.

Résumé technique : Interprétabilité mécaniste pour l'assurance de l'apprentissage d'un système d'atterrissage basé sur la vision

Énoncé du problème
L'intégration de réseaux de neurones pilotés par les données dans des systèmes aéronautiques critiques pour la sécurité remet en question les paradigmes d'assurance traditionnels, qui reposent sur la spécification et la vérification de chaque étape de chaque composant. Bien que l'Agence européenne de la sécurité aérienne (EASA) ait publié des orientations exigeant que les systèmes pilotés par les données construisent et surveillent leur propre « représentation de la situation », les moyens techniques pour fournir une telle preuve pour les réseaux de neurones restent un problème ouvert. L'assurance actuelle repose souvent sur des tests par rapport à des données retenues, ce qui échoue à distinguer les modèles ayant appris des mécanismes de généralisation de ceux qui s'appuient sur des corrélations fallacieuses. Plus précisément, il existe une lacune critique dans la surveillance de la représentation interne de la situation du modèle — les caractéristiques calculées pour faire le lien entre l'entrée et la sortie — plutôt que simplement des conditions d'entrée (Domaine de Conception Opérationnelle, DCO) ou des statistiques de sortie (Hors Distribution, OOD).

Méthodologie
Les auteurs proposent un cadre basé sur l'interprétabilité mécaniste pour combler cette lacune, appliqué à une tâche de régression de points clés de piste basée sur la vision. La méthodologie procède par les étapes suivantes :

Architecture du modèle : Un backbone Vision Transformer (ViT) (DINOv2-S) est adapté pour la régression de points clés de piste en utilisant un opérateur Soft-Argmax (SAM). Contrairement aux réseaux de neurones convolutifs (CNN) qui rejettent souvent les informations spatiales via le pooling, le ViT préserve la structure spatiale au niveau des patches. L'opérateur SAM mappe les embeddings de patches directement vers des estimations de coordonnées continues sans couche de pooling, garantissant que la tête de régression est minimale et que la charge de résolution de la tâche repose sur les embeddings de patches eux-mêmes.
Désenchevêtrement parcimonieux (K-SVD) : Les embeddings de patches de haute dimension ( $z_p$ ) sont décomposés en « atomes » interprétables en utilisant l'apprentissage de dictionnaire parcimonieux K-SVD. Ce processus suppose l'hypothèse de la représentation linéaire, où les concepts sémantiques correspondent à des directions dans l'espace d'embedding. Le modèle apprend un dictionnaire surcomplet $D$ et des codes parcimonieux $X$ tels que $z_p \approx DX$ .
Séparation Contenu vs Style : Les atomes appris sont catégorisés en deux types basés sur l'invariance inter-sous-ensembles à travers quatre domaines visuels distincts dans le jeu de données LARDv2 (X-Plane, Google Earth Studio, ArcGIS et Bing Maps) :
- Atomes de contenu : S'activent de manière cohérente sur tous les domaines, suivant les structures géométriques pertinentes pour la tâche (par exemple, bords de piste, seuils).
- Atomes de style : S'activent principalement dans des domaines spécifiques, suivant des facteurs d'apparence accidentels (par exemple, étalonnage des couleurs, artefacts de rendu, éclairage).
- La classification est effectuée en utilisant le coefficient de variation (CV) des taux d'activation à travers les sous-ensembles.
Validation : La séparation est validée qualitativement par la visualisation des patches activateurs et quantitativement en mesurant le Score de Dépendance SAM. Ce score agrège l'alignement des atomes avec les poids de la tête de régression, leur fréquence d'activation et leur magnitude d'activation pour déterminer dans quelle mesure les prédictions du modèle reposent sur des atomes de contenu par rapport à des atomes de style.
Détection Hors Portée du Modèle (OOMS) : S'appuyant sur la séparation contenu/style, les auteurs définissent le Hors Portée du Modèle (OOMS) comme un état où l'entrée manque de caractéristiques suffisantes pertinentes pour la tâche (de contenu), même si l'entrée semble valide (dans le DCO) et que la sortie est statistiquement typique. Un détecteur OOMS est implémenté comme un classifieur de régression logistique L1 contraint sur les activations binaires des atomes. Le classifieur est entraîné pour produire une probabilité d'être « Dans Portée du Modèle » (IMS), avec des contraintes garantissant que l'état par défaut est OOMS et que seuls les atomes actifs peuvent augmenter la probabilité IMS.

Contributions clés

Adaptation du ViT pour l'atterrissage : Les auteurs démontrent une adaptation simple et efficace du Vision Transformer avec une tête Soft-Argmax pour la régression de points clés de piste, montrant qu'il est entraînable sur le jeu de données LARDv2.
Décomposition mécaniste : Ils décomposent avec succès l'espace de caractéristiques interne du ViT en structures géométriques de contenu et facteurs de style en utilisant K-SVD, établissant une fondation pour l'interprétabilité mécaniste dans ce domaine.
Validation de la représentation : Par la visualisation qualitative et l'analyse quantitative des poids de la tête, ils confirment que la tête de régression repose principalement (environ 80 %) sur des atomes de contenu, validant ainsi la représentation de la situation du modèle.
Surveillance OOMS : L'article introduit la détection Hors Portée du Modèle (OOMS) comme un artefact novateur d'assurance temps réel. Contrairement au DCO (surveillance d'entrée) ou à l'OOD (surveillance de sortie), l'OOMS surveille directement la représentation interne de la situation du modèle pour vérifier la présence de caractéristiques sémantiques pertinentes pour la tâche.

Résultats

Performance de régression : Le modèle ViT préentraîné a atteint une erreur médiane de pixels sur l'ensemble de test de 1,91 px, surpassant significativement une baseline entraînée à partir de zéro (3,19 px).
Dépendance Contenu/Style : L'analyse quantitative a montré que la tête de régression place environ 81,7 % de son score de dépendance effective sur des atomes de contenu pour le modèle préentraîné, et 79,8 % pour le modèle entraîné à partir de zéro.
Détection OOMS : Sur un jeu de données artificiel distinguant les crops de piste valides (IMS) des crops « inverse-BOGO » où la piste est absente (OOMS), le classifieur de régression logistique contraint a atteint un AUROC de 0,96.
Sélection d'atomes : Le classifieur OOMS a automatiquement sélectionné un sous-ensemble parcimonieux de 34 atomes (sur 512) pour atteindre une haute précision. Notamment, 78 % de ces atomes sélectionnés ont été classés comme de contenu, démontrant que le détecteur repose sur les caractéristiques pertinentes pour la tâche identifiées lors de la phase d'interprétabilité.

Signification et revendications
L'article revendique fournir la première preuve concrète au niveau de la représentation exigée par les orientations d'assurance de l'apprentissage de l'EASA. En démontrant qu'un modèle minimalement assurable doit séparer le contenu du style et s'appuyer sur le premier, ce travail offre une voie pour vérifier qu'un modèle n'exploite pas de corrélations fallacieuses. Le moniteur OOMS proposé offre un bloc de construction pratique pour les futurs dossiers de sécurité aéronautique, complétant les moniteurs d'entrée et de sortie existants en répondant directement à l'exigence de surveiller la représentation interne de la situation du modèle. Les auteurs positionnent l'interprétabilité mécaniste non pas comme une explication complète de boîte blanche (qui reste irréalisable pour les modèles de haute dimension), mais comme une condition nécessaire à l'assurance : vérifier que les mécanismes internes du modèle s'alignent avec les exigences de la tâche physique.