Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

Resumen Técnico: Interpretabilidad Mecanicista para la Garantía de Aprendizaje de un Sistema de Aterrizaje Basado en Visión

Enunciado del Problema
La integración de redes neuronales basadas en datos en sistemas de aviación críticos para la seguridad desafía los paradigmas tradicionales de garantía, que se basan en especificar y verificar cada paso de los componentes. Aunque la Agencia Europea de Seguridad Aérea (EASA) ha emitido directrices que requieren que los sistemas basados en datos construyan y monitoricen su propia "representación de la situación", los medios técnicos para proporcionar dicha evidencia para las redes neuronales siguen siendo un problema abierto. La garantía actual a menudo depende de pruebas contra datos retenidos, lo que no logra distinguir entre modelos que han aprendido mecanismos de generalización y aquellos que dependen de correlaciones espurias. Específicamente, existe una brecha crítica en la monitorización de la representación interna de la situación del modelo —las características calculadas para conectar la entrada y la salida— en lugar de solo las condiciones de entrada (Dominio de Diseño Operativo, ODD) o las estadísticas de salida (Fuera de Distribución, OOD).

Metodología
Los autores proponen un marco basado en la interpretabilidad mecanicista para abordar esta brecha, aplicado a una tarea de regresión de puntos clave de pista basada en visión. La metodología procede a través de las siguientes etapas:

1. Arquitectura del Modelo: Se adapta una columna vertebral de Transformador de Visión (ViT) (DINOv2-S) para la regresión de puntos clave de pista utilizando un operador Soft-Argmax (SAM). A diferencia de las Redes Neuronales Convolucionales (CNN) que a menudo descartan información espacial mediante agrupación, el ViT preserva la estructura espacial a nivel de parche. El operador SAM mapea las incrustaciones de parche directamente a estimaciones de coordenadas continuas sin una capa de agrupación, asegurando que la cabeza de regresión sea mínima y que la carga de resolver la tarea recaiga dentro de las propias incrustaciones de parche.
2. Desenredado Escaso (K-SVD): Las incrustaciones de parche de alta dimensión ($z_p$) se descomponen en "átomos" interpretables utilizando el aprendizaje de diccionarios escasos K-SVD. Este proceso asume la hipótesis de representación lineal, donde los conceptos semánticos corresponden a direcciones en el espacio de incrustaciones. El modelo aprende un diccionario sobredeterminado $D$ y códigos escasos $X$ tales que $z_p \approx DX$.
3. Separación de Contenido vs. Estilo: Los átomos aprendidos se categorizan en dos tipos basados en la invarianza entre subconjuntos a través de cuatro dominios visuales distintos en el conjunto de datos LARDv2 (X-Plane, Google Earth Studio, ArcGIS y Bing Maps):
   • Átomos de Contenido: Se activan consistentemente en todos los dominios, rastreando estructuras geométricas relevantes para la tarea (por ejemplo, bordes de pista, umbrales).
   • Átomos de Estilo: Se activan predominantemente en dominios específicos, rastreando factores de apariencia incidentales (por ejemplo, calibración de color, artefactos de renderizado, iluminación).
   • La clasificación se realiza utilizando el Coeficiente de Variación (CV) de las tasas de activación entre subconjuntos.
4. Validación: La separación se valida cualitativamente mediante la visualización de los parches que se activan y cuantitativamente midiendo la Puntuación de Dependencia de SAM. Esta puntuación agrupa la alineación de los átomos con los pesos de la cabeza de regresión, su frecuencia de activación y la magnitud de activación para determinar en qué medida las predicciones del modelo dependen de los átomos de contenido frente a los de estilo.
5. Detección Fuera del Alcance del Modelo (OOMS): Basándose en la división contenido/estilo, los autores definen OOMS como un estado donde la entrada carece de características suficientes relevantes para la tarea (de contenido), incluso si la entrada parece válida (dentro de ODD) y la salida es estadísticamente típica. Un detector OOMS se implementa como un clasificador de regresión logística L1 restringido sobre activaciones binarias de átomos. El clasificador se entrena para emitir una probabilidad de estar "Dentro del Alcance del Modelo" (IMS), con restricciones que aseguran que el estado predeterminado sea OOMS y que solo los átomos activos puedan aumentar la probabilidad de IMS.

Contribuciones Clave

• Adaptación de ViT para Aterrizaje: Los autores demuestran una adaptación simple y eficiente del Transformador de Visión con una cabeza Soft-Argmax para la regresión de puntos clave de pista, mostrando que es entrenable en el conjunto de datos LARDv2.
• Descomposición Mecanicista: Descomponen con éxito el espacio de características interno del ViT en estructuras geométricas de contenido y factores de estilo utilizando K-SVD, estableciendo una base para la interpretabilidad mecanicista en este dominio.
• Validación de la Representación: A través de visualización cualitativa y análisis cuantitativo de los pesos de la cabeza, confirman que la cabeza de regresión depende principalmente (aproximadamente el 80%) de los átomos de contenido, validando la representación de la situación del modelo.
• Monitorización OOMS: El artículo introduce la detección Fuera del Alcance del Modelo (OOMS) como un artefacto novedoso de garantía en tiempo de ejecución. A diferencia de ODD (monitorización de entrada) o OOD (monitorización de salida), OOMS monitoriza directamente la representación interna de la situación del modelo para verificar la presencia de características semánticas relevantes para la tarea.

Resultados

• Rendimiento de Regresión: El modelo ViT preentrenado logró un error mediano en el conjunto de prueba de 1.91 px, superando significativamente a una línea base entrenada desde cero (3.19 px).
• Dependencia de Contenido/Estilo: El análisis cuantitativo mostró que la cabeza de regresión coloca aproximadamente el 81.7% de su puntuación de dependencia efectiva en átomos de contenido para el modelo preentrenado, y el 79.8% para el modelo entrenado desde cero.
• Detección OOMS: En un conjunto de datos artificial que distingue entre recortes de pista válidos (IMS) y recortes "inverse-BOGO" donde la pista está ausente (OOMS), el clasificador de regresión logística restringido logró un AUROC de 0.96.
• Selección de Átomos: El clasificador OOMS seleccionó automáticamente un subconjunto escaso de 34 átomos (de 512) para lograr una alta precisión. Notablemente, el 78% de estos átomos seleccionados se clasificaron como de contenido, demostrando que el detector depende de las características relevantes para la tarea identificadas durante la fase de interpretabilidad.

Significado y Afirmaciones
El artículo afirma entregar la primera pieza concreta de evidencia a nivel de representación exigida por las directrices de garantía de aprendizaje de EASA. Al demostrar que un modelo mínimamente asegurable debe separar el contenido del estilo y depender del primero, el trabajo proporciona una vía para verificar que un modelo no está explotando correlaciones espurias. El monitor OOMS propuesto ofrece un bloque de construcción práctico para futuros casos de seguridad en aviación, complementando los monitores de entrada y salida existentes al abordar directamente el requisito de monitorizar la representación interna de la situación del modelo. Los autores posicionan la interpretabilidad mecanicista no como una explicación completa de caja blanca (que sigue siendo inviable para modelos de alta dimensión), sino como una condición necesaria para la garantía: verificar que los mecanismos internos del modelo se alinean con los requisitos físicos de la tarea.