Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

Resumo Técnico: Interpretabilidade Mecanística para Garantia de Aprendizado de um Sistema de Pouso Baseado em Visão

Declaração do Problema
A integração de redes neurais orientadas a dados em sistemas de aviação críticos para a segurança desafia os paradigmas tradicionais de garantia, que dependem da especificação e verificação de cada componente passo a passo. Embora a Agência Europeia de Segurança da Aviação (EASA) tenha emitido orientações exigindo que sistemas orientados a dados construam e monitorem sua própria "representação de situação", os meios técnicos para fornecer tal evidência para redes neurais permanecem um problema em aberto. A garantia atual frequentemente depende de testes contra dados retidos, o que falha em distinguir entre modelos que aprenderam mecanismos de generalização e aqueles que dependem de correlações espúrias. Especificamente, há uma lacuna crítica no monitoramento da representação interna de situação do modelo — os recursos computados para ligar entrada e saída — em vez de apenas as condições de entrada (Domínio de Projeto Operacional, ODD) ou as estatísticas de saída (Fora da Distribuição, OOD).

Metodologia
Os autores propõem um framework baseado em interpretabilidade mecanística para abordar essa lacuna, aplicado a uma tarefa de regressão de pontos-chave de pista baseada em visão. A metodologia prossegue através das seguintes etapas:

1. Arquitetura do Modelo: Uma base Vision Transformer (ViT) (DINOv2-S) é adaptada para regressão de pontos-chave de pista usando um operador Soft-Argmax (SAM). Diferentemente das Redes Neurais Convolucionais (CNNs) que frequentemente descartam informações espaciais via pooling, o ViT preserva a estrutura espacial em nível de patch. O operador SAM mapeia embeddings de patch diretamente para estimativas de coordenadas contínuas sem uma camada de pooling, garantindo que a cabeça de regressão seja mínima e que o ônus de resolver a tarefa recaia sobre os próprios embeddings de patch.
2. Desemaranhamento Esparso (K-SVD): Os embeddings de patch de alta dimensão ($z_p$) são decompostos em "átomos" interpretáveis usando aprendizado de dicionário esparsos K-SVD. Este processo assume a hipótese de representação linear, onde conceitos semânticos correspondem a direções no espaço de embeddings. O modelo aprende um dicionário sobrecompleto $D$ e códigos esparsos $X$ tal que $z_p \approx DX$.
3. Separação de Conteúdo vs. Estilo: Os átomos aprendidos são categorizados em dois tipos com base na invariância entre subconjuntos através de quatro domínios visuais distintos no conjunto de dados LARDv2 (X-Plane, Google Earth Studio, ArcGIS e Bing Maps):
   • Átomos de Conteúdo: Ativam consistentemente em todos os domínios, rastreando estruturas geométricas relevantes para a tarefa (por exemplo, bordas da pista, limiares).
   • Átomos de Estilo: Ativam predominantemente em domínios específicos, rastreando fatores de aparência incidentais (por exemplo, graduação de cor, artefatos de renderização, iluminação).
   • A classificação é realizada usando o Coeficiente de Variação (CV) das taxas de ativação entre subconjuntos.
4. Validação: A separação é validada qualitativamente via visualização de patches ativadores e quantitativamente medindo a Pontuação de Dependência do SAM. Esta pontuação agrega o alinhamento dos átomos com os pesos da cabeça de regressão, sua frequência de ativação e magnitude de ativação para determinar o quanto as previsões do modelo dependem de átomos de conteúdo versus átomos de estilo.
5. Detecção Fora do Escopo do Modelo (OOMS): Construindo sobre a divisão conteúdo/estilo, os autores definem OOMS como um estado onde a entrada carece de recursos suficientes relevantes para a tarefa (de conteúdo), mesmo que a entrada pareça válida (dentro do ODD) e a saída seja estatisticamente típica. Um detector OOMS é implementado como um classificador de regressão logística L1 restrito sobre ativações binárias de átomos. O classificador é treinado para produzir uma probabilidade de estar "Dentro do Escopo do Modelo" (IMS), com restrições garantindo que o estado padrão seja OOMS e que apenas átomos ativos possam aumentar a probabilidade de IMS.

Principais Contribuições

• Adaptação do ViT para Pouso: Os autores demonstram uma adaptação simples e eficiente do Vision Transformer com uma cabeça Soft-Argmax para regressão de pontos-chave de pista, mostrando que é treinável no conjunto de dados LARDv2.
• Decomposição Mecanística: Eles decompõem com sucesso o espaço de recursos interno do ViT em estruturas geométricas de conteúdo e fatores de estilo usando K-SVD, estabelecendo uma base para a interpretabilidade mecanística neste domínio.
• Validação da Representação: Através de visualização qualitativa e análise quantitativa dos pesos da cabeça, eles confirmam que a cabeça de regressão depende principalmente (aproximadamente 80%) de átomos de conteúdo, validando a representação de situação do modelo.
• Monitoramento OOMS: O artigo introduz a detecção Fora do Escopo do Modelo (OOMS) como um artefato de garantia em tempo de execução inovador. Diferentemente de ODD (monitoramento de entrada) ou OOD (monitoramento de saída), o OOMS monitora diretamente a representação interna de situação do modelo para verificar a presença de recursos semânticos relevantes para a tarefa.

Resultados

• Desempenho de Regressão: O modelo ViT pré-treinado alcançou um erro mediano no conjunto de teste de 1,91 px, superando significativamente uma linha de base treinada do zero (3,19 px).
• Dependência de Conteúdo/Estilo: A análise quantitativa mostrou que a cabeça de regressão coloca aproximadamente 81,7% de sua pontuação de dependência efetiva em átomos de conteúdo para o modelo pré-treinado, e 79,8% para o modelo treinado do zero.
• Detecção OOMS: Em um conjunto de dados artificial que distingue entre cortes de pista válidos (IMS) e cortes "inverso-BOGO" onde a pista está ausente (OOMS), o classificador de regressão logística restrito alcançou um AUROC de 0,96.
• Seleção de Átomos: O classificador OOMS selecionou automaticamente um subconjunto esparso de 34 átomos (de 512) para alcançar alta precisão. Notavelmente, 78% desses átomos selecionados foram classificados como de conteúdo, demonstrando que o detector depende dos recursos relevantes para a tarefa identificados durante a fase de interpretabilidade.

Significado e Alegações
O artigo alega entregar a primeira peça concreta de evidência em nível de representação exigida pelas orientações de garantia de aprendizado da EASA. Ao demonstrar que um modelo minimamente garantível deve separar conteúdo de estilo e depender do primeiro, o trabalho fornece um caminho para verificar que um modelo não está explorando correlações espúrias. O monitor OOMS proposto oferece um bloco de construção prático para futuros casos de segurança de aviação, complementando os monitores de entrada e saída existentes ao abordar diretamente a exigência de monitorar a representação interna de situação do modelo. Os autores posicionam a interpretabilidade mecanística não como uma explicação completa de caixa branca (que permanece inviável para modelos de alta dimensão), mas como uma condição necessária para a garantia: verificar que os mecanismos internos do modelo estão alinhados com os requisitos físicos da tarefa.