Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

기술적 요약: 비전 기반 착륙 시스템의 학습 보증을 위한 기작 해석성

문제 제기
데이터 기반 신경망을 안전-중요 항공 시스템에 통합하는 것은 모든 구성 요소 단계를 명시하고 검증하는 전통적인 보증 패러다임에 도전합니다. 유럽 항공 안전국 (EASA) 은 데이터 기반 시스템이 자체 "상황 표현 (situation representation)"을 구축하고 모니터링해야 한다는 지침을 발표했으나, 신경망에 대한 그러한 증거를 제공하는 기술적 수단은 여전히 미해결 과제로 남아 있습니다. 현재의 보증은 종종 홀드아웃 (held-out) 데이터에 대한 테스트에 의존하는데, 이는 일반화 메커니즘을 학습한 모델과 우연한 상관관계에 의존하는 모델을 구분하지 못합니다. 구체적으로, 입력 조건 (운영 설계 영역, ODD) 이나 출력 통계 (분포 외, OOD) 만이 아닌, 입력과 출력을 연결하기 위해 계산된 특징인 모델의 내부 상황 표현을 모니터링하는 데 있어 중요한 격차가 존재합니다.

방법론
저자들은 이 격차를 해결하기 위해 **기작 해석성 (mechanistic interpretability)**에 기반한 프레임워크를 제안하며, 이를 비전 기반 활공도 키포인트 회귀 작업에 적용합니다. 방법론은 다음과 같은 단계를 거쳐 진행됩니다:

1. 모델 아키텍처: 소프트-아크맥스 (Soft-Argmax, SAM) 연산자를 사용하여 활공도 키포인트 회귀를 위해 비전 트랜스포머 (ViT) 백본 (DINOv2-S) 을 적용합니다. 공간 정보를 풀링을 통해 종종 폐기하는 합성곱 신경망 (CNN) 과 달리, ViT 는 패치 수준의 공간 구조를 보존합니다. SAM 연산자는 풀링 레이어 없이 패치 임베딩을 직접 연속 좌표 추정치로 매핑하여, 회귀 헤드를 최소화하고 작업 해결의 부담을 패치 임베딩 자체에 두도록 합니다.
2. 희소 분리 (K-SVD): 고차원 패치 임베딩 ($z_p$) 은 K-SVD 희소 사전 학습을 사용하여 해석 가능한 "원자 (atoms)"로 분해됩니다. 이 과정은 의미론적 개념이 임베딩 공간의 방향에 해당한다는 선형 표현 가설을 가정합니다. 모델은 $z_p \approx DX$가 되도록 과완전 사전 $D$와 희소 코드 $X$를 학습합니다.
3. 콘텐츠 대 스타일 분리: 학습된 원자는 LARDv2 데이터셋의 네 가지 서로 다른 시각 도메인 (X-Plane, Google Earth Studio, ArcGIS, Bing Maps) 에서의 교차 부분집합 불변성을 기반으로 두 가지 유형으로 분류됩니다:
   • 콘텐츠 원자 (Contentful Atoms): 모든 도메인에서 일관되게 활성화되어 작업 관련 기하학적 구조 (예: 활공도 가장자리, 임계값) 를 추적합니다.
   • 스타일 원자 (Stylistic Atoms): 특정 도메인에서 주로 활성화되어 부수적인 외관 요소 (예: 컬러 그레이딩, 렌더링 아티팩트, 조명) 를 추적합니다.
   • 분류는 부분집합 간 활성화율의 변동 계수 (CV) 를 사용하여 수행됩니다.
4. 검증: 분리는 활성화 패치의 시각화를 통해 질적으로, 그리고 SAM 의존도 점수를 측정함으로써 양적으로 검증됩니다. 이 점수는 원자와 회귀 헤드의 가중치 간의 정렬, 활성화 빈도, 활성화 크기를 집계하여 모델의 예측이 콘텐츠 원자와 스타일 원자에 각각 얼마나 의존하는지 결정합니다.
5. 모델 범위 외 (OOMS) 감지: 콘텐츠/스타일 분할을 바탕으로, 저자들은 입력이 유효해 보이고 (in-ODD) 출력이 통계적으로 전형적이라 하더라도, 작업 관련 (콘텐츠) 특징이 충분하지 않은 상태를 **모델 범위 외 (Out-of-Model-Scope, OOMS)**로 정의합니다. OOMS 감지기는 이진 원자 활성화에 대한 제약된 L1 로지스틱 회귀 분류기로 구현됩니다. 이 분류기는 "모델 범위 내 (In-Model-Scope, IMS)"일 확률을 출력하도록 훈련되며, 기본 상태가 OOMS 가 되도록 하고 활성화된 원자만이 IMS 확률을 높일 수 있도록 제약합니다.

주요 기여

• 착륙을 위한 ViT 적용: 저자들은 소프트-아크맥스 헤드가 있는 비전 트랜스포머를 활공도 키포인트 회귀를 위해 간단하고 효율적으로 적용하여 LARDv2 데이터셋에서 학습 가능함을 입증했습니다.
• 기작 분해: 그들은 K-SVD 를 사용하여 ViT 의 내부 특징 공간을 콘텐츠 기하학적 구조와 스타일 요인으로 성공적으로 분해하여, 이 영역에서의 기작 해석성을 위한 기초를 마련했습니다.
• 표현 검증: 질적 시각화와 양적 헤더 가중치 분석을 통해 회귀 헤드가 주로 (약 80%) 콘텐츠 원자에 의존함을 확인하여 모델의 상황 표현을 검증했습니다.
• OOMS 모니터링: 이 논문은 모델 범위 외 (OOMS) 감지를 새로운 런타임 보증 산출물로 도입합니다. ODD(입력 모니터링) 나 OOD(출력 모니터링) 와 달리, OOMS 는 작업 관련 의미론적 특징의 존재를 검증하기 위해 모델의 내부 상황 표현을 직접 모니터링합니다.

결과

• 회귀 성능: 사전 훈련된 ViT 모델은 테스트 세트의 중앙값 픽셀 오차 1.91 px를 달성하여, 처음부터 학습한 베이스라인 (3.19 px) 보다 현저히 우수한 성능을 보였습니다.
• 콘텐츠/스타일 의존도: 정량 분석 결과, 사전 훈련된 모델의 경우 회귀 헤드가 유효 의존도 점수의 약 **81.7%**를 콘텐츠 원자에, 처음부터 학습한 모델의 경우 **79.8%**를 콘텐츠 원자에 두는 것으로 나타났습니다.
• OOMS 감지: 유효한 활공도 컷 (IMS) 과 활공도가 없는 "역-BOGO" 컷 (OOMS) 을 구분하는 인공 데이터셋에서, 제약된 로지스틱 회귀 분류기는 AUROC 0.96을 달성했습니다.
• 원자 선택: OOMS 분류기는 높은 정확도를 달성하기 위해 512 개 중 34 개의 희소 원자 하위 집합을 자동으로 선택했습니다. 주목할 점은 선택된 원자의 **78%**가 콘텐츠 원자로 분류되어, 감지기가 해석성 단계에서 식별된 작업 관련 특징에 의존함을 보여주었습니다.

의의 및 주장
이 논문은 EASA 의 학습 보증 지침이 요구하는 최초의 구체적인 표현 수준 증거를 제공한다고 주장합니다. 최소한으로 보증 가능한 모델이 콘텐츠와 스타일을 분리하고 전자에게 의존해야 함을 입증함으로써, 이 작업은 모델이 우연한 상관관계를 악용하지 않는지 검증할 수 있는 경로를 제공합니다. 제안된 OOMS 모니터는 기존 입력 및 출력 모니터를 보완하여 모델의 내부 상황 표현을 모니터링해야 한다는 요구 사항을 직접 해결함으로써, 미래 항공 안전 사례를 위한 실용적인 구성 요소를 제공합니다. 저자들은 기작 해석성을 고차원 모델에 대해 여전히 비현실적인 완전한 화이트박스 설명이 아닌, 보증에 필요한 조건으로 위치 짓습니다. 즉, 모델의 내부 메커니즘이 물리적 작업 요구 사항과 정렬되어 있음을 검증하는 것입니다.