기술 요약: 잘못된 방향으로 주행하기: 엔드투엔드 자율주행 모델에서의 해석 가능성 활용

문제 정의

엔드투엔드(E2E) 학습의 채택이 증가함에 따라 NAVSIM과 같은 벤치마크에서 최첨단 성능을 보여주고 있습니다. 그러나 이러한 트랜스포머 기반 모델로의 구조적 통합은 인지, 예측, 계획을 하나의 단위로 결합하면서 복잡성과 불투명성을 초래했습니다. 모듈형 파이프라인과 달리, E2E 모델은 모듈 수준의 테스트를 위한 명확한 인터페이스가 부족하여 내부 의사결정 과정을 분석하기 어렵습니다. 이러한 불투명성은 실패 모드를 식별하는 과정을 복잡하게 만들며, 체계적인 분석보다는 "추측"에 의존하는 비용이 많이 드는 디버깅 주기로 이어집니다. 구체적으로, 이 분야에는 모델의 표현 능력을 저해하지 않으면서도 모델의 행동을 총체적으로 설명하고, 잘못된 학습(예: 가짜 상관관계)을 밝혀내며, 실패 모드에 대한 포괄적인 통찰력을 제공할 수 있는 일반화된 솔루션이 부족합니다.

방법론

저자들은 상태 최첨단 E2E 주행 모델(구체적으로 GTRS 및 iPAD)에 사후 해석 모듈로서 **희소 오토인코더(Sparse Autoencoders, SAEs)**를 이용한 비지도 사전 학습(unsupervised dictionary learning)을 통합하는 구조화된 다단계 프레임워크를 제 제안합니다. 이 프레임워크는 다음 단계들을 통해 작동합니다:

1. 잠재 공간 선택 (Latent Space Selection): SAE는 스코어링 모듈 직전의 잠재 공간 표현에 주입됩니다. 이 위치는 장면 이해에 대한 밀집된 요약을 포함하며 궤적 스코어링에 직접적인 영향을 미치기 때문에, 추출된 특징과 모델 출력 간의 연결을 가능하게 합니다.
2. 특징 방향의 분리 (Disentangling Feature Directions): SAE는 고정된(frozen) 모델의 잠재 표현에 대해 학습되어, 얽혀 있는 활성화 값을 희소하고 단일 의미적인 특징(concepts)으로 분해합니다. 학습 과정은 재구성 손실(reconstruction loss)을 최소화하는 동시에 top-$k$ 활성화 함수를 통해 희소성을 강제합니다. "죽은 뉴런(dead neurons)" 현상을 방-지하기 위해 손실 함수에 재생성(reanimation) 항을 추가합니다. 저자들은 다양한 SAE 아키텍처(TopK, Matryoshka, Archetypal)를 평가하였으며, TopK 변형 모델이 재구성 충실도, 특징 분리, 시나리오 암기 방지 사이에서 가장 좋은 균형을 제공함을 발견했습니다.
3. 의미론적 할당 (Semantic Assignment): 저자들은 세 가지 전략을 사용하여 SAE 뉴런에 인간이 이해할 수 있는 의미를 부여합니다:
   • 활성화/기여도 극대화 (Activation/Attribution Maximization): 특정 뉴런이나 기여 점수를 최대화하는 참조 데이터셋 샘의를 식별합니다.
   • 뉴런 클러스터링 (Neuron Clustering): 유사한 활성화 동작을 보이는 뉴런들을 그룹화하여 공유된 의미적 개념(예: "앞차", "교차로")을 식별합니다.
   • 개념 관련성 전파 (Concept Relevance Propagation, CRP): LRP 기반 방법을 사용하여 궤적 점수로부터 SAE를 거쳐 입력 공간(카메라 이미지 및 자차 상태)으로 관련성을 추적하고, 어떤 입력 특징이 특정 뉴런 활성화를 유도하는지 시각화하는 어트리뷰션 맵을 생성합니다.
4. 회로 발견 (Circuit Discovery): 프레임워크는 SAE 뉴와와 특정 모델 출력(PDM 하위 점수) 사이의 인과 관계를 매핑하기 위해 회로 분석을 사용합니다. 이는 다음의 4단계 파이프라인을 포함합니다:
   • 기여도 패칭 (Attribution Patching): 그래디언트 가중 활성화 차이를 통해 인과적 영향력을 추정합니다.
   • 활성화 패칭 (Activation Patching): 뉴런을 데이터셋 평균값으로 패칭하여 정확한 인과적 개입을 수행합니다.
   • ACDC 프루닝 (ACDC Pruning): 유의미한 엣지만 남기도록 영향력 행렬을 희소화합니다.
   • 뉴런 특이성 (Neuron Specificity): 지니 계수를 사용하여 뉴런이 특정 예측 헤드에 얼마나 특이적인지 정량화합니다.
5. 표적 개입 (Targeted Intervention): 식별된 인과 회로를 바탕으로, 저자들은 잘못된 행동과 관련된 특정 SAE 뉴런의 활성화를 제로화(ablation)하는 표적 개입을 수행합니다. 이를 통해 모델을 재학습시키지 않고도 추론 시점에 주행 결정을 조작할 수 있습니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 구조화된 해석 가능성 프레임워크: E2E 주행 결정에 대한 구조화된 접근 방식을 제시하며, 개별 후보 궤적의 스코어링에 대한 개념 수준의 설명을 제공합니다.
2. 개념 기반 분해: 주행 시나리오에서 가장 영향력 있는 요인을 식별하는 잠재 표현의 분해를 도입하여, 모델 결정에 대한 미세한 기여도 분석을 가능하게 합니다.
3. 직접적 대응 관계: 학습된 개념과 예측 품질 점수(PDM 하위 점수) 사이의 직접적인 연결을 확립하여, 충돌 회피, 신호 준수, 진행(progress)과 같은 특정 행동에 어떤 개념이 영향을 미치는지 밝혀냅니다.
4. 표적 적응: 식별된 개념이 테스트 시점의 모델 추론을 조작하는 데 활용될 수 있음을 입증하여, 비용이 많이 드는 재학습이나 데이터셋 큐레이션 없이도 다운스트림 성능을 개선할 수 있음을 보여줍니다.

결과

저자들은 NAVSIM 데이터셋을 사용하여 GTRS 및 iPAD 모델에 대해 접근 방식을 평가했습니다:

• SAE 성능: 256개 뉴런을 가진 TopK SAE는 높은 재구성 충실도(Cosine Similarity: 0.9975, Explained Variance: 0.9951)와 자차 상태 특징과의 강력한 정렬(Ego Correlation: 0.8454)을 달성했으며, 이는 시나리오 특정 상관관계에 과적합되는 경향이 있는 Archetypal SAE보다 우수한 성능을 보였습니다.
• 개념 발견: 프레임워크는 "앞차", "차선 표시", "교차로"와 같이 의미론적으로 유의미한 클러스터를 성공적으로 식별했습니다. 회로 분석 결과, "앞차" 뉴런은 모든 스코어링 헤드에 영향을 미치지만 그 구체적인 영향력은 다양했습니다. 예를 들어, 이들은 인과적 추론보다는 데이터 공존(신호등 앞에서 차가 멈추는 현상)으로 인해 신호 준수와 상관관계를 가집니다.
• 개입 효과: 부정적이거나 가짜 영향을 미치는 것으로 식별된 세 개의 특정 뉴런(177, 59, 71)을 제거함으로써, 저자들은 확장 예측 드라이버 모델 점수(EPDMS)에서 측정 가능한 개선을 달성했습니다.
  • 조작된 모델은 EPDMS를 0.4963(수정되지 않은 SAE 사용 시)에서 0.5926으로 향상시켰습니다.
  • 이 점수는 SAE가 없는 원래의 베이스라인 모델(0.524)을 상회했습니다.
  • 주행 가능 영역 준수(+0.1298)와 주행 방향 준수(+0.0702)에서 유의미한 개선이 관찰되었습니다.
  • 이러한 개입은 빠른 진행을 희생하더라도 안전성을 높이는 더 보수적인 주행 행동을 유도했으며, 이는 자차 진행 점수의 감소(-0.1000)를 통해 입증되었습니다.

의의 및 주장

본 논문은 해석 가능성이 단순한 분석 도구가 아니라 표적 완화 및 성능 향상을 위한 메커니즘이라고 주장합니다. 잠재 공간을 의미론적으로 유의미한 개념으로 분해함으로써, 저자들은 다음과 같은 점을 입증했습니다:

• 불투명성 감소: 해석 가능성은 표준 E2E 모델이 학습하는 오류가 있는 행동과 가짜 상관관계(예: 앞차를 신호 준수와 연관 짓는 것)를 효과적으로 밝혀낼 수 있습니다.
• 인과적 이해: 프레임워크는 상관관계적 아티팩트와 기능적으로 유의미한 구성 요소를 구분하여, 특정 의사결정 로직을 격리할 수 있게 합니다.
• 성능 향상: 개념 수준에서의 표적 개입은 재학습 없이도 모델 행동을 수정하고 전체 주행 지표를 개선할 수 있습니다. 저자들은 이 접근 방식이 더 투명하고 신뢰할 수 있으며 제어 가능한 자율주행 시스템을 구축하는 경로를 제공하며, 이 분야의 핵심 과제인 모델 검증 및 에러 분석 문제를 해결한다고 주장합니다.

저자들은 본 프레임워크가 개념 기반 분석을 위한 토대를 제공하지만, 의미론적 개념과 의사결정 과정에서의 복잡한 상호작용을 완전히 이해하는 것은 여전히 미해결 연구 과제로 남아 있다는 점을 인정하며 신중한 태도를 유지하고 있습니다.