Deconfounded Lifelong Learning for Autonomous Driving via Dynamic Knowledge Spaces

이 논문은 카타스트로픽 포기팅을 완화하고 환경적 교란 요인으로 인한 허위 상관관계를 제거하여 자율주행의 평생 학습 능력을 향상시키기 위해 디리클레 프로세스 혼합 모델과 전면 조정 메커니즘을 통합한 'DeLL' 프레임워크를 제안합니다.

핵심

🚗 제목: "기억력 좋은 운전기사, 데릴 (DeLL)"

1. 문제점: 왜 자율주행차는 '치매'에 걸릴까?

기존의 자율주행 AI 는 새로운 도로 상황 (예: 비 오는 날, 공사 구간) 을 배울 때, 예전에 배운 것 (예: 맑은 날의 운전법) 을 지워버리고 다시 시작하는 경우가 많습니다. 이를 **'재앙적 망각 (Catastrophic Forgetting)'**이라고 합니다.

또한, AI 는 잘못된 인과관계를 배우기도 합니다.

• 예시: "비가 오면 (원인) → 빨간 불이 켜진다 (결과)"라고 착각하는 경우. 사실은 비와 빨간불은 무관한데, 비 오는 날에 빨간불이 자주 켜지는 우연한 패턴을 보고 AI 가 "비가 오면 무조건 멈춰야 해"라고 잘못 배운 것입니다. 이를 허위 상관관계라고 합니다.

2. 해결책: 데릴 (DeLL) 이란 무엇인가요?

저자들은 **'데릴 (DeLL)'**이라는 새로운 시스템을 만들었습니다. 데릴은 두 가지 핵심 기술을 사용합니다.

① "살아있는 지식 책장" (동적 지식 공간)

• 비유: 기존 AI 는 고정된 크기의 메모리 (예: 100 페이지짜리 노트) 를 썼습니다. 페이지가 다 차면 새로운 내용을 적으려면 예전 내용을 지워야 했습니다.
• 데릴의 방식: 데릴은 **무한히 늘어나는 '살아있는 지식 책장'**을 가집니다. 새로운 도로 상황 (예: 눈 오는 날) 이 나타나면, 책장에 새로운 페이지를 자동으로 추가합니다.
• 핵심: 이 책장은 **DPMM(디리클레 프로세스 혼합 모델)**이라는 수학적 도구를 써서, 어떤 내용이 들어오면 자동으로 분류하고 저장합니다. 그래서 예전 지식을 지우지 않고도 새로운 기술을 계속 배울 수 있습니다.

② "진짜 이유 찾기" (인과적 개입)

• 비유: 운전사가 "빨간 불이 켜졌으니 멈춰야지"라고 생각할 때, 왜 멈추는지 이유를 정확히 알아야 합니다. "비가 와서 멈추는 게 아니다"라는 걸 알아야 합니다.
• 데릴의 방식: 데릴은 **앞문 조정 (Front-door adjustment)**이라는 기술을 씁니다. 이는 "중간 매개자"를 통해 진짜 원인과 결과를 연결하는 방법입니다.
  • 데릴은 앞서 만든 '지식 책장'을 중간 매개자로 사용합니다.
  • "이 상황 (입력) → 지식 책장에서 적절한 패턴 찾기 (매개) → 올바른 운전 행동 (출력)" 순서로 판단합니다.
  • 이렇게 하면 비나 소음 같은 **잡음 (교란 변수)**에 속지 않고, 진짜 운전 의도만 배우게 됩니다.

3. 추가 기능: "진화하는 운전 대시보드"

• 비유: 기존 AI 는 미리 정해진 순서대로만 경로를 계획했습니다 (예: 1 단계, 2 단계, 3 단계...).
• 데릴의 방식: 데릴은 진화하는 경로 디코더를 써서, 한 번에 여러 경로를 병렬로 만들어냅니다. 마치 운전사가 한눈에 여러 가지 우회로를 동시에 상상하고 가장 좋은 것을 고르는 것처럼, 훨씬 빠르고 유연하게 운전합니다.

4. 실험 결과: 얼마나 잘할까요?

• CARLA(가상 시뮬레이터) 테스트: 데릴은 새로운 도로 상황을 배우면서도, 예전에 배운 비상 제동이나 차선 변경 기술을 완전히 잊지 않았습니다.
• 성과: 다른 최신 AI 들보다 운전 점수가 더 높았고, 특히 "비 오는 날"이나 "공사 구간" 같은 어려운 상황에서도 실수를 줄였습니다.
• 시각화: 데릴의 머릿속을 보면, '비 오는 날 운전', '차선 변경' 같은 능력들이 각각 **깔끔하게 분류된 클러스터 (모임)**로 저장되어 있는 것을 확인할 수 있었습니다.

📝 한 줄 요약

"데릴 (DeLL)"은 자율주행차에게 무한히 늘어나는 '지식 책장'을 주고, '진짜 이유'만 찾아내게 함으로써, 새로운 기술을 배우면서도 예전 실력을 잊지 않고, 더 똑똑하게 운전하게 만든 혁신적인 시스템입니다.

이 기술이 실용화되면, 자율주행차가 새로운 도시나 날씨에 적응할 때마다 다시 학습할 필요 없이, 평생 배우고 성장하는 진정한 '운전 기사'가 될 수 있을 것입니다.

기술 요약

논문 개요: DeLL (Deconfounded Lifelong Learning)

이 논문은 종단간 자율주행 (E2E-AD) 시스템이 겪는 **지속적 학습 (Lifelong Learning)**의 핵심 문제인 치명적 망각 (Catastrophic Forgetting), 다양한 시나리오 간 지식 전이 어려움, 그리고 관측되지 않는 교란 변수 (Unobservable Confounders) 로 인한 허위 상관관계를 해결하기 위해 DeLL이라는 새로운 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

• 치명적 망각: 자율주행 모델이 새로운 시나리오를 학습할 때, 이전에 학습한 지식 (과거의 파라미터) 이 덮어씌워져 성능이 급격히 저하되는 현상.
• 허위 상관관계 (Spurious Correlations): 센서 노이즈나 환경 변화와 같은 관측되지 않는 교란 변수 (Confounders) 가 실제 주행 의도와 잘못된 인과 관계를 형성하여, covariate shift(공변량 변화) 상황에서 의사결정 실패를 초래함.
• 고정된 네트워크의 한계: 기존 E2E-AD 모델은 고정된 용량의 네트워크를 사용하여 새로운 능력을 점진적으로 학습하는 데 한계가 있음.
• 벤치마크 부재: CARLA 시뮬레이터 내 지속적 학습을 평가할 수 있는 표준 벤치마크와 프로토콜이 부족함.

2. 제안 방법론 (Methodology)

제안된 DeLL 프레임워크는 베이지안 비모수 모델인 **디리클레 프로세스 혼합 모델 (DPMM)**과 인과 추론의 프론트 도어 조정 (Front-door Adjustment) 메커니즘을 결합하여 다음과 같은 핵심 모듈로 구성됩니다.

가. 동적 이중 지식 공간 (Dynamic Dual Knowledge Spaces)

• DPMM 활용: 사전에 클러스터 수를 정의하지 않고, 유입되는 데이터에 따라 클러스터 (지식 앵커) 를 동적으로 생성 및 확장하는 비모수적 접근법 사용.
• 특성 지식 공간 (FKS, Feature Knowledge Space): 백본 네트워크에서 추출된 융합된 특징 (Fused Features) 을 클러스터링하여 환경의 잠재적 인과 구조를 추출.
• 궤적 지식 공간 (TKS, Trajectory Knowledge Space): 과거 학습 데이터의 전문가 궤적 (Ground Truth) 을 클러스터링하여 차선 변경, 급정거 등 물리적 행동 라이브러리를 구축.
• 효과: 고정된 네트워크의 한계를 극복하고, 새로운 시나리오가 등장할 때 기존 지식을 덮어쓰지 않고 독립적인 분포로 보존하여 치명적 망각을 방지.

나. 인과적 특징 향상 모듈 (Causal Feature Enhancement Module)

• 프론트 도어 조정 (Front-door Adjustment): 관측되지 않는 교란 변수 (U) 가 입력 (X) 과 출력 (Y) 사이에 미치는 영향을 제거하기 위해, DPMM 에서 생성된 지식 앵커 (Afeat, Atraj) 를 **매개 변수 (Mediator, M)**로 활용.
• 구현:
  • FFEM (Fused Feature Enhancement Module): 다중 모달 특징을 인과적으로 정제.
  • TFEM (Trajectory Feature Enhancement Module): 궤적 예측에 대한 기하학적/운동학적 제약을 인과적으로 강화.
• 메커니즘: 입력 특징과 지식 앵커 간의 어텐션 (Attention) 을 통해 현재 상황에 가장 적합한 역사적 인과 템플릿을 검색하고, 게이트 네트워크를 통해 원본 특징과 인과적으로 강화된 특징을 융합.

다. 진화적 궤적 디코더 (Evolutionary Trajectory Decoder)

• 비자기회귀 (Non-autoregressive) 생성: 기존 순차적 생성 방식 대신, 동적 지식 베이스 (TKS) 를 기반으로 병렬로 궤적을 생성.
• 동적 토큰 풀: DPMM 이 확장됨에 따라 계획 토큰 (Planning Tokens) 풀이 자연스럽게 성장하여 무제한의 지식 획득 가능.
• Top-K 라우팅: coarse-grained(선택 점수) 와 fine-grained(기하학적 오프셋) 두 가지 분기를 통해 최적의 궤적을 선택 및 정제.

라. 새로운 평가 프로토콜

• Bench2Drive 기반: 5 가지 주행 능력 (긴급 제동, 교통 표지 인식, 합류, 추월, 양보) 을 순차적으로 학습하는 시나리오 구성.
• 지표:
  • 수직 지표 (Vertical): 망각 비율 (FR), 과정 망각 비율 (PFR).
  • 수평 지표 (Horizontal): 순방향 전이 (FT), 역방향 전이 (BT).
  • 종합 지표: 주행 점수 (DS), 성공률 (SR), 다중 능력 성공률.

3. 주요 기여 (Key Contributions)

1. DeLL 프레임워크: 종단간 자율주행을 위한 최초의 '인과적 정제 (Deconfounded)' 지속적 학습 프레임워크 제안.
2. DPMM 기반 동적 지식 공간: 고정된 클러스터 수 제한 없이 잠재 특징과 궤적 지식을 동적으로 보존 및 업데이트.
3. 인과적 특징 향상: 지식 앵커를 매개 변수로 활용한 프론트 도어 조정을 통해 관측되지 않는 교란 변수로 인한 허위 상관관계를 제거.
4. 진화적 궤적 디코더: 동적 지식 베이스를 지원하는 비자기회귀 병렬 궤적 생성 메커니즘 도입.
5. 새로운 벤치마크 및 평가: Bench2Drive 를 기반으로 한 지속적 학습 평가 프로토콜 및 메트릭 정의.

4. 실험 결과 (Results)

• 실험 환경: CARLA 시뮬레이터 (클로즈드 루프), Bench2Drive 데이터셋.
• 지속적 학습 성능:
  • 기존 최첨단 모델 (TF++ 등) 대비 모든 순차 작업에서 우수한 성능 달성.
  • 망각 감소: 과정 망각 비율 (PFR) 이 40.25% 에서 **29.8%**로 감소.
  • 지식 전이 향상: 역방향 전이 (BT) 가 52.83% 에서 **79.63%**로 크게 향상됨.
  • 최종 평균 주행 점수 (DS) 74.69%, 성공률 (SR) 50.73% 달성.
• 전체 데이터 학습 (Full-data) 성능:
  • 고정된 데이터셋 학습 시에도 SOTA 성능 달성 (주행 점수 86.86%, 다중 능력 성공률 68.9%).
• 애블레이션 연구:
  • 각 모듈 (진화적 디코더, FFEM, TFEM) 을 제거했을 때 성능이 현저히 저하됨을 확인하여, 각 구성 요소가 망각 방지와 인과적 추론에 필수적임을 입증.
• 시각화:
  • TF++ 는 새로운 작업 학습 후 이전 작업 (예: 정속 주행, 정지 표지판 인식) 을 망각하여 충돌하는 반면, DeLL 은 과거 지식을 유지하면서 새로운 능력 (차선 변경, 추월) 을 점진적으로 습득함을 확인.

5. 의의 및 결론 (Significance)

이 연구는 자율주행 시스템이 인간처럼 지속적으로 새로운 환경을 학습하면서도 과거의 경험을 잊지 않고, 환경적 노이즈에 흔들리지 않는 인과적 의사결정을 내릴 수 있는 새로운 패러다임을 제시합니다.

• 기술적 혁신: DPMM 을 통한 동적 지식 공간 구축과 인과 추론 (Front-door) 을 결합한 아키텍처는 자율주행의 '블랙박스' 문제와 '망각' 문제를 동시에 해결하는 강력한 접근법입니다.
• 실용성: CARLA 시뮬레이션에서 검증된 높은 적응성과 안정성은 향후 실제 자율주행 차량의 오픈 월드 배포를 위한 중요한 기반이 될 것입니다.
• 한계: DPMM 업데이트와 네트워크 학습 간의 번갈아 수행되는 최적화로 인한 계산 오버헤드와, 시뮬레이션과 실제 세계 간의 도메인 격차 (Domain Gap) 는 향후 해결 과제로 남습니다.