How Can Driving World Models Do Counterfactual Prediction?

기술 요약: 주행 월드 모델에서의 반사실적 예측 (Counterfactual Prediction in Driving World Models)

문제 정의 및 인과적 간극 (Problem Definition and Causal Gap)
본 논문은 주행 월드 모델의 의도된 능력(반사실적 예측)과 현재의 표준 구현 방식(직접적인 행동 조건부 예측) 사이의 근본적인 불일치를 다룹니다. 자율 주행에서 반사실적 예측은 다음과 같은 질문을 던집니다: "사건이 발생했던(예: 차량이 끼어듦) 실제 주행 로그가 주어졌을 때, 만약 자율 주행 차량이 다른 행동(예: 가속 대신 제동)을 취했다면 카메라에는 무엇이 기록되었을 것인가?"

저자들은 현재의 "직접 예측(direct predictions)" 방식이 오직 공유된 이력($H$)과 대안적 행동($a'$)에만 모델을 조건화한다는 점을 지적합니다. 이러한 접근 방식은 실제 지속(factual continuation, $F^+$), 즉 실제 발생한 사건에 대한 관찰된 증거를 반영하는 데 실패합니다. Pearl의 "인과 계층(ladder of causation)"에 따르면, 진정한 반사실(Rung 3)은 **추론(abduction)**을 필요로 합니다. 즉, 관찰된 실제 결과($F^+$)를 생성한 구체적인 세계의 상태($w$)를 추론한 다음, 새로운 행동으로 개입해야 합니다. $F^+$를 무시하는 직접 예측 방식은 이력과 일치하는 가능한 모든 세계들을 평균화($p(w|H)$)할 뿐, 해당 에피소드에서 실제로 실현된 특정 세계($p(w|H, F^+)$)를 반영하지 못합니다. 결과적으로, 직접 예측 모델은 새로운 행동과 일치하는 유려한 비디오를 생성할 수는 있지만, 에피소드에 실제로 존재했던 특정 사건(예: 차량이 나타남)은 누락시키는 경우가 많습니다.

방법론: 학습이 필요 없는 파이프라인 (Methodology: A Training-Free Pipeline)
기존 모델을 재학습시키지 않고 이 간극을 메우기 위해, 저자들은 **추론(Abduction), 행동(Action), 예측(Prediction)**이라는 인과적 레시피에 기반한 간단한 추론 단계의 파이프라인을 제안합니다. 이 방법은 고정된(frozen) 월드 모델 위에서 작동하며 네 단계로 구성됩니다:

1. 추론 (재구성 - Abduce/Reconstruction): 고정된 깊이 추정 모델이 실제 지속($F^+$)을 처리하여 미터법 기반의 깊이를 추정합니다. 이를 통해 2D RGB 프레임을 3D 포인트 클라우드로 들어 올려, 실현된 세계의 관찰된 표면을 재구성합니다.
2. 전송 (개입 - Transport/Intervention): 시스템은 재구성된 3D 세계를 고정시킨 채 카메라 포즈에 대안적 자율 주행 궤적($a'$)을 적용합니다. 포워드 스플래팅(forward splatting)과 깊이 버퍼를 사용하여, 관찰된 3D 점들을 반사실적 카메라 뷰로 재투영합니다. 이를 통해 왜곡된 증거 이미지($E_t$)와 실제 관찰에 의해 결정된 픽셀을 나타내는 서포트 마스크($M_t$)를 생성합니다.
3. 완성 (예측 - Complete/Prediction): 고정된 월드 모델은 지원되지 않는 영역(실제 로그에서 보이지 않거나 가려진 영역)만을 생성하는 과업을 수행합니다.
   • 확산 모델(Diffusion models)의 경우: 입력은 $M_t$에 의해 마스킹된 노이즈가 섞인 증거 데이터입니다. 디노이징 과정 동안, 증거 영역을 매 단계 복원하여 생성을 제한합니다.
   • 자기회귀 모델(Autoregressive models)의 경우: 증거 마스크에 해당하는 토큰은 입력 값으로 고정되며, 모델은 나머지 영역에 대한 토큰을 생성합니다.
4. 결합 (정제 - Combine/Refinement): 월드 모델의 출력물은 전송된 증거와 블렌딩됩니다. 가중치 함수($\alpha_t$)를 사용하여 신뢰할 수 있는 전송 픽셀은 그대로 보존하고, 경계면을 부드럽게 처리하여 색상을 조화시키고 이음새를 줄입니다.

벤치마크 및 평가 (Benchmark and Evaluation)
실제 세계의 데이터는 반사실적 정답(하나의 과거로부터 두 개의 미래를 관찰할 수는 없음)을 제공할 수 없으므로, 저자들은 CARLA 시뮬레이터를 사용하여 통제된 벤치마크를 구축했습니다.

• 설정: 특정 사건(예: 측면 도로에서 차량이 나타남)이 정의된 세계를 시뮬레이션합니다. 세 가지 시나리오를 실행합니다: (1) 실제 실행 ($F, a_{obs}$), (2) 반사실적 실행 ($P, a'$), (3) 사건이 억제된 널(null) 실행 ($U, a'$).
• 지표:
  • 복구 비율 (Recovered Fraction, $Rec$): 임베딩 유사도(DINOv2 및 CLIP)를 사용하여 예측이 반사실적 정답($P$)과 얼마나 유사한지, 혹은 널 참조 모델($U$)과 얼마나 유사한지를 측정합니다. 점수가 1이면 사건을 완벽히 복구했음을 의미하며, 0이면 사건이 완전히 누락되었음을 의미합니다.
  • 지각적 충실도 (Perceptual Fidelity): 예측과 반사실적 정답 사이의 LPIPS 거리를 측정하여 시각적 품질을 평가합니다.

주요 결과 (Key Results)
두 가지 대표적인 월드 모델(확산 기반 모델 및 자기회귀 모델)에 대한 실험 결과는 다음과 같습니다:

• 직접 예측의 실패 (Direct Prediction Failure): 표준적인 직접 행동 조건부 예측은 실제 지속에 존재하는 특정 사건을 보존하는 데 지속적으로 실패했습니다. 이들의 "복구 비율" 점수는 낮았으며, 이는 사건(예: 나타나는 차량)이 발생하지 않는, 그럴듯하지만 틀린 미래를 생성했음을 나타냅니다.
• 방법론의 효능 (Method Efficacy): 제안된 학습 불필요 파이프라인은 성능을 크게 향상시켰습니다. 직접 예측에서 손실되었던 사건 신호를 성공적으로 유지함으로써 복구 비율을 실질적으로 높였습니다.
• 시각적 품질 (Visual Quality): 본 방법은 LPIPS를 감소시켜, 결과물이 의미론적으로 올바르면서도(사건을 포함함) 시각적으로 일관되게(coherent) 생성되도록 했습니다.

의의 및 주장 (Significance and Claims)
본 논문은 모든 주행 시나리오에 대한 반사실적 예측을 해결했거나 새로운 학습 아키텍처를 도입했다고 주장하는 것이 아닙니다. 대신, 그 의의는 다음과 같습니다:

1. 진단 (Diagnosis): 현재의 월드 모델이 왜 반사실적 작업에서 실패하는지에 대해 명확한 인과적 설명(실제 지속으로부터의 추론/증거 누락)을 제공합니다.
2. 벤치마킹 (Benchmarking): 이 특정 실패 모드를 정량적으로 측정할 수 있는, 일치하는 반사실적 정답을 가진 최초의 통제된 벤치마크를 구축했습니다.
3. 건설적 베이스라인 (Constructive Baseline): 단순한 기하학적 개입이 어떻게 "누락된 증거"를 복구하고 반사실적 충실도를 크게 개선할 수 있는지 입증했습니다. 이는 더 나은 반사실적 예측을 위해서는 단순히 행동 조건화에 의존하기보다 관찰된 증거를 생성 과정에 명시적으로 통합해야 함을 시사하며, 향후 방법론들을 위한 참조점을 제시합니다.

저자들은 본 연구가 직접 예측과 진정한 반사실적 추론 사이의 간극에 주의를 환기시키고, 특정 주행 에피소드의 인과 구조를 존중하는 방법론 개발을 독려하는 것을 목표로 한다고 결론짓습니다.