A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms

본 논문은 자율주행 시스템의 핵심 병목 현상인 추론 능력의 부재를 해결하기 위해 인지 계층 구조를 제안하고, 대규모 언어 모델 기반의 통합 프레임워크를 체계적으로 분석하며, 지연 시간과 안전성 간의 긴장 관계를 해소할 수 있는 신경-기호적 아키텍처 등 향후 연구 방향을 제시합니다.

핵심

이 논문은 **"자율주행차가 이제 '눈'만 잘 뜨는 것을 넘어, '머리'도 제대로 쓸 수 있어야 한다"**는 메시지를 전하고 있습니다.

기존의 자율주행 기술이 카메라와 센서로 주변을 잘 보는 것 (지각) 에 집중했다면, 이제는 **복잡한 상황에서 인간처럼 생각하고 판단하는 능력 (추론)**이 가장 큰 걸림돌이라는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🚗 1. 핵심 문제: "눈은 멀쩡한데, 머리가 멍한 차"

과거의 자율주행차는 마치 완벽한 시력을 가진 운전사 같았습니다. 차선, 신호등, 보행자를 아주 잘 봅니다. 하지만 예상치 못한 상황에 처하면 당황합니다.

• 예시: 길가에 공이 굴러옵니다.
  • 기존 차: "공이 있네. 멈춰야 하나? 아니면 지나가도 되나?" (규칙만 따짐)
  • 인간 운전사: "공이 굴러갔다면 곧 아이가 따라 나올 거야. 미리 멈춰야지!" (상황을 추론함)

이 논문은 현재 자율주행차가 이 '아이 추론' 단계에서 계속 막히고 있다고 말합니다. 센서 기술은 이미 훌륭하지만, **"왜?"**와 **"만약에?"**를 생각하는 추론 능력이 부족하다는 것이죠.

🧠 2. 새로운 해법: "거인 (LLM) 을 차에 태우다"

이제 거대한 인공지능 모델 (LLM, MLLM) 이 등장했습니다. 이 모델들은 수만 권의 책을 읽고 세상의 상식 (Common Sense) 을 알고 있습니다. 논문의 제안은 이 거인 AI 를 차의 '두뇌'로 삼아 추론 능력을 키워보자는 것입니다.

하지만 거인 AI 를 차에 바로 태우면 문제가 생깁니다.

• 문제: 거인 AI 는 생각할 때 시간이 오래 걸립니다 (지연 시간). 하지만 차는 밀리초 (0.001 초) 단위로 반응해야 안전합니다.
• 비유: **천재 수학자 (거인 AI)**가 차를 운전한다고 상상해보세요. 그는 복잡한 상황을 완벽하게 분석할 수 있지만, "빨리! 빨리!"라고 외칠 때 계산하는 데 5 초가 걸린다면 사고가 납니다.

🏗️ 3. 해결책 제안: "3 단계 사고 계층 구조"

저자들은 이 문제를 해결하기 위해 자율주행의 사고 과정을 3 단계로 나누어 정리했습니다.

1. 반사 신경 단계 (센서 - 모터):
   • 비유: 다리에 박힌 가시를 보고 순간적으로 발을 떼는 것.
   • 차가 장애물을 보면 브레이크를 밟는 기본 반응입니다.
2. 나 중심 사고 단계 (자신 - 다른 차):
   • 비유: 운전면허 시험을 보는 것. "내 차가 우회전할 때 옆 차가 멈출까?"를 계산합니다.
   • 다른 차의 움직임을 예측하고 내 차의 경로를 계획합니다.
3. 사회적 지능 단계 (차 - 사회):
   • 비유: 사람들과의 대화나 눈치 보기.
   • "저 사람이 손을 흔들며 양보해 주는 걸까?", "경찰이 신호등보다 우선이니 경찰 지시를 따라야지" 같은 암묵적인 규칙과 상식을 이해하는 단계입니다.

현재 기술은 1, 2 단계는 잘하지만, **3 단계 (사회적 지능)**에서는 여전히 인간처럼 유연하게 대처하지 못합니다.

⚔️ 4. 7 가지 주요 난관 (미션)

이 논문을 통해 자율주행이 넘어야 할 7 가지 큰 산을 발견했습니다.

1. 혼란스러운 신호 처리: 카메라, 레이더, 지도 등 서로 다른 정보를 하나로 합쳐야 합니다. (비유: 여러 언어로 동시에 들리는 소리를 한 문장으로 정리하기)
2. 눈과 뇌의 불일치: 센서가 잘못 보거나 AI 가 망상 (환각) 을 일으킬 때, 이를 감지하고 수정해야 합니다. (비유: "아, 저건 신호등이 아니라 광고판이네"라고 스스로 깨닫기)
3. 생각 vs 속도: 깊이 생각하면 느려지고, 빨리 반응하면 실수할 수 있습니다. 이 균형을 잡는 것이 가장 어렵습니다. (비유: 빠른 반사신경과 깊은 사고를 동시에 쓰는 것)
4. 판단과 현실의 괴리: "오른쪽으로 가자"라고 생각했는데, 차가 물리적으로 그쪽으로 못 갈 때 (회전 반경 문제 등) 이를 수정해야 합니다.
5. 드문 상황 (롱테일) 대처: 훈련 데이터에 없던 예상치 못한 상황 (갑작스러운 공사, 이상한 날씨) 에서도 상식으로 대처해야 합니다.
6. 규칙 준수: 교통법규는 지역마다 다르고, 상황에 따라 예외가 생깁니다. 이를 유연하게 적용해야 합니다.
7. 사회적 게임: 다른 운전자나 보행자와의 눈치 싸움과 양보를 이해하고, 내 행동이 왜 그런지 설명할 수 있어야 합니다.

🔮 5. 결론 및 미래: "투명한 유리상자"와 "안전한 두뇌"

이 논문은 앞으로의 자율주행 기술이 다음과 같이 발전해야 한다고 말합니다.

• 투명한 두뇌 (Glass-box): 차가 왜 그렇게 운전했는지 이유를 설명할 수 있어야 합니다. "왜 멈췄어?"라고 물으면 "공이 굴러갔으니 아이가 나올 수 있어서"라고 대답할 수 있어야 신뢰를 얻습니다.
• 빠른 반사 + 깊은 사고: 위험할 때는 순간 반사로 피하고, 여유가 있을 때 깊은 사고로 계획을 세우는 이중 시스템이 필요합니다.
• 상식과 법의 결합: 단순히 법만 지키는 게 아니라, 인간 사회의 암묵적인 규칙까지 이해하는 차가 되어야 합니다.

한 줄 요약:

"자율주행차는 이제 **'눈' (센서)**만 좋은 차가 아니라, **'머리' (추론)**도 좋고, **'눈치' (사회적 지능)**도 있는 완전한 인간 운전사가 되어야 합니다. 이를 위해 거대한 AI 를 차에 태우되, 안전하고 빠르게 생각할 수 있는 새로운 시스템을 만들어야 합니다."

기술 요약

1. 문제 정의 (Problem)

자율주행 (AD) 기술의 발전은 기존의 '지각 (Perception)' 및 '제어 (Control)'의 물리적 한계에서 벗어나, 강건하고 일반화 가능한 추론 (Reasoning) 능력의 부재라는 근본적인 병목 현상에 직면해 있습니다.

• 현재의 한계: 기존 모듈식 파이프라인 (지각 - 예측 - 계획 - 제어) 은 구조화된 환경에서는 성공적이지만, 긴 꼬리 (Long-tail) 시나리오, 복잡한 사회적 상호작용, 모호한 상황에서는 실패합니다. 이는 사전 정의된 규칙에 대한 과도한 의존성과 불확실한 상황에서의 유연성 부족 때문입니다.
• 핵심 과제: Waymo 나 Cruise 와 같은 주요 기업들이 지적한 바와 같이, 추론 능력 (예: 계획 불일치, 예측 불일치) 의 부재가 대규모 현실 세계 배포의 주요 장애물입니다. 특히 인간과 유사한 사회적 판단과 상식 (Commonsense) 이 필요한 상황에서 기존 시스템은 취약합니다.

2. 방법론 및 프레임워크 (Methodology & Framework)

저자들은 LLM(대형 언어 모델) 과 MLLM(다중 모달 대형 언어 모델) 을 자율주행 시스템의 '인지 엔진 (Cognitive Engine)'으로 통합하는 새로운 패러다임을 제안하며, 이를 체계화하기 위해 다음과 같은 프레임워크를 구축했습니다.

가. 인지 계층 구조 (Cognitive Hierarchy)

주행이라는 단일 작업을 인지 및 상호작용의 복잡성에 따라 3 단계로 분해하는 새로운 개념적 프레임워크를 제안합니다.

1. 감각운동 수준 (Sensorimotor Level): 차량과 환경 간의 직접적인 매핑 (지각, 제어).
2. 자기 중심 추론 수준 (Egocentric Reasoning Level): 차량과 다른 에이전트 간의 상호작용 (반응형 전략, 계획 기반 전략).
3. 사회 - 인지 수준 (Social-Cognitive Level): 사회적 상식, 교통 규정, 다른 에이전트의 의도 추론을 포함한 고차원적 추론.

나. 7 가지 핵심 추론 과제 (7 Core Reasoning Challenges)

위 계층 구조를 바탕으로 자율주행 시스템이 해결해야 할 7 가지 핵심 과제를 도출했습니다.

• 자기 중심 수준 (C1-C4):
  • C1: 이질적 신호 추론 (Heterogeneous Signal Reasoning): 카메라, 라이다, 레이더 등 다양한 센서 데이터의 통합 및 3D 공간 추론.
  • C2: 지각 - 인지 편향 (Perception-Cognition Bias): 센서 오작동이나 모델의 환각 (Hallucination) 을 보정하는 교차 검증 및 현실 확인.
  • C3: 반응성 - 추론 트레이드오프 (Responsiveness-Reasoning Tradeoff): 고지연의 심층 추론과 밀리초 단위의 실시간 제어 요구 사이의 균형 (이중 처리 아키텍처 필요).
  • C4: 결정 - 현실 정렬 (Decision-Reality Alignment): 추상적인 언어적 결정이 차량의 운동 역학적 제약 (Kinodynamic constraints) 과 물리 법칙에 부합하도록 보장.
• 사회 - 인지 수준 (C5-C7):
  • C5: 긴 꼬리 시나리오 대응 (Tackling Long-tail Scenarios): 학습 데이터가 부족한 새로운 상황 (예: 공사 구역, 극한 기상) 에서 상식과 논리를 통한 일반화.
  • C6: 규제 준수 (Regulatory Compliance): 지역별 교통법규와 상황별 우선순위 (예: 응급차량 양보) 를 동적으로 해석 및 적용.
  • C7: 사회적 게임 (The Social Game): 다른 운전자나 보행자의 암묵적 의도 파악 및 사회적 규범에 부합하는 명확한 행동 생성.

3. 주요 기여 (Key Contributions)

1. 추론의 핵심적 역할 재정의: 추론을 단순한 모듈이 아닌 시스템의 '인지 핵심 (Cognitive Core)'으로 격상시켜, 기존 모듈을 이해하고 조율하며 권한을 부여하는 역할로 재정의했습니다.
2. 새로운 분류 체계 (Taxonomy): 인지 계층 구조를 기반으로 한 7 가지 핵심 추론 과제를 체계화하여 연구 커뮤니티에 구조화된 문제 공간을 제시했습니다.
3. 이중 관점의 종합적 검토:
   • 시스템 중심 (System-Centric): 지능형 에이전트 아키텍처 (지각 강화, 예측, 계획, 엔드 - 투 - 엔드 에이전트 등) 를 분석.
   • 평가 중심 (Evaluation-Centric): 벤치마크와 데이터셋의 현황을 분석하여 시스템의 신뢰성과 사회적 준수를 검증하는 방법론을 다룸.
4. 트렌드 분석: '블랙박스'에서 해석 가능한 '글래스박스 (Glass-box)' 에이전트로의 전환, 물리적 최적화보다 규제 준수와 사회적 적합성을 우선시하는 패러다임 변화를 규명했습니다.

4. 결과 및 분석 (Results & Analysis)

• 시스템 중심 접근법: 최근 연구들은 개별 모듈 최적화를 넘어, CoT(Chain-of-Thought) 를 활용한 통합적 아키텍처와 엔드 - 투 - 엔드 에이전트 (예: DriveGPT4, ORION) 로 빠르게 진화하고 있습니다. 특히 '의사결정 - 현실 정렬'과 '해석 가능성'을 중시하는 경향이 뚜렷합니다.
• 평가 중심 접근법: 단순한 충돌률이나 궤적 오차와 같은 물리적 지표에서 벗어나, 추론 과정의 논리적 일관성, 인과 관계 이해, 긴 꼬리 시나리오에서의 강건성을 평가하는 새로운 벤치마크 (예: OmniDrive, AutoTrust-Bench) 가 등장하고 있습니다.
• 근본적인 긴장 관계: LLM 기반의 고지연 심층 추론 (Deliberative) 과 차량 제어의 밀리초 단위 실시간 요구 (Reactive) 사이의 모순은 여전히 해결되지 않은 핵심 문제입니다.

5. 의의 및 향후 방향 (Significance & Future Work)

이 논문은 자율주행의 다음 단계가 단순한 센서 성능 향상이 아닌, 고급 추론 능력의 통합에 있음을 명확히 합니다.

향후 연구 방향 (Future Directions):

1. 검증 가능한 신경 - 심볼릭 아키텍처 (Verifiable Neuro-Symbolic Architectures): 추상적 심볼 계획이 물리적 제어 공간에 안전하게 정렬되도록 보장하는 아키텍처 개발.
2. 다중 모달 불확실성 하의 강건한 추론: 센서 노이즈와 모순된 데이터에서도 일관된 세계 모델을 유지하는 능력.
3. 외부 규제 지식의 동적 정렬 (Dynamic Grounding): 다양한 지역의 교통법규를 실시간으로 검색하고 적용하는 오픈 월드 시스템.
4. 생성적 및 적대적 평가 (Generative and Adversarial Evaluation): 알려진 실패 사례를 넘어 '알려지지 않은 미지 (Unknown unknowns)'를 발견하기 위한 시뮬레이션 및 평가 프레임워크.
5. 확장 가능한 암묵적 사회적 협상 모델: 인간 운전자와의 비언어적 상호작용과 사회적 규범을 이해하고 준수하는 모델 개발.

결론적으로, 이 논문은 자율주행 시스템이 인간 수준의 자율성을 달성하기 위해서는 지각을 넘어 사회적, 인지적 추론 능력을 체계적으로 통합하고, 이를 검증 가능한 방식으로 물리적 세계에 정렬해야 한다는 강력한 주장을 펼치고 있습니다.