KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System

이 논문은 오픈 월드 인식과 지식 검색을 통합한 지식 그래프와 가치 정렬 모델을 통해 복잡한 의사결정 논리를 포착하고 충돌률을 획기적으로 낮추며 계획 성능을 향상시킨 자율 주행 시스템 'KnowVal'을 제안합니다.

핵심

🚗 'KnowVal': 운전하는 AI 에게 '교통법'과 '양심'을 심어주다

이 논문은 자율주행 자동차가 단순히 "사람이 어떻게 운전했는지"를 모방하는 것을 넘어, 교통 법규, 방어 운전 원칙, 그리고 인간의 윤리까지 이해하고 판단할 수 있는 새로운 시스템인 **'KnowVal(노밸)'**을 소개합니다.

기존의 자율주행 AI 가 마치 무작정 따라 하는 학생처럼 행동했다면, KnowVal 은 경험 많은 운전 기사이자 법학자처럼 생각하며 운전합니다.

---

🧩 1. 왜 새로운 시스템이 필요할까요? (기존의 문제점)

지금까지의 자율주행 기술은 크게 두 가지 방식이었습니다.

1. 끝에서 끝까지 (End-to-End): 카메라로 보고 바로 핸들을 꺾는 방식. (비유: 악보를 보지 않고 귀로만 듣고 피아노를 치는 천재)
2. 시각 - 언어 - 행동 (VLA): 언어로 명령을 받아 행동하는 방식. (비비: "빨리 가"라고 하면 빨리 가는 로봇)

하지만 문제는?
이들 대부분은 데이터만 보고 배우기 때문에, 복잡한 상황 (예: 비 오는 날, 보행자가 갑자기 튀어나옴) 에서 왜 그렇게 해야 하는지 '이유'를 설명하지 못합니다. 마치 운전면허 시험 문제만 외운 학생이, 시험장에 없는 새로운 상황을 만나면 당황하는 것과 같습니다.

---

💡 2. KnowVal 의 핵심: "눈, 두뇌, 그리고 양심"

KnowVal 은 세 가지 핵심 능력을 결합하여 운전합니다.

🕵️‍♂️ A. "눈"과 "지식"이 서로 대화합니다 (시각 - 언어 추론)

• 기존: 카메라가 "사람이 보인다"고만 보고 끝납니다.
• KnowVal: 카메라가 "사람이 보인다"고 보고, 지식 데이터베이스를 찾아봅니다.
  • 상황: "밤에 비 오는 길에 검은 옷을 입은 사람이 보인다."
  • 지식 검색: "밤에 비가 오면 시야가 안 좋아지고, 검은 옷은 더 잘 안 보인다. 속도를 줄여야 한다."
  • 결과: AI 는 단순히 사람을 감지하는 것을 넘어, **"왜 속도를 줄여야 하는지"**를 이해하고 다시 카메라에 "저 사람 주변을 더 자세히 봐!"라고 지시합니다.
  • 비유: **현장 조사관 (카메라)**이 **법률가 (지식)**에게 "이 사람이 위험해 보이는데 어떻게 해야 할까요?"라고 물어보고, 법률가가 "도로법 제 3 조에 따르면 속도를 줄여야 합니다"라고 조언해 주는 것입니다.

📚 B. 거대한 "운전 백과사전" (지식 그래프)

KnowVal 은 단순히 데이터만 학습하지 않습니다. 교통법, 방어 운전 원칙, 도덕적 규칙을 모두 담은 거대한 **지식 그래프 (Knowledge Graph)**를 구축했습니다.

• 이 백과사전에는 "우회전 시 보행자를 위해 브레이크를 살짝 밟아야 한다", "웅덩이를 지나갈 때 물이 튀지 않도록 천천히 가야 한다" 같은 실전 경험과 법규가 담겨 있습니다.
• AI 는 운전 중이 이 백과사전을 실시간으로 찾아보며, 상황에 맞는 규칙을 적용합니다.

⚖️ C. "양심"을 가진 판단자 (가치 모델)

단순히 법만 지키는 게 아닙니다. 인간의 선호도와 윤리를 고려합니다.

• 여러 가지 운전 경로 (트랙) 를 만들어낸 후, **"이 경로가 보행자에게 안전한가?", "이 경로가 예의 바른가?"**를 평가합니다.
• 비유: 여러 가지 길 중 하나를 고를 때, 가장 빠른 길을 고르는 게 아니라 가장 안전하고 예의 바른 길을 고르는 양심 있는 운전 기사의 역할을 합니다.

---

🏆 3. 실제 성능: 얼마나 잘 하나요?

실험 결과, KnowVal 은 기존 방식보다 훨씬 뛰어난 성능을 보였습니다.

• 충돌률 최저: 실제 도로 데이터 (nuScenes) 에서 다른 어떤 방법보다도 충돌 사고가 가장 적게 발생했습니다.
• 새로운 기록: 시뮬레이션 환경 (Bench2Drive) 에서도 **최고 성능 (State-of-the-Art)**을 기록했습니다.
• 유연성: 기존에 쓰이던 다른 자율주행 시스템 위에 바로 얹어서 쓸 수 있어, 적용하기 매우 쉽습니다.

🌟 4. 한눈에 보는 비유

• 기존 자율주행 AI: "사람이 튀어나오면 멈춰라"라고 외운 로봇.
• KnowVal: "사람이 튀어나왔는데, 비가 오고 밤이라서 더 위험하네. 도로법에도 속도를 줄이라고 했으니, 보행자가 물에 젖지 않도록 천천히 멈춰야겠다"라고 생각하고 판단하는 인간 같은 운전사.

📝 결론

이 논문은 자율주행이 단순히 **기술적인 문제 (어떻게 운전할까?)**를 넘어, **지식과 윤리 (왜 운전할까?)**를 이해하는 단계로 나아가야 함을 보여줍니다. KnowVal 은 AI 에게 교통법과 인간의 도덕을 심어주어, 더 안전하고 신뢰할 수 있는 자율주행의 미래를 열어갑니다.

기술 요약

논문 요약: KnowVal (지식 증강 및 가치 기반 자율 주행 시스템)

1. 문제 정의 (Problem)

기존의 자율 주행 시스템은 주로 데이터 기반 학습 (모방 학습 또는 제한된 강화 학습 보상) 에 의존하고 있습니다. 이로 인해 다음과 같은 한계가 존재합니다.

• 복잡한 의사결정 논리의 부재: 시뮬레이션이나 제한된 보상 신호만으로는 교통 법규, 방어 운전 원칙, 윤리적 규범 등 복잡한 의사결정 논리를 효과적으로 학습하기 어렵습니다.
• 시각 - 언어 추론의 결여: 기존 엔드 - 투 - 엔드 (End-to-End) 모델은 언어 기반 추론 능력이 부족하고, Vision-Language-Action (VLA) 모델은 추론 결과가 실제 지각 (Perception) 에 영향을 미치지 못해 상호작용이 단방향입니다.
• 해석 가능한 지식 기반의 부재: 수동으로 설계된 규칙이나 데이터 기반 학습은 복잡한 동적 환경으로의 일반화가 어렵고, 교통 법규나 도덕적 기준과 같은 명확한 지식 기반이 부족합니다.
• 가치 정렬 (Value Alignment) 의 어려움: 미래 상태를 예측하는 'World Model'은 존재하지만, 예측된 결과가 인간 사회의 가치와 규범에 부합하는지 평가하는 '가치 평가 메커니즘'이 부족합니다.

2. 방법론 (Methodology)

저자들은 KnowVal이라는 새로운 자율 주행 시스템을 제안하며, 지각 (Perception) 과 지식 검색 (Knowledge Retrieval) 의 상호 보완적 협력을 통해 시각 - 언어 추론을 구현합니다. 시스템은 크게 세 가지 핵심 모듈로 구성됩니다.

가. 지식 그래프 구축 및 검색 (Knowledge Graph & Retrieval)

• 지식 그래프 구성: 교통 법규, 방어 운전 원칙, 윤리적 규범, 운전 경험 (인터뷰 및 교육 영상) 등을 수집하여 구조화된 지식 그래프를 구축합니다.
• LLM 기반 엔티티 추출: 대규모 언어 모델 (LLM) 을 활용하여 텍스트에서 핵심 엔티티 (신호, 도로 사용자, 운전 행동 등) 를 추출하고, 이를 노드와 엣지로 연결하여 의미론적 관계를 형성합니다.
• 지각 기반 검색 (Perception-guided Retrieval):
  • 검색 유도 지각: 지각 모듈이 생성한 구조화된 정보 (3D 인스턴스, 점유도 맵, 추상 개념 등) 를 자연어 쿼리로 변환합니다.
  • 지식 검색: 변환된 쿼리를 통해 지식 그래프에서 관련 법규 및 원칙을 검색합니다.
  • 지식 유도 지각: 검색 과정에서 추가 정보가 필요한 요소 (예: 보행자, 웅덩이 등) 를 식별하여 다음 타임스텝의 지각 모듈에 피드백하여 정밀 관측을 유도합니다.
  • 원문 충실성: 검색된 정보는 요약되거나 변형되지 않고 원문 (Native text) 으로 유지되어 할루시네이션을 방지합니다.

나. 세계 모델 및 가치 모델 통합 계획 (Planning with World & Value Models)

• 세계 모델 (World Model): 기존 플래너를 확장하여 다양한 후보 궤적 (Trajectories) 을 생성하고, 각 궤적에 따른 미래 상태 (Future States) 를 예측합니다.
• 가치 모델 (Value Model):
  • 검색된 지식 항목과 예측된 미래 상태를 기반으로 각 후보 궤적의 '적합도'를 평가합니다.
  • 인간 선호도 데이터셋 (Human-preference dataset) 으로 학습된 Transformer 기반 모델로, -1(규칙 위반) 에서 1(규칙 준수) 사이의 점수를 산출합니다.
  • 관련도 가중치를 적용하여 최종 점수를 계산하고, 가장 높은 점수를 가진 궤적을 선택합니다.

다. 전체 아키텍처

• 지각, 지식 검색, 계획 (World Model + Value Model) 모듈이 엔드 - 투 - 엔드 방식으로 연결되며, 기존 아키텍처 (예: UniAD, HENet++, DiffusionDrive 등) 와 호환되도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 자율 주행 시스템 (KnowVal): 지각과 지식 검색의 상호 작용을 통한 시각 - 언어 추론을 가능하게 하는 시스템 제안.
2. 포괄적인 운전 지식 그래프: 교통 법규, 방어 운전, 윤리 등을 포함하는 지식 그래프 구축 및 효율적인 LLM 기반 검색 메커니즘 개발.
3. 가치 정렬 의사결정: 세계 모델 (미래 예측) 과 가치 모델 (결과 평가) 을 통합하여 해석 가능하고 가치에 부합하는 궤적 평가를 가능하게 함. 이를 위해 인간 선호도 데이터셋을 직접 구축.
4. 성능 입증: 기존 방법론과의 높은 호환성을 유지하면서, 충돌률 감소 및 계획 성능 향상을 입증.

4. 실험 결과 (Results)

• nuScenes (오픈 루프 평가): 기존 모든 방법론 중 **최저의 충돌률 (Collision Rate)**을 기록했습니다. L2 오차는 인간 주행 궤적과 약간 차이가 날 수 있으나, 이는 인간이 시연하지 않은 더 안전하거나 효율적인 전략을 발견했음을 의미합니다.
• Bench2Drive (클로즈드 루프 평가): VLA 기반 방법인 SimLingo 대비 Driving Score 3.35 점 향상, 성공률 1.76% 증가를 기록하여 SOTA(State-of-the-Art) 성능을 달성했습니다.
• NVISIM (NAVSIM): DiffusionDrive 및 iPad 와 같은 기존 모델에 KnowVal 모듈을 통합했을 때, PDMS 점수가 크게 향상됨을 확인했습니다.
• 정성적 분석: 웅덩이 통과 시 보행자에게 물을 튀기지 않도록 속도를 줄이거나, 터널 내 추월 금지 등 윤리적/법적 상황을 올바르게 판단하는 능력을 보여주었습니다.

5. 의의 및 결론 (Significance)

KnowVal 은 데이터 중심 학습의 한계를 극복하고, 명확한 지식 (법규, 윤리) 과 가치 판단을 자율 주행 의사결정에 통합한 새로운 패러다임을 제시합니다.

• 해석 가능성 (Interpretability): 왜 특정 행동을 선택했는지 관련 법규나 원칙을 통해 설명 가능합니다.
• 안전성 및 일반화: 복잡한 동적 환경에서도 인간 사회의 규범에 부합하는 안전한 주행을 보장합니다.
• 유연성: 기존 엔드 - 투 - 엔드 아키텍처에 모듈 형태로 쉽게 통합 가능하여 실용성이 높습니다.

이 연구는 자율 주행 시스템이 단순한 '주행'을 넘어, 인간의 사회적 가치와 법적 규범을 이해하고 준수하는 '지능적 에이전트'로 발전하는 데 중요한 이정표가 될 것으로 기대됩니다.