OD-RASE: Ontology-Driven Risk Assessment and Safety Enhancement for Autonomous Driving

이 논문은 자율주행 시스템의 안전성을 강화하기 위해 도로 교통 시스템의 전문 지식을 기반으로 한 온톨로지를 구축하고 대규모 시각 언어 모델 (LVLM) 과 확산 모델을 활용하여 사고를 유발하는 도로 구조를 사전에 식별하고 개선 방안을 제시하는 'OD-RASE' 프레임워크를 제안합니다.

핵심

자율주행차의 '안전 지킴이'가 되다: OD-RASE 프로젝트 설명

이 논문은 **"자율주행차가 사고를 미리 예방하고, 도로를 더 안전하게 만드는 방법"**을 소개합니다. 기존의 방식이 '사고가 난 후'에 수리하는 것이라면, 이 연구는 '사고가 나기 전에' 도로의 문제점을 찾아내고 고쳐주는 것을 목표로 합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 단계로 나누어 설명해 드릴게요.

---

1. 문제점: "사고가 나야 고치는 것"은 너무 늦어요! 🚗💥

지금까지 도로를 개선하는 방식은 주로 사고가 난 후였습니다.

• 비유: 마치 집에 불이 난 후에야 소방서를 부르고, 그제야 소화기를 사거나 소화전 설치 계획을 세우는 것과 같습니다.
• 현실: 자율주행차는 인간보다 훨씬 똑똑하게 주변을 볼 수 있지만, 인간이 만든 도로의 복잡한 구조 (예: 시야가 안 보이는 교차로, 좁은 길 등) 때문에 여전히 위험에 노출됩니다. 사고가 나기 전에 "여기 위험하니까 고쳐야 해!"라고 미리 알려주는 시스템이 필요합니다.

2. 해결책: OD-RASE (도로의 '수석 컨설턴트'와 '안전 감사관') 🕵️‍♂️📝

이 연구팀이 만든 OD-RASE는 두 가지 역할을 동시에 수행하는 똑똑한 시스템입니다.

① 안전 감사관 (Ontology-driven Filtering): "전문가의 눈"을 빌려오다 🧐

컴퓨터가 도로 사진을 보고 "여기 위험해!"라고 말한다고 해서 무조건 믿을 수는 없습니다. AI 가 엉뚱한 소리를 할 수도 있거든요.

• 비유: 이 시스템은 도로 공학 전문가들의 지식을 하나의 **'안전 매뉴얼 (온톨로지)'**로 만들었습니다.
• 작동 원리: AI 가 제안한 도로 개선안 (예: "여기에 신호등 설치") 을 이 '안전 매뉴얼'과 비교합니다.
  • 전문가의 매뉴얼과 일치하면? 👉 채용 (안전!)
  • 매뉴얼과 다르면? 👉 폐기 (위험한 제안!)
• 결과: 엉뚱한 제안은 걸러내고, 전문가도 인정할 만한 확실한 개선안만 남게 됩니다.

② 수석 컨설턴트 (OD-RASE Model): "사고 원인 찾기"와 "해결책 제시" 🧠✨

이제 걸러진 데이터를 바탕으로 AI 를 훈련시킵니다.

• 역할: 도로 사진을 보면, **"어떤 구조 때문에 사고가 날 수 있는지"**를 찾아내고, **"어떻게 고쳐야 안전한지"**를 제안합니다.
• 예시: "이 교차로는 시야가 가려져서 보행자가 갑자기 튀어나오면 위험합니다. 보행자 신호등을 설치하고, 도로 표지판을 더 크게 만들어야 합니다."

3. 마법의 결과: "고쳐진 도로"를 미리 보는 것 🎨🛣️

이 시스템의 가장 멋진 점은 단순히 글로만 제안하는 것이 아니라, 고쳐진 도로의 모습을 그림으로 그려준다는 것입니다.

• 비유: 건축가가 "이 벽을 허물고 창문을 크게 하세요"라고 말만 하는 게 아니라, 고쳐진 집의 3D 렌더링 이미지를 보여주고 "보시죠, 훨씬 밝고 안전하죠?"라고 말하는 것과 같습니다.
• 기술: '확산 모델 (Diffusion Model)'이라는 기술을 써서, 제안된 개선안 (예: 차선 추가, 표지판 설치) 을 실제 도로 사진에 자연스럽게 합성합니다.
• 효과: 전문가가 아니더라도 (예: 일반 시민, 지역 주민) "아, 이렇게 고치면 훨씬 안전해지겠구나!"라고 직관적으로 이해하고 논의할 수 있습니다.

---

💡 요약: 왜 이 연구가 중요한가요?

1. 반응형이 아닌 예방형: 사고가 나기 전에 위험을 찾아냅니다. (화재 후 소화기 설치 ❌ -> 화재 예방 소화전 설치 ✅)
2. 전문가 검증: AI 가 만든 제안이 전문가의 지식과 일치하는지 꼼꼼히 검사합니다. (엉뚱한 조언 방지)
3. 시각화: 복잡한 공학적 개선안을 누구나 이해할 수 있는 '고쳐진 도로 사진'으로 보여줍니다.

이 기술이 완성되면, 자율주행차뿐만 아니라 보행자와 일반 운전자 모두를 위한 더 안전한 도로 환경을 만들 수 있게 될 것입니다. 마치 도로의 건강 상태를 미리 진단하고 처방전을 내리는 최고의 의사가 되는 셈입니다. 🏥🛣️✨

기술 요약

OD-RASE: 자율주행을 위한 온톨로지 기반 위험 평가 및 안전 강화

이 논문은 자율주행 시스템이 인간 운전자보다 높은 인지 성능을 보임에도 불구하고, 드문 상황이나 복잡한 도로 구조에서 한계를 겪는 문제를 해결하기 위해 제안된 OD-RASE (Ontology-Driven Risk Assessment and Safety Enhancement) 프레임워크에 대한 연구입니다. 기존의 사고 발생 후 대응 (Reactive) 방식의 한계를 극복하고, 사고를 유발할 수 있는 도로 구조를 사전에 식별하여 인프라 개선안을 제시하는 선제적 (Proactive) 안전 강화 방법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현황: 최신 자율주행 시스템은 BEV(Bird's Eye View) 인지나 쿼리 기반 멀티태스크 학습 등을 통해 뛰어난 상황 인식을 달성했으나, 여전히 인간 운전자용 도로 인프라의 설계 결함 (예: 가시성 낮은 교차로, 표지판 부재, 급커브 등) 으로 인해 사고 위험에 노출되어 있습니다.
• 한계: 기존 인프라 개선은 사고 발생 후 전문가가 원인을 분석하고 해결책을 제안하는 '사후 대응' 방식에 의존합니다. 이는 복잡한 환경에서 자율주행 시스템의 선제적 안전을 보장하기에 불충분합니다.
• 과제: 사고가 발생하기 전에 도로 환경의 잠재적 위험을 식별하고, 이를 인프라 개선 계획과 연결하여 사전에 위험을 완화할 수 있는 체계가 필요합니다.

2. 방법론 (Methodology)

OD-RASE 는 크게 **데이터셋 구축 (Ontology-Driven Dataset Construction)**과 모델 학습 (OD-RASE Baseline) 두 단계로 구성됩니다.

A. 온톨로지 기반 데이터셋 구축

1. 전문가 지식 온톨로지 (Ontology) 정의: 도로 교통 시스템에 대한 전문가 지식을 바탕으로 사고를 유발하는 '도로 구조 (11 가지 유형)'와 이에 대응하는 '인프라 개선 제안 (10 가지 유형)'을 정의하고 그래프 형태로 온톨로지를 구성했습니다.
2. G2CoT (Graph-based Grounded Chain-of-Thought): 대규모 시각 - 언어 모델 (LVLM, GPT-4o) 을 활용하여 임의의 도로 이미지에서 사고 위험, 사고 유발 요인, 사고 발생 과정, 개선 방안을 추론하게 합니다. 이 과정은 전문가의 사고 방식을 모방하도록 설계된 CoT 프롬프트를 사용합니다.
3. 온톨로지 기반 데이터 필터링: LVLM 이 생성한 개선 제안이 전문가가 정의한 온톨로지 그래프와 얼마나 일치하는지 그래프 매칭 (Graph Matching) 을 통해 평가합니다. 온톨로지와 일치하지 않거나 고립된 노드를 가진 데이터는 제거하여 데이터셋의 신뢰성과 품질을 극대화합니다.

B. OD-RASE 모델 아키텍처

• 멀티모달 모델: 도로 구조 이미지와 위험 설명 텍스트를 입력받아 인프라 개선 계획을 분류하는 모델입니다.
  • Vision Encoder & Text Encoder: 이미지와 텍스트를 인코딩합니다.
  • Grounding Block: 이미지와 텍스트 간의 의미적 관계를 포착하기 위해 크로스 어텐션 (Cross Attention) 메커니즘을 적용합니다.
  • Diffusion Model (Instruct Pix2Pix): 제안된 개선 계획에 따라 사고가 발생할 수 있는 도로 이미지를 개선된 형태로 시각화 (이미지 편집) 합니다. 이는 비전문가 (도시 계획자, 주민 등) 가 개선 효과를 직관적으로 이해할 수 있게 돕습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 사고를 유발하는 도로 구조를 사전에 식별하고 이를 인프라 개선과 연결하는 자동화 프레임워크를 제안했습니다.
2. 전문가 지식 기반 온톨로지 정형화: 도로 교통 시스템의 전문가 지식을 활용하여 사고 유발 구조와 개선 방안을 온톨로지로 체계화했습니다.
3. 데이터 품질 향상: 온톨로지 기반의 데이터 필터링을 통해 생성된 데이터의 신뢰성을 높이고, 고품질의 멀티모달 데이터셋을 구축했습니다.
4. 시각적 의사결정 지원: 개선된 도로 환경을 생성하는 Diffusion 모델을 도입하여 제안된 솔루션의 유효성을 시각적으로 검증할 수 있게 했습니다.

4. 실험 결과 (Results)

Mapillary Vistas 와 BDD100K 데이터셋을 사용하여 실험을 수행했습니다.

• 인프라 개선 계획 예측: 온톨로지로 필터링된 데이터로 학습한 OD-RASE 모델은 사고 유발 도로 구조와 개선 계획을 높은 정확도로 예측했습니다. (Long-CLIP + RoBERTa-Base 조합에서 Mapillary 기준 F1-Score 70.26, 정확도 42.14% 달성).
• 데이터 필터링의 효과: 필터링을 적용하지 않은 경우 모델의 정확도가 0% 에 수렴하는 등 성능이 급격히 저하되었으며, 필터링을 적용함으로써 성능이 크게 향상됨을 확인했습니다.
• Zero-Shot 일반화: 훈련 데이터와 다른 도메인 (예: BDD100K 학습 후 Mapillary 테스트) 에서도 높은 성능을 보였으며, 이는 제안된 방법이 새로운 도로 환경에도 적용 가능함을 시사합니다.
• 일반 모델 (Generalist Models) 과의 비교: GPT-4o, LLaVA-1.5 등 최신 LVLM 들은 도메인 특화 지식이 부족하여 사고 유발 요인 식별 및 개선안 제안에서 OD-RASE 보다 성능이 현저히 낮았습니다. 이는 전문가 지식이 포함된 온톨로지 기반 접근법의 필요성을 입증합니다.
• 시각화: 생성된 개선된 도로 이미지는 프롬프트 충실도 (Prompt Faithfulness) 가 높고, 실제 개선 효과를 직관적으로 보여주어 의사결정 지원 도구로 적합함이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 선제적 안전 강화: 사고 발생 후 대응하는 기존 방식에서 벗어나, 도로 인프라의 잠재적 위험을 사전에 발견하고 개선하는 프로세스를 자동화했습니다.
• 자율주행 및 보행자 안전: 이 연구는 자율주행 차량의 안전뿐만 아니라 보행자와 일반 차량을 포함한 모든 교통 참여자의 안전을 증진하는 데 기여합니다.
• 실용적 가치: 도시 계획자나 일반인도 시각화된 개선안을 통해 인프라 개선의 필요성을 쉽게 이해하고 논의할 수 있게 하여, 실제 도로 환경 개선 사업의 효율성을 높일 수 있습니다.

결론적으로, OD-RASE 는 컴퓨터 비전, 대규모 언어 모델, 그리고 도메인 전문가 지식을 융합하여 자율주행 시스템의 안전성을 높이고 더 넓은 범위의 도로 인프라 개선에 기여하는 중요한 단계입니다.