Hazard-Aware Traffic Scene Graph Generation

이 논문은 기존 장면 그래프의 한계를 극복하고 교통 사고 데이터와 깊이 정보를 활용하여 자차 중심의 위험 인식 및 사고 메커니즘을 정량적으로 표현하는 '교통 장면 그래프 생성'이라는 새로운 작업과 프레임워크를 제안합니다.

핵심

이 논문은 자율주행차나 운전자가 복잡한 도로 상황에서 **"무엇에 집중해야 할지"**를 더 똑똑하게 판단하도록 도와주는 새로운 기술인 **HATS(위험 감지형 교통 장면 그래프 생성)**에 대해 설명합니다.

기존의 기술들이 "차량", "보행자", "신호등" 같은 사물을 단순히 찾아내는 데 그쳤다면, 이 연구는 **"이 차가 내 차에 얼마나 위험한지", "어디서 오는지", "어떻게 충돌할 수 있는지"**까지 예측하는 데 초점을 맞췄습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

🚗 1. 문제점: "눈이 너무 많아!" (기존 기술의 한계)

운전을 할 때 주변에는 수많은 사물이 있습니다. 하늘, 멀리 있는 주차된 차, 지나가는 새, 그리고 정면으로 다가오는 차 등입니다.
기존의 AI 는 이 모든 것을 똑같이 중요하게 보거나, 단순히 "저건 차야, 저건 사람이다"라고 분류만 했습니다. 마치 모든 손님에게 똑같은 인사를 하는 웨이터처럼, 중요한 손님과 그렇지 않은 손님을 구별하지 못해 운전자가 진짜 위험에 집중하는 것을 방해했습니다.

🧠 2. 해결책: "위험 감지형 HATS" (이 기술의 핵심)

이 연구팀은 운전자에게 **"지금 가장 중요한 3 가지만 집중하세요"**라고 알려주는 똑똑한 조수 (HATS) 를 만들었습니다. 이 조수는 크게 두 가지 일을 합니다.

① "내 길에 방해되는 것만 골라내기" (ERES 모듈)

이 조수는 먼저 내 차가 앞으로 나아갈 **경로 (Path)**를 상상합니다. 그리고 그 경로와 관련이 없는 것들 (예: 멀리 있는 구름, 내 차와 전혀 상관없는 반대편 주차된 차) 은 무시합니다.

• 비유: 파티에 초대받은 수많은 사람 중에서, 나와 대화해야 할 중요한 사람만 골라내는 '주최자' 역할을 합니다.

② "과거의 사고 기록을 참고하기" (지식 그래프, KG)

이게 가장 혁신적인 부분입니다. 단순히 눈으로 보는 것만 믿지 않고, 과거에 일어난 수만 건의 교통사고 기록을 학습한 '사고 전문가'를 옆에 두었습니다.

• 비유: 운전자가 "저 차가 갑자기 튀어 나올까?"라고 걱정할 때, 옆에 앉은 사고 경력이 풍부한 베테랑이 "아, 저 차는 과거에 이런 상황에서 자주 사고를 냈어. 위험해!"라고 알려주는 것과 같습니다.
• 이 기술은 사고 데이터를 그래프 형태로 만들어 AI 가 이해할 수 있게 했습니다.

🎨 3. 결과: "색깔로 위험을 알려주는 지도"

이 시스템은 주변 상황을 분석한 뒤, 운전자에게 **교통 장면 그래프 (TSG)**라는 지도를 보여줍니다.

• 색깔로 위험도 표시: 위험한 것은 빨간색, 주의가 필요한 것은 노란색, 그냥 정보만 필요한 것은 파란색으로 표시합니다.
• 상세한 설명: "오른쪽에서 사이드 스윕 (옆으로 스치는) 충돌 위험이 있다"거나 "앞에서 정면 충돌이 임박했다"는 식으로 구체적인 위험 메커니즘을 알려줍니다.

🏆 4. 왜 이것이 중요한가요? (성공 요인)

이 연구는 다음과 같은 이유로 기존 기술보다 훨씬 뛰어납니다.

1. 집중력 향상: 모든 것을 다 보려고 하지 않고, 내 차의 경로에 실제로 영향을 미치는 것만 골라내어 계산량을 줄이고 정확도를 높였습니다.
2. 경험의 힘: 과거의 **사고 데이터 (Knowledge Graph)**를 활용하여, 눈으로 보기엔 멀쩡해 보여도 실제로는 위험한 상황을 미리 감지합니다.
3. 입체적인 이해: 카메라 (RGB) 만 보는 게 아니라, **거리감 (깊이 정보)**과 사고 지식을 합쳐서 3 차원적으로 상황을 파악합니다.

💡 요약

이 논문은 **"운전자가 복잡한 도로에서 무엇을 봐야 할지 몰라 당황하는 문제를 해결"**하기 위해, 과거의 사고 기록을 학습한 똑똑한 AI 조수를 개발했다는 것입니다. 이 조수는 운전자에게 "저 차는 무시해도 돼, 하지만 저 차는 빨간색으로 표시된 만큼 위험하니까 집중해!"라고 알려주어, 더 안전하고 직관적인 주행을 가능하게 합니다.

마치 **운전석에 앉은 '사고 예방 전문가'**가 옆에서 실시간으로 위험을 분석하고 경고해주는 것과 같은 기술입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 자율주행 및 교통 장면 이해 연구는 다음과 같은 한계를 가지고 있습니다.

• 안전 관련성 평가 부재: 기존 모델들은 특정 객체 (신호등, 보행자 등) 를 탐지하거나 시각적으로 눈에 띄는 영역을 식별하는 데는 탁월하지만, 어떤 요소가 실제 **안전 (Safety)**에 위협이 되는지 그 '중요도'를 평가하는 능력이 부족합니다.
• 일반적인 공간 관계의 부적절함: 기존 장면 그래프 (Scene Graph) 는 '위치 (on)', '내부 (in)'와 같은 일반적인 시각적 관계에 집중합니다. 그러나 운전 상황에서는 객체 간의 물리적 위치보다 **교통 사고와 관련된 인과 관계 (예: 측면 충돌 위험, 정면 충돌 가능성)**와 자차 (Ego-vehicle) 에 대한 상대적 위험도가 훨씬 중요합니다.
• 주행 경로 무관한 노이즈: 모든 장면의 객체를 동등하게 처리하면, 자차의 주행 경로와 무관한 배경 객체 (하늘, 멀리 주차된 차 등) 가 계산 자원을 낭비하고 중요한 위험 요소를 가립니다.

이에 따라 저자들은 **자차 중심 (Ego-centric) 의 교통 장면 그래프 생성 (Traffic Scene Graph Generation, TSGG)**이라는 새로운 과제를 제안하며, 이는 자차 주변의 주요 위험 요소를 식별하고 그 위험의 메커니즘, 위치, 심각도를 구조화된 그래프로 표현하는 것을 목표로 합니다.

2. 방법론 (Methodology)

제안된 HATS (Hazard-Aware Traffic Scene Graph Generation) 모델은 크게 두 가지 주요 브랜치로 구성됩니다.

A. 메인 장면 그래프 브랜치 (Main Scene Graph Branch)

1. Panoptic Segmentation (PS) 모듈:
   • ResNet50 기반의 Mask2Former 를 사용하여 주변 환경의 모든 객체를 분할하고 분류합니다.
2. Ego-path Related Entities Selection (ERES) 모듈:
   • 핵심 기능: 모든 객체를 처리하는 대신, 자차의 주행 경로 (Ego-path) 와 상호작용할 가능성이 있는 객체만 선별합니다.
   • 기법: 학습 가능한 교차 어텐션 (Cross-attention) 메커니즘을 사용하여 자차 경로 토큰과 객체 임베딩 간의 관련성을 정량화합니다. 이를 통해 보행자, 다른 차량, 교통 시설물 등 주행에 영향을 미치는 '주요 후보'만 추려냅니다.
3. Traffic Scene Graph Generation (TSGG) 모듈:
   • 선별된 객체와 자차 간의 관계를 3 가지 차원 (메커니즘, 측면, 심각도) 으로 추론합니다.
   • 입력: RGB 이미지, 깊이 정보 (Disparity), 시맨틱 정보, 그리고 하단부 지식 그래프에서 추출된 사전 지식.
   • 출력: $\langle$관계, 위치, 심각도$\rangle$ 형태의 트립플 (예: $\langle$측면 스와이프, 오른쪽, 주의$\rangle$).

B. 보조 지식 브랜치 (Auxiliary Knowledge Branch)

• 교통 사고 지식 그래프 (KG) 구축:
  • 미국 NHTSA 의 실제 교통 사고 조사 데이터를 기반으로 4 단계 파이프라인을 통해 통합된 KG 를 구축했습니다.
  • 구조: 16,000 개 이상의 노드와 15 만 개 이상의 에지로 구성되어 있으며, 사고 원인, 결과, 참여자, 차량 상태 등을 포함합니다.
• 지식 임베딩 (KGE):
  • 단순한 ID 기반 임베딩이 아닌, 노드의 속성 (범주형, 수치형) 과 에지의 속성 (Qualifiers) 을 모두 고려한 Literal-aware 임베딩을 수행합니다.
  • FiLM (Feature-wise Linear Modulation): 에지 속성 (Qualifiers) 을 기반으로 메시지 전달을 적응적으로 조절하여, 복잡한 인과 관계를 학습합니다.
  • Transformer 기반 스코어: 헤드 (Head) 노드와 관계 토큰을 결합하여 테일 (Tail) 노드를 예측하는 어텐션 기반 스코어링을 수행합니다.

C. 통합 및 추론

• 다중 모달 퓨전: 시각적 특징 (RGB, 깊이), 시맨틱 특징, 그리고 KGE 를 통해 추출된 사고 사전 지식을 게이트 퓨전 (Gated Fusion) 전략으로 결합하여 강력한 '자차 - 객체' 페어 디스크립터를 생성합니다.
• 심각도 예측: 사고 데이터에서 추출된 심각도 관련 노드 그룹에 어텐션을 주어, 객체가 자차에 미칠 위험의 수준 (정보, 주의, 임박, 중요) 을 예측합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 과제 정의 (TSGG): 자차 중심의 주요 위험 요소와 교통 특화 관계 (Mechanism, Side, Severity) 에 초점을 맞춘 새로운 문제 설정과 이를 위한 Cityscapes 데이터셋의 관계 주석 (Relational Annotations) 을 제공합니다.
2. 사고 데이터 기반 지식 그래프: 기존 일반 상식 지식 그래프가 아닌, 실제 교통 사고 데이터를 구조화하여 KG 로 구축하고, 이를 KGE 를 통해 시각적 추론에 명시적으로 통합한 최초의 연구입니다.
3. 고급 KGE 방법론: 하이퍼-관계 (Hyper-relational) 에지와 다중 속성 노드를 처리할 수 있는 새로운 KGE 파이프라인을 제안하여, 기존 베이스라인 (StarE 등) 을 크게 능가하는 성능을 달성했습니다.
4. ERES 모듈: 주행 경로와 무관한 노이즈를 제거하고 자차 경로 관련 객체만 선별하는 모듈을 도입하여, 위험 인식의 정확도와 효율성을 높였습니다.

4. 실험 결과 (Results)

• 데이터셋: Cityscapes 데이터셋을 기반으로 820 장의 이미지에 대해 직접 관계 주석을 달았습니다.
• 지식 임베딩 (KGE) 성능: 객체 예측, 주체 예측, 트립플 예측 작업에서 기존 모델 (StarE) 대비 H@10 점수가 약 99.8% 에 달할 정도로 압도적인 성능을 보였습니다.
• 위험 우선순위 (Hazards Prioritization): 자차 경로 관련 위험 요소를 얼마나 잘 선별하는지 평가한 결과, 기존 방법 (CFHP) 대비 mAP@K, MRR@K, NDCG@K 모든 지표에서 크게 향상되었습니다 (예: mAP@10 에서 60.97% → 82.90%).
• 장면 그래프 검출 (SGDet): 기존 SGG 모델 (MOTIFS, VCTREE 등) 이 빈번한 관계에 치우쳐 희귀하지만 중요한 관계 (Tail categories) 를 놓치는 반면, HATS 는 R@K 와 mR@K 모두에서 우수한 성능을 보이며 안전에 중요한 상호작용을 정확하게 예측했습니다.
• 애블레이션 연구 (Ablation Study):
  • ERES 제거: 모든 작업에서 R@1 성능이 40% 이상 급감하여, 경로 기반 객체 선별의 필수성을 입증했습니다.
  • KGE 제거: 시각적/기하학적 특징만으로는 유사하지만 의미적으로 다른 상황 (예: 반대 차선 접근 차량 vs 일반 차량) 을 구분하기 어려워 심각도 예측 성능이 떨어졌습니다.
  • Depth 제거: 공간적 모호성을 해결하지 못해 측면 충돌 (Sidewipe) 과 무관한 객체를 구분하는 데 실패했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 시스템이 복잡한 교통 환경에서 **안전 (Safety)**에 초점을 맞춘 상황 인식 능력을 획기적으로 향상시켰습니다.

• 실용성: 단순한 객체 탐지를 넘어, "무엇이 위험한가", "어떻게 위험한가", "얼마나 심각한가"를 구조화된 그래프로 제공하여 운전자에게 직관적인 경고를 줄 수 있습니다.
• 데이터 활용의 혁신: 실제 사고 데이터를 지식 그래프로 변환하여 시각적 모델에 통합함으로써, 모델이 과거의 사고 패턴을 학습하고 미래의 위험을 예측하는 능력을 갖추게 했습니다.
• 미래 전망: 비디오 기반 추론 및 더 강력한 분할 백본으로의 확장을 통해 더 넓은 주행 환경에서의 성능 향상을 목표로 하고 있습니다.

결론적으로, HATS 는 시각적 지각과 도메인 특화 지식 (사고 데이터) 의 융합을 통해 자율주행의 안전성을 높이는 새로운 패러다임을 제시한 연구입니다.