Multi-Context Fusion Transformer for Pedestrian Crossing Intention Prediction in Urban Environments

이 논문은 보행자 행동, 환경, 위치, 차량 운동 등 네 가지 핵심 차원의 다양한 맥락 정보를 점진적 융합 전략과 상호 주의 메커니즘을 통해 통합하는 '다중 맥락 융합 트랜스포머 (MFT)'를 제안하여 도시 환경에서의 보행자 횡단 의도 예측 정확도를 획기적으로 향상시켰음을 보여줍니다.

핵심

이 논문은 자율주행차가 보행자가 길을 건너려는지, 아니면 그냥 지나가려는지를 미리 예측하는 기술을 소개합니다.

기존의 방법들은 마치 "사람의 얼굴만 보고 표정을 읽으려" 하거나, "모든 카메라 화질을 다 분석하려" 해서 너무 무겁고 복잡한 경우가 많았습니다. 하지만 이 연구팀이 제안한 MFT(다중 맥락 융합 트랜스포머) 는 조금 더 똑똑하고 간결한 방식을 사용합니다.

이 기술을 이해하기 쉽게 스마트한 교통 경찰관과 4 가지의 비서에 비유해서 설명해 드릴게요.

---

1. 문제: 왜 예측이 어려울까요?

자율주행차가 보행자를 마주쳤을 때, "이 사람이 지금 차를 보고 건너려 하나?"라고 판단하는 건 매우 어렵습니다.

• 기존 방식의 한계: 과거 방법들은 카메라로 찍힌 모든 영상 데이터 (사람의 옷, 배경, 움직임 등) 를 다 분석하려다 보니 컴퓨터가 너무 바빠지고, 오히려 중요한 신호를 놓치거나 헷갈리는 경우가 많았습니다. 마치 "모든 소리를 다 들으려다 중요한 말만 놓치는" 상황과 비슷합니다.

2. 해결책: MFT 의 4 가지 '비서'

이 연구팀은 복잡한 영상 대신, 4 가지 핵심 정보 (맥락) 만을 정리해서 전달하는 방식을 썼습니다. 마치 4 명의 전문 비서가 교통 경찰관 (AI) 에게 중요한 정보만 요약해서 보고하는 것과 같습니다.

1. 행동 비서 (Pedestrian Behavior): "저 사람은 서 있나? 걷고 있나? 차를 보고 있나? 손을 흔들고 있나?" (사람의 몸짓과 눈빛)
2. 위치 비서 (Localization): "그 사람이 도로 어디에 있나? 횡단보도 바로 앞인가?" (사람의 위치)
3. 차량 비서 (Vehicle Motion): "우리 차는 지금 멈췄나? 천천히 가고 있나?" (자율주행차의 상태)
4. 환경 비서 (Environment): "주변에 횡단보도나 신호등이 있나? 차선이 몇 줄인가?" (도로 상황)

이 4 명의 비서가 각자 가진 정보를 정리해서 AI 에게 전달합니다.

3. 핵심 기술: '회의실'에서 정보를 융합하는 방식

이 4 명의 비서가 정보를 전달할 때, 단순히 "A, B, C, D"라고 나열하는 게 아니라, 두 단계의 회의를 거쳐서 결론을 내립니다.

• 1 단계 회의 (내부 회의): 각 비서끼리 먼저 대화합니다.
  • 예: '행동 비서'가 "사람이 차를 보고 있어요"라고 말하면, '위치 비서'는 "아, 횡단보도 바로 앞이네요"라고 맞장구칩니다. 이렇게 각 정보끼리 서로의 의미를 보완합니다.
• 2 단계 회의 (글로벌 회의): 모든 비서가 모여서 '최고 지휘관 (CLS 토큰)'에게 최종 보고를 합니다.
  • 이때 지휘관은 "누구의 말이 가장 중요한가?"를 판단합니다. 예를 들어, 횡단보도 앞 (환경) 에서 사람이 차를 보고 (행동) 있으면, 지휘관은 "이건 무조건 건너는 거야!"라고 확신하게 됩니다.

이 과정이 트랜스포머 (Transformer) 라는 AI 기술을 통해 매우 빠르고 정확하게 이루어집니다.

4. 왜 이 방법이 더 좋은가요? (성과)

• 정확도: 실험 결과, 이 방식은 기존 최고의 기술들보다 더 정확하게 보행자의 의도를 예측했습니다. (JAAD 데이터셋에서 93% 의 정확도 달성!)
• 가벼움: 복잡한 영상 데이터를 다 분석하는 대신, 핵심 정보만 쓰므로 컴퓨터가 훨씬 가볍고 빠릅니다. 마치 "두꺼운 백과사전 전체를 읽는 대신, 요약된 메모 한 장만 보고 결정하는" 것과 같습니다.
• 예측 시간: 12 초 앞뿐만 아니라, 23 초 앞의 상황에서도 다른 방법들보다 더 잘 예측했습니다. (미래를 더 멀리 내다볼 수 있다는 뜻입니다.)

5. 한 줄 요약

이 논문은 **"복잡한 영상 분석 대신, 4 가지 핵심 정보 (행동, 위치, 차량, 환경) 를 모아서 서로 대화하게 하고, AI 가 이를 종합해 보행자의 의도를 정확하고 빠르게 예측하는 새로운 방법"**을 제시했습니다.

이 기술이 상용화되면, 자율주행차가 보행자를 더 안전하게 보호하고, 불필요하게 멈추는 일 없이 더 매끄럽게 주행할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

자율주행차 (AV) 가 도시 환경에서 보행자 안전을 확보하고 교통사고를 줄이기 위해서는 보행자의 횡단 의도를 정확하게 예측하는 것이 필수적입니다. 그러나 기존 연구들은 다음과 같은 한계점을 가지고 있습니다:

• 복잡한 환경적 요인: 보행자의 행동은 도로 구조, 교통 신호, 주변 차량 등 다양한 환경적 요인에 의해 영향을 받으며, 이는 예측을 어렵게 만듭니다.
• 기존 방법의 한계:
  • 단일 모달리티 (Unimodal): 보행자의 외형 (이미지) 이나 골격 (Pose) 만을 사용하는 방법은 외부 맥락을 고려하지 못해 정확도가 낮습니다.
  • 원시 데이터 기반 엔드 - 투 - 엔드 (End-to-End): RGB 이미지나 시맨틱 맵 같은 고차원 원시 데이터를 직접 학습하는 방식은 계산 비용이 크고, 과적합 (Overfitting) 에 취약하며, 노이즈가 많은 실제 환경에서 성능이 저하될 수 있습니다. 또한, 학습된 특징의 해석 가능성 (Interpretability) 이 낮습니다.
  • 불완전한 맥락 모델링: 기존 다중 모달리티 연구들은 보행자 행동, 차량 상태, 환경 정보 등을 모두 통합적으로 고려하지 못하거나, 전통적인 머신러닝 기법을 사용하여 복잡한 상호작용을 포착하지 못했습니다.

2. 제안된 방법론 (Methodology: MFT)

저자들은 **다중 컨텍스트 퓨전 트랜스포머 (MFT, Multi-Context Fusion Transformer)**를 제안했습니다. 이 모델은 원시 데이터 대신 **의미가 명확한 수치적 컨텍스트 속성 (Semantic Numerical Attributes)**을 활용하여 4 가지 핵심 차원의 정보를 통합합니다.

2.1 입력 표현 (Input Representation)

보행자 행동, 환경, 위치, 차량 운동을 4 가지 컨텍스트로 정의하고 이를 수치화합니다:

1. 보행자 행동 컨텍스트 (P): 운동 상태, 시선, 머리 끄덕임, 손짓, 이동 방향 등.
2. 보행자 위치 컨텍스트 (L): 이미지 내 보행자의 바운딩 박스 좌표 (상단 - 좌, 하단 - 우).
3. 차량 운동 컨텍스트 (V): 자차의 속도 및 가속/감속 상태.
4. 환경 컨텍스트 (E): 차선 수, 교차로 유무, 횡단보도 존재 여부, 신호등 상태, 도로 유형 등.

2.2 점진적 퓨전 전략 (Progressive Fusion Strategy)

MFT 는 4 단계의 어텐션 메커니즘을 통해 정보를 계층적으로 융합합니다:

1. ** intra-Context Fusion (ICF):** 각 컨텍스트 내부에서 시계열 의존성을 포착합니다.
   • 상호 intra-Context 어텐션 (MI-Attn): 컨텍스트 토큰과 특징 시퀀스 간의 양방향 상호작용을 통해 컨텍스트별 특징을 통합합니다.
2. Cross-Context Fusion (CCF): 서로 다른 컨텍스트 간의 상호작용을 초기 단계에서 수행합니다.
   • 상호 Cross-Context 어텐션 (MC-Attn): 모든 컨텍스트 토큰과 글로벌 CLS 토큰 간의 양방향 어텐션을 통해 초기 다중 컨텍스트 표현을 생성합니다.
3. Intra-Context Refinement (ICR): 각 컨텍스트 토큰을 정제합니다.
   • 지시형 intra-Context 어텐션 (GI-Attn): 컨텍스트 토큰이 해당 시퀀스의 특징을 **지시적 (Directed)**으로 집계하여 토큰을 정제합니다.
4. Cross-Context Refinement (CCR): 최종 글로벌 표현을 생성합니다.
   • 지시형 Cross-Context 어텐션 (GC-Attn): 글로벌 CLS 토큰이 정제된 각 컨텍스트 토큰에서 선택적으로 정보를 수집하여 최종 보행자 의도를 예측합니다.

3. 주요 기여 (Key Contributions)

1. 경량화 및 해석 가능한 프레임워크: 고차원 원시 모달리티 대신 의미론적으로 명시적인 수치적 컨텍스트 속성을 사용하여 경량화되고 확장 가능한 트랜스포머 기반 퓨전 프레임워크를 제안했습니다.
2. 고급 퓨전 메커니즘: 상호 어텐션 (Bidirectional) 과 지시형 어텐션 (Directed) 을 결합한 점진적 퓨전 전략을 설계하여, 컨텍스트별 특징 통합과 다중 컨텍스트 간 선택적 정보 집합을 효율적으로 수행합니다.
3. 광범위한 실험 검증: JAADbeh, JAADall, PIE 데이터셋에서 SOTA(State-of-the-Art) 방법들을 능가하는 성능을 입증하고, 다양한 컨텍스트 조합의 중요성을 애블레이션 (Ablation) 연구를 통해 규명했습니다.

4. 실험 결과 (Results)

JAAD 및 PIE 데이터셋을 활용한 실험 결과는 다음과 같습니다:

• 성능 (Accuracy):
  • JAADbeh: 73% (2 번째로 좋은 방법 대비 2% 향상)
  • JAADall: 93% (2 번째로 좋은 방법 대비 1% 향상)
  • PIE: 90% (3 위 기록, 하지만 AUC 는 94% 로 1 위)
• 계산 비용:
  • 파라미터 수: 0.95 백만 개 (비교 대상 중 가장 작음)
  • 모델 크기: 9.40 MB
  • 추론 시간: 23.20 ms (실시간 처리 가능)
• 애블레이션 연구:
  • 4 가지 컨텍스트 (P, L, V, E) 를 모두 사용할 때 최적의 성능을 보이며, 하나라도 제거할 경우 성능이 유의미하게 저하됨을 확인했습니다.
  • 제안된 GC-Attn 메커니즘이 평균 풀링이나 기존 어텐션 기법보다 우월함을 입증했습니다.
• 장기 예측 (Long Horizon): 예측 시간을 1-2 초에서 2-3 초로 늘렸을 때, 원시 데이터 기반 모델들보다 MFT 가 더 큰 성능 저하를 보이며 더 강력한 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 자율주행차의 보행자 안전을 위해 고비용의 원시 데이터 처리 대신, 의미론적으로 명확하고 경량화된 컨텍스트 정보의 통합이 더 효과적임을 증명했습니다.

• 효율성: 적은 파라미터와 빠른 추론 속도로 실제 차량 배포에 적합합니다.
• 강건성: 노이즈가 있거나 불완전한 입력 환경에서도 명시적인 컨텍스트 속성을 통해 안정적인 예측이 가능합니다.
• 해석 가능성: 어텐션 맵 시각화를 통해 모델이 어떤 컨텍스트 (예: 횡단보도 유무, 보행자의 시선 등) 에 집중하여 예측을 내렸는지 이해할 수 있습니다.

향후 연구에서는 모델의 경량화를 더 발전시키고, 실제 도로 환경 및 다양한 문화적 배경에서의 적용성을 검증하며, 단순한 '횡단/비횡단' 이진 분류를 넘어 '즉시 횡단', '주저하는 횡단' 등 더 세분화된 의도 예측으로 확장할 계획입니다.