Traffic-Aware Pedestrian Intention Prediction

당신이 친구가 다음에 무엇을 할지 추측하려고 한다고 상상해 보세요. 그들이 손을 흔들어 인사할까요, 아니면 번화한 도로를 가로질러 질주할 예정일까요? 좋은 추측을 하기 위해서, 당신은 단순히 친구의 다리만 보는 것이 아니라 전체적인 그림을 봅니다. 교통 신호가 빨간불인지 초록불인지 확인하고, 그들이 연석에서 얼마나 가까이 있는지 살피며, 차 한 대가 그들을 향해 속도를 내며 달려오고 있는지도 알아차립니다. 이것이 바로 "보행자 의도 예측(pedestrian intention prediction)"이라는 분야의 핵심입니다. 이 분야는 컴퓨터, 구체적으로는 자율 주행 자동차에게 인간의 행동을 이해하도록 가르치는 데 전념하는 과학의 한 갈래입니다. 목표는 단순하지만 생명을 구하는 일입니다. 만약 자동차가 사람이 길을 건널 의도가 있다는 것을 예측할 수 있다면, 사고가 발생하기 전에 속도를 줄이거나 멈출 수 있기 때문입니다. 수년 동안 컴퓨터는 사람의 움직임을 관찰하며 이를 배우려고 노력해 왔지만, 교통 신호나 실제 도시 거리의 복잡하고 역동적인 맥락과 같은 가장 중요한 단서들을 놓치는 경우가 많았습니다.

이 논문은 컴퓨터가 이러한 단서들을 읽어내는 더 똑똑한 새로운 방법을 소개합니다. 연구자들인 파히메 오르바티 니아(Fahimeh Orvati Nia)와 하이 린(Hai Lin)은 TA-STGCN(Traffic-Aware Spatio-Temporal Graph Convolutional Network, 교통 인지 시공간 그래프 합성곱 신경망)이라고 불리는 모델을 구축했습니다. 이 모델을 단순히 사람을 지켜보는 것이 아니라, 사람과 교통 신호, 그리고 자동차를 동시에 관찰하며 이들이 시간이 흐름에 따라 어떻게 서로 소통하는지를 이해하는 초정밀 관찰력을 가진 탐정이라고 생각하면 됩니다.

문제점: 큰 그림을 놓치는 컴퓨터

오랫동안 보행자의 행동을 예측하려는 컴퓨터들은 마치 교과서만 공부하고 결코 밖으로 나가본 적이 없는 학생과 같았습니다. 초기 방법들은 사람이 어디에 있고 얼마나 빠르게 움직이는지를 추적하는 단순한 수학에 의존했습니다. 이후 딥러닝 모델(CNN이나 LSTM 등)은 영상 속 패턴을 포착하는 능력이 좋아졌지만, 여전히 "장면(scene)"을 무시하는 경우가 많았습니다. 그들은 사람이 길을 향해 걸어가는 것은 볼 수 있었지만, 현재 교통 신호가 빨간불이라거나 그 사람이 횡단보도 바로 옆에 서 있다는 사실은 반드시 알아차리지 못했습니다.

저자들은 이것이 큰 실수라고 주장합니다. 현실 세계에서 보행자의 횡단 결정은 주변 환경에 의해 크게 영향을 받기 때문입니다. 자동차용 신호가 초록불이면 보행자는 보통 기다립니다. 반대로 자동차용 신호가 빨간불(보행자에게는 초록불)이 되면, 그들은 발을 내디딜 수 있습니다. 기존 모델들은 이러한 역동적인 신호를 놓치는 경우가 많았고, 이로 인해 예측이 너무 늦거나 아예 틀리는 결과를 낳았습니다.

해결책: 교통 신호 지도를 가진 탐정

팀의 해결책인 TA-STGCN은 거리의 장면을 모든 조각이 연결된 거대하고 살아있는 퍼즐처럼 취급하여 이 문제를 해결하도록 설계되었습니다. 그들은 "시공간 그래프(Spatio-Temporal Graph)"를 사용하는데, 이는 멋진 표현으로, 보행자를 교통 신호, 자동차, 횡단보도와 연결하는 보이지 않는 선을 그리는 것을 의미합니다.

이 모델이 어떻게 작동하는지 간단한 부분으로 나누어 설명하면 다음과 같습니다:

1. 두 가지 정보의 흐름: 모델은 두 가지 방식으로 동시에 장면을 관찰합니다.

   • "어디(Where)" 스트림: 보행자의 정확한 위치와 그들의 "박스"(그들을 둘러싼 디지털 윤곽선) 크기가 어떻게 변하는지를 추적합니다. 만약 박스가 커진다면, 이는 사람이 자동차에 가까워지고 있음을 의미합니다.
   • "무엇(What)" 스트림: 객체들이 무엇인지, 그리고 어떤 상태에 있는지를 봅니다. 결정적으로 여기에는 교통 신호 상태(빨강, 노랑, 초록)가 포함됩니다.

2. 그래프 연결: 보행자와 교통 신호를 연결하는 거미줄을 상상해 보세요. 모델은 특수한 유형의 수학(그래프 합성곱 신경망)을 사용하여 이러한 연결들이 서로 "대화"할 수 있게 합니다. 모델은 "자동차용 초록불"이 보통 "대기"를 의미하고, "자동차용 빨간불"이 "이동"을 의미할 수 있다는 것을 학습합니다.

3. 타임머신: 모델은 단 하나의 스냅샷만 보는 것이 아니라, 짧은 영상 클립(15 프레임, 즉 0.5초)을 관찰합니다. 모델은 LSTM(Long Short-Term Memory)이라는 메모리 유닛을 사용하여 아주 짧은 순간 이전에 무슨 일이 있었는지 기억합니다. 이는 사람이 망설이고 있는지, 아니면 이미 연석에서 발을 떼고 있는지를 이해하는 데 도움을 줍니다.

연구 결과: 더 똑똑한 추측

연구진은 도시에서의 실제 주행 영상 6시간 이상이 담긴 PIE 데이터셋을 사용하여 새로운 탐정을 기존 모델들과 테스트했습니다. 그들은 모델에게 다음 몇 초 안에 보행자가 길을 건널 것인지를 예측하도록 요청했습니다.

결과는 명확했습니다. 새로운 모델이 더 잘 맞혔습니다.

• 정확도(Accuracy): TA-STGCN 모델은 **84.65%**의 확률로 정답을 맞혔습니다. 이는 약 79.00% 수준이었던 이전의 최고 모델들과 비교했을 때 상당한 도약입니다.
• 정밀도 및 재현율(Precision and Recall): 이 모델은 실제로 건널 의도가 있는 사람을 포착하는 능력(재현율 88.03%)이 더 뛰어났으며, 단순히 가만히 서 있는 사람을 보고 잘못 경고하는 경우(정밀도 86.50%)도 적었습니다.
• 궤적(Trajectory): 모델은 사람이 건널 것인지뿐만 아니라, 잠시 후 그들이 어디에 있을지도 이전보다 적은 오차(평균 변위 오차 0.43)로 예측했습니다.

저자들은 교통 신호 정보를 추가하는 것이 핵심이었다는 점을 명시적으로 보여주었습니다. 모델을 교통 신호 데이터가 없는 버전과 비교했을 때, 신호 데이터가 있는 버전이 모든 지표에서 더 나은 성능을 보였습니다. 이는 모델이 단순히 추측하는 것이 아니라, 실제로 교통 신호를 사용하여 더 현명한 결정을 내리고 있다는 것을 증명합니다.

한계점: 여전히 진행 중인 작업

결과는 유망하지만, 논문은 이것이 오늘날 모든 도로 위의 자동차에 바로 적용될 수 있는 완벽하고 완성된 제품이라고 주장하지 않도록 주의를 기울였습니다. 저자들은 몇 가지 중요한 한계점을 지적했습니다:

• "눈"의 문제: 현재 모델은 완벽하게 라벨링된 데이터에 의존합니다. 즉, 누군가가 이미 보행자 주변에 박스를 그리고 교통 신호를 완벽하게 식별했다고 가정합니다. 현실 세계에서 자율 주행 자동차는 자신의 카메라와 센서를 사용하여 이러한 것들을 스스로 찾아내야 합니다. 만약 자동차의 "눈"이 실수를 한다면, TA-STGCN 모델은 혼란을 겪을 수 있습니다.
• 속도: 모델은 똑똑하지만, 또한 다소 무겁습니다. 그래프의 모든 점을 연결하기 위해 많은 수학적 계산을 수행합니다. 이를 자동차 내부의 작은 컴퓨터(임베디드 시스템)에서 실행하면 느려질 수 있습니다. 저자들은 미래의 연구가 모델을 더 빠르고 가볍게 만들어 지연 없이 실시간으로 실행할 수 있도록 해야 한다고 제안합니다.
• 누락된 시나리오: 사용된 데이터는 버스 정류장처럼 사람들이 다르게 행동하는 복잡한 장소 등 모든 가능한 상황을 다루지는 못했습니다. 모델이 이러한 까다로운 지점들을 처리하기 위해서는 더 많은 훈련이 필요할 수 있습니다.

결론

이 논문은 만약 우리가 자율 주행 자동차를 진정으로 안전하게 만들고 싶다면, 보행자를 개별적으로 보는 것을 멈춰야 한다고 시사합니다. 자동차는 교통 신호, 횡단보도, 그리고 도시의 흐름이라는 전체 무대를 이해해야 합니다. 컴퓨터에게 교통 신호에 주의를 기울이도록 가르침으로써, TA-STGCN 모델은 기존의 최선 방식보다 정확도에서 4.75%의 향상을 보여주었습니다. 이는 자율 주행 차량을 단순히 똑똑한 것을 넘어, 맥락을 인지하도록(context-aware) 만들어 보행자가 길을 건널지 결정하는 순간에 올바른 판단을 내릴 수 있도록 돕는 한 단계의 진전입니다.