기술 요약: 조건부 궤적 예측 (CiT)에 대한 논의

문제 정의

본 논문은 자율 주행과 같은 인간 - 로봇 상호작용 시스템에서 주변 에이전트의 미래 궤적을 예측하는 과제를 다룹니다. 기존 궤적 예측 방법들은 사회적 상호작용을 모델링하지만, 저자들은 현재 최첨단 접근법에서 세 가지 중요한 한계를 확인했습니다:

1. 자가 에이전트 운동의 간과: 대부분의 방법은 자가 에이전트 (ego-agent) 의 자체 운동을 포함하지 않아, 의사결정 및 운동 계획이 주변 에이전트가 자가 에이전트의 잠재적 행동에 어떻게 반응할지 예측하는 데 의존하는 로봇 시스템에 직접 적용하는 것을 방해합니다.
2. 정적 상호작용 모델링: 기존 모델들은 종종 시간에 따라 사회적 상호작용을 동적으로 모델링하지 못합니다. 서로 다른 시간 영역에서 타인과 상호작용함에 따라 에이전트의 의도가 어떻게 진화하는지를 공동으로 분석하지 못합니다.
3. 균일한 영향력 모델링: 많은 방법들은 다양한 에이전트가 목표 에이전트의 궤적에 미치는 영향의 정도를 학습하기보다, 주변 에이전트들의 특징을 동등하게 취급합니다 (예: 단순 연결을 통한).

목표는 주변 에이전트의 과거 궤적 ($X$) 과 자가 에이전트의 미래 운동 계획 ($L$) 에 조건부 (conditioned) 로 주변 에이전트의 미래 궤적 ($Y$) 의 사후 분포를 예측하는 방법을 개발하는 것입니다.

방법론: 교차 시간 영역 의도 상호작용 방법 (CiT)

제안된 CiT 프레임워크는 사회적 상호작용을 모델링하기 위해 자가 에이전트의 잠재적 운동을 통합하고, 시간에 따라 진화하는 의도를 포착합니다. 아키텍처는 네 가지 핵심 모듈로 구성됩니다:

1. 의도 그래프 구성

모델은 1D-CNN 을 followed by LSTM 을 사용하여 목표 에이전트, 이웃 에이전트, 그리고 자가 에이전트의 과거 궤적을 인코딩합니다. 공간적 상호작용을 포착하기 위해, 두 가지 다른 "의도 그래프"를 사회적 텐서에 매핑하여 구성합니다:

• 현재 시간 영역 의도 그래프 ($V_c$): 과거 궤적과 이웃 에이전트와의 상호작용을 기반으로 목표 에이전트의 현재 의도를 추론합니다.
• 미래 시간 영역 의도 그래프 ($V_f$): 자가 에이전트의 미래 운동 계획 (잠재적 운동) 을 통합하여 자가 에이전트와 목표 에이전트 간의 미래 사회적 상호작용을 모델링함으로써 목표 에이전트의 미래 의도를 예측합니다.

2. 상호작용 교차 영역 (ICD) 모듈

단일 시간 영역의 의도는 부분적임을 인식하여, 이 모듈은 시간 영역 간 공동 분석을 수행합니다. 한 시간 영역의 의도 그래프를 다른 영역의 Query 로 사용하는 교차 어텐션 메커니즘을 채택하며, 상대방의 Key 와 Value 를 활용하여 자신의 의도 표현을 수정하고 정제합니다. 이를 통해 서로 다른 시간 영역, 에이전트, 그리고 공간적 스케일 간에 정보의 상호 보완 및 통합이 가능해집니다.

3. 의도 영향력 평가 (IIE) 모듈

에이전트 간 영향력의 정도가 다양함을 해결하기 위해, 이 모듈은 두 시간 영역 모두에서 사회적 정보의 중요도를 추정합니다. 완전 연결 레이어와 소프트맥스 레이어를 통해 가중치 ($\beta_1, \beta_2$) 를 생성하여 현재 및 미래 시간 영역의 사회적 맥락을 우선시합니다. 이러한 가중치는 저수준 의도 그래프 (심층 교차 영역 융합 전) 에 적용되어 "원래" 의도를 보존하면서 정제하고, 과도한 수정을 방지합니다.

4. 의도 융합 디코더

정제된 의도 표현은 완전 합성곱 네트워크 (FCN) 를 사용하여 공간적 특징과 융합됩니다. 인간 행동의 다중 모달리티를 처리하기 위해, 모델은 6 개의 사전 정의된 기동 카테고리 (예: 차선 유지, 차선 변경, 제동) 에 대한 분포를 예측합니다. 최종 출력은 각 기동 클래스에 대해 이변량 가우시안 분포로 모델링된 미래 궤적 집합이며, 해당 기동의 확률로 가중치가 부여됩니다.

주요 차이점: 자가 에이전트의 정확한 미래 궤적이 필요한 이전의 조건부 예측 방법과 달리, CiT 는 대략적인 잠재적 운동 (예: 방향 지시등이나 차선 위치에서 추론된 거친 궤적) 만을 요구하므로, 비자율 또는 초기 단계 계획 시나리오에 더 강력하고 적용 가능합니다.

주요 기여

1. CiT 프레임워크: 미래 운동 통합, 이중 의도 그래프 구성, 교차 영역 상호작용 모델링, 그리고 우선순위 의도 영향력 평가를 포함한 네 가지 설계로 구성된 새로운 방법.
2. 로봇 통합: 후보 자가 에이전트 운동에 기반한 선택적 예측을 생성함으로써 궤적 예측을 로봇 시스템에 통합하기 위한 고가치 인터페이스를 제공하며, 하류 의사결정 및 운동 계획을 직접 지원합니다.
3. 최첨단 성능: 광범위한 실험을 통해 CiT 가 실제 세계 데이터셋에서 기존 방법들을 능가함을 입증했습니다.

실험 결과

저자들은 CiT 를 NGSIM 및 HighD라는 두 개의 공개 데이터셋에서 평가했습니다. 이 작업은 3 초 (15 프레임) 의 과거 데이터와 자가 에이전트의 운동을 기반으로 5 초 (25 프레임) 의 미래 궤적을 예측하는 것이었습니다.

• 지표: 성능은 평균 제곱근 오차 (RMSE) 와 음의 로그 가능도 (NLL) 를 사용하여 측정되었습니다.
• NGSIM 데이터셋: CiT 는 평균 RMSE 1.67 및 NLL 3.66을 달성하여 이전 최선 (BAT) 대비 RMSE 에서 4.02%, NLL 에서 5.18% 개선되었습니다.
• HighD 데이터셋: CiT 는 평균 RMSE 1.06 및 NLL 2.89를 달성하여 이전 최선 (C2F-TP) 대비 RMSE 에서 7.02%, NLL 에서 4.93% 개선되었습니다.
• Ablation 연구: 각 구성 요소 (ICD, IIE, 그리고 거친 자가 운동 사용) 가 성능 향상에 기여했음이 확인되었습니다. 구체적으로, 교차 영역 상호작용 및 영향력 평가 모듈은 잘못 예측된 동기를 수정하고 상호작용 모델링을 정제하는 데 결정적인 것으로 나타났습니다.
• 정성적 분석: 시각화 결과, CiT 는 PiP 와 같은 다른 방법들이 포착하지 못한 운동 동기의 오인식 (예: 차선 변경 완료 후 직진 경로 예측) 을 수정할 수 있음을 보여주었습니다.

중요성 및 주장

본 논문은 CiT 가 궤적 예측과 로봇 운동 계획 간의 간극을 메움으로써 해당 분야를 크게 진전시켰다고 주장합니다. 자가 에이전트의 잠재적 운동을 통합하고 시간 영역 전반에 걸친 동적 사회적 상호작용을 모델링함으로써, 이 방법은 더 정보에 입각한 의사결정을 가능하게 합니다. 저자들은 "대략적인" 자가 운동 입력만으로 작동할 수 있는 능력이 시스템의 견고성을 크게 높여, 정밀한 미래 계획이 아직 결정되지 않은 실제 세계 배포에 적합하다고 강조합니다. 이 방법은 최첨단 성능을 달성하면서도 실행 전 다양한 자가 에이전트 궤적 후보의 안전성과 효율성을 평가할 수 있는 메커니즘을 제공합니다.