🤖 AI

A Unified Framework for Trajectory Prediction with Explicit Planning and Reaction Decomposition

본 논문은 사회적 영향력을 참조 궤적을 생성하기 위한 계획 단계와 국소적 조정을 위한 반응 단계로 분해하는 통합 궤적 예측 프레임워크인 INTraJ를 제안하며, 단계별 사회적 모델링의 결정적인 역할을 입증함으로써 여러 벤치마크에서 최첨단 성능을 달성한다.

원저자: Jiaheng Chen, Jiaxing Li, Tinghe Zhang, Chaopeng Guo

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaheng Chen, Jiaxing Li, Tinghe Zhang, Chaopeng Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구가 5분 뒤에 어디에 있을지 예측하려고 한다고 상상해 보세요. 만약 지금 친구가 걷고 있는 방향만 본다면, 그 친구가 계속 직진할 것이라고 추측할 것입니다. 하지만 만약 개 한 마리가 친구를 향해 달려오는 것을 보거나, 친구들이 손을 흔드는 무리를 보게 된다면, 당신의 추측은 바뀔 것입니다. 당신은 개 때문에 친구가 멈출 수도 있고, 친구들 때문에 친구가 방향을 틀 수도 있다고 예상하게 됩니다. 이것이 바로 고속도로 위의 자동차나 북적이는 광장의 사람들처럼 움직이는 물체의 미래 경로를 추측하려는 컴퓨터 과학 분야인 **궤적 예측(trajectory prediction)**의 핵심입니다. 이것은 단순히 수학에 관한 것이 아닙니다. 하나의 움직이는 물체가 다른 물체에 어떻게 반응하는지를 이해하는 것에 관한 것입니다. 자율주행 자동차가 안전하게 주행하기 위해서는 단순히 세상을 무시하는 로봇처럼 운전하는 것이 아니라, 다른 운전자와 보행자가 어떻게 움직일지, 그리고 그 움직임이 자신의 경로를 어떻게 변화시킬지에 대해 "생각"해야 합니다. 지금까지의 큰 과제는 너무 많은 세부 사항 때문에 혼란에 빠지지 않으면서, 컴퓨터에게 이러한 방식의 사회적 사고를 하는 법을 어떻게 가르칠 것인가였습니다.

이때 연구자들이 제안한 새로운 프레임워크인 INTraJ가 등장합니다. 이들은 우리가 이 문제를 잘못된 방식으로 바라보고 있었다고 제안합니다. 전체 미래 경로를 한 번에 거대하고 무질서한 뇌의 폭발처럼 예측하려고 하는 대신, INTraJ는 과정을 **계획(Planning)**과 **반응(Reaction)**이라는 두 가지 뚜렷한 단계로 나누어야 한다고 제안합니다. 이것은 마치 자동차 여행을 계획하는 것과 같습니다. 먼저 지도를 보고 일반적인 경로를 결정합니다("계획"). 당신은 도시 A에서 도시 B로 가야 한다는 것을 알고 있으며, 큰 정체가 어디서 발생할지 교통 보고를 확인했습니다. 이것이 당신의 "사회화된 계획"입니다. 하지만 실제로 운전을 시작하면, 지도를 맹목적으로 따르기만 할 수는 없습니다. 만약 다람쥐 한 마리가 차 앞으로 튀어나온다면, 당신은 핸들을 꺾습니다. 만약 공사 팀이 차선을 막고 있다면, 당신은 차선을 변경합니다. 이것들이 바로 당신의 "반응"입니다.

논문은 대부분의 기존 컴퓨터 모델이 지도 읽기와 핸들 꺾기를 동시에 수행하려고 하며, 이로 인해 결과가 무질서해지고 오류가 발생하기 쉽다고 주장합니다. INTraJ는 이 둘을 분리함으로써 이 문제를 해결합니다. 이 모델은 먼저 "사회화된 의도(Socialized Intent)"를 구축합니다. 이는 에이전트(자동차나 사람 등)가 다른 모든 이들의 미래 움직임을 미리 생각했을 때 취하게 될 매끄럽고 이상적인 경로입니다. 그런 다음, 계획대로 되지 않을 때 필요한 빠르고 국소적인 조정을 처리하는 "반응" 레이어를 그 위에 추가합니다.

연구진은 실제 주행 데이터(Argoverse 2)와 군중 이동 데이터(도시를 걷는 사람들 등)를 포함한 네 가지 데이터셋을 통해 이 아이디어를 테스트했습니다. 그들은 "계획 후 반응" 방식으로 과정을 나눔으로써 컴퓨터가 훨씬 더 나은 예측을 한다는 것을 발견했습니다. 구체적으로, 최종 예측은 더 정확해졌으며, 특히 장기적인 추측(예: 1초 뒤가 아닌 5초 뒤에 어디에 있을지)에서 더욱 그러했습니다. 북적이는 도시 데이터셋에서, 이 새로운 방식은 최종 예측 오차를 크게 줄였는데, 한 데이터셋에서는 평균 오차를 9.87 픽셀까지 낮추었고, 다른 데이터셋에서는 장기 정확도를 12% 이상 향상시켰습니다. 더욱 인상적인 점은, 이 "두 단계" 접근 방식이 컴퓨터가 여러 대의 자동차를 동시에 예측하든, 혹은 군중 속의 단 한 명의 사람을 예측하든 상관없이 똑같이 잘 작동했다는 것입니다.

이 논문은 사회적 영향력이 한꺼번에 처리되어야 하는 단일하고 엉킨 정보의 그물망이라는 생각을 명시적으로 부정합니다. 대신, 사회적 영향력은 서로 다른 시점에 서로 다른 역할을 한다고 제안합니다. 즉, 첫째로 사회적 영향은 큰 그림의 계획을 형성하고, 둘째로 빠른 국소적 수정을 유발한다는 것입니다. 저자들은 이 방법이 여러 가지 서로 다른 컴퓨터 "백본(backbone, 수학적 계산을 수행하는 기반 엔진)"에서도 일관된 개선을 보였기 때문에 이 결과에 확신을 가지고 있습니다. 그들은 또한 이 방법이 견고하다는 것을 보여주었습니다. 즉, 컴퓨터가 다른 사람들에 대해 내린 예측이 약간 틀리더라도(예를 들어, 어떤 차가 좌회전할 것이라고 생각했는데 실제로는 직진하는 경우), INTraJ 시스템은 멈추지 않습니다. 시스템은 자신의 계획을 무너뜨리지 않고 우아하게 조정하며 그 실수를 처리합니다.

요약하자면, INTraJ는 컴퓨터에게 행동하기 전에 미리 생각하는 법을 가르침으로써 더 나은 "사회화"를 할 수 있도록 가르칩니다. 이것은 마치 학생에게 "시험 문제를 마주할 때마다 즉각적으로 반응하지 말고, 먼저 시험지 전체를 읽고 계획을 세운 다음 까다로운 부분들을 해결하라"고 말하는 것과 같습니다. 큰 그림과 작은 세부 사항을 분리함으로써, 연구진은 궤적 예측을 더 매끄럽고, 안전하며, 신뢰할 수 있게 만드는 방법을 찾아냈습니다. 이는 자율주행과 군중 분석의 미래를 위한 길을 열어줍니다.

기술 요약: 명시적 계획 및 반응 분해를 통한 궤적 예측을 위한 통합 프레임워크

문제 정의
궤적 예측은 장면 내 에이전트의 미래 움직임을 추정하는 작업으로, 자율 주행 및 군중 분석에 있어 매우 중요한 과제이다. 최근의 방법론들은 개별적인 성향, 장면 제약, 사회적 상호작용을 공유된 잠재 공간(latent space)에 인코딩하는 결합된 정식화를 통해 예측 능력을 향상시켜 왔으나, 이러한 접근 방식은 서로 다른 출처와 시간 척도에서 발생하는 사회적 효과를 뒤섞어 놓는 경향이 있다. 이러한 얽힘은 모델의 복잡성을 증가시키고 허위 상관관계가 있는 이웃 패턴에 대한 취약성을 높인다. 더욱이, 기존의 구조화된 방법들은 사회적 영향력을 궤적 형성 과정의 단일한 구성 요소로 취급하며, 궤적 형성에 있어 사회적 영향력이 갖는 구체적인 기능적 역할을 구분하지 못한다. 구체적으로, 현재의 모델들은 에이전트가 국부적인 반응적 조정을 실행하기 전에 타인의 미래 행동을 예측하는 과정인 "사회적으로 형성된 계획(socially shaped planning)"을 명시적으로 표현하는 경우가 드물다.

방법론: INTraJ 프레임워크
저자들은 INTraJ를 제안하며, 이는 궤적 예측을 계획(Planning) 후 **반응(Reaction)**으로 이어지는 의도 기반의 2단계 과정으로 재정의한다. 이 접근 방식은 사회적 영향을 공동으로 모델링하는 대신, 이를 두 개의 별개 단계로 명시적으로 분해한다.

핵심 분해 (Plan-React 모듈):
- 계획 단계 (Planning Stage): 모델은 대상 에이전트의 이력과 국부적 문맥으로부터 "순수 의도"( $I_{pure}$ )를 추출한다. 이 시드(seed)는 주변 에이전트로부터 유도된 "미래 사회적 캐리어(future social carrier)"( $z$ )를 사용하여 업데이트되어 "사회화된 의도"( $I_{social}$ )를 생성한다. 디코더는 이를 계획 수준의 참조 궤적( $T_{ideal}$ )으로 변환하며, 이는 에이전트의 미래 사회적 행동을 예측한 후의 전반적인 통과 계획을 나타낸다.
- 반응 단계 (Reaction Stage): 모델은 즉각적인 상호작용을 포착하기 위해 백본의 전체 문맥 예측( $T_{full}$ )을 유지한다. 전체 예측과 계획 참조 사이의 차이( $S_{high} = T_{full} - T_{ideal}$ )는 국부적인 반응적 조정(예: 충돌 회피, 속도 변화)을 근사한다.
- 융합 (Fusion): 학습 가능한 게이팅 메커즘( $\alpha$ )이 이러한 반응적 조정을 최종 궤적에 주입하는 정도를 제어한다: $T_{final} = T_{ideal} + \alpha \cdot S_{high}$ . 이를 통해 모델은 전역적인 계획 추세와 국부적인 상호작용 응답 사이의 균형을 동적으로 맞출 수 있다.
패러다임 전반의 통합 구현:
INTraJ는 순수 의도와 사회적 캐리어를 구축하는 방식만 다를 뿐, 두 가지 구별된 예측 패러다임 하에서 구현된다.
- 다중 타겟 패러다임 (Multi-Target Paradigm): QCNet과 같은 백본과 함께 사용된다. 순수 의도는 초점 에이전트의 이력에서 추출된다. 미래 사회적 캐리어는 비초점 에이전트들의 명시적인 예측 미래( $P_{others}$ )로부터 구성되며, 이는 교차 주의(cross-attention)를 통해 인코딩되고 융합되어 계획 시드를 업데이트한다.
- 단일 타겟 패러다임 (Single-Target Paradigm): DeMo와 같은 백본과 함께 사용된다. 비초점 에이전트의 명시적 미래를 직접 사용할 수 없으므로, 프레임워크는 "타인 마스킹(mask others)" 브랜치(에고 전용)를 통해 순수 의도를 구축하고, "정적 자기(static self)" 브랜치를 통해 사회적 캐리어를 구축한다. 정적 자기 브랜치에서는 에고의 움직임을 정지 상태로 설정하여, 모델이 반사실적 조건(counterfactual condition) 하에서 주변 에이전트의 잠재적 사회적 반응을 인코딩할 수 있도록 한다. 이 잠재적 반응은 계획 표현으로 주입된다.
학습 목적 함수 (Training Objectives):
프레임워크는 다음을 포함하는 결합 손실 함수로 학습된다:
- 예측 손실 ( $L_{pred}$ ): 최종 출력 궤적에 대한 표준 손실.
- 계획 참조 손실 ( $L_{ref}$ ): 부드러운 움직임 계획을 강제하기 위해 지면 진실(ground-truth) 궤적의 평활화된 버전을 사용하여 $T_{ideal}$ 브랜치를 감독한다.
- 보조 정규화 ( $L_{aux}$ ): 학습 초기 단계에서 모델이 균일하게 높은 값으로 붕괴(즉, 분해를 무시함)되는 것을 방지하기 위해 게이팅 가중치 $\alpha$ 에 적용되는 분산 기반 정규화 항이다.

주요 기여

계층적 사회적 모델링: 본 논문은 사회적 영향을 계획 단계(사회적으로 형성된 전역 경로)와 반응 단계(국부적 조정)로 분해하는 관점을 도입하여, 궤적 형성을 순차적인 과정으로 정식화한다.
통합 프레임워크: INTraJ는 사회적 캐리어의 구축 방식을 백본 아키텍처에 맞게 조정함으로써, 다중 타겟 및 단일 타겟 예측 패러다임을 모두 지원하는 단일 정식화를 제공한다.
일반화 가능성: 방법론은 자율 주행(Argoverse 2) 및 순수 군중 예측(ETH/UCY, SDD) 시나리오 전반에서 일관된 성능 향상을 입증하여, 계층적 사회적 상호작용 모델링이 다양한 상호작용 환경에 걸쳐 일반화될 수 있음을 보여준다.

실험 결과
네 가지 벤치마크(Argoverse 2 (AV2), Argoverse 2-ped, ETH/UCY, SDD)에 대해 광범 한 실험이 수행되었다.

군중 벤치마크: ETH/UCY 및 SDD에서 INTraJ를 Resonance 백본과 결합했을 때 최첨단(SOTA) 성능을 달로했다. 특히, SDD에서의 최종 변위 오차(FDE)를 기존 방법들의 10 이상에서 9.87로 줄였으며, ETH/UCY에서 전체적으로 7.2%의 FDE 개선을 보였고, 장기 호리즌(long-horizon) 하위 집합에서는 12.2%의 이득을 얻었다.
자율 주행: AV2에서 INTraJ는 QCNet(다중 타겟)과 DeMo(단일 타겟) 백본 모두의 성능을 향상시켰다. 예를 들어, DeMo에서 minFDE6 1.17, minADE6 0.61을 달성했다.
절제 연구 (Ablation Studies): 실험 결과 계획 단계와 반응 단계가 모두 필요함을 확인했다. 어느 한 단계를 제거하거나 게이팅 메커니즘을 제거하면 성능이 저하되었다. 이러한 이득은 단순한 파라미터 스태킹이 아닌 구조적 분해 덕분이었다.
강건성: 프레임워크는 주변 에이전트의 예측이 불완전하더라도, 미래 사회적 캐리어에 가우시안 노이즈를 주입했을 때 성능을 유지하며 높은 내성을 보였다.
효율성: 베이스라인인 QCNet과 비교했을 때, INTraJ는 적절한 계산 오버헤드를 도입했지만(파라미터 7.66M에서 8.46M으로 증가, 지연 시간 37.94ms에서 44.64ms로 증가), SmartRefine과 같은 다른 플러그인 정밀화 방법들을 능가하는 성능을 보였다.

의의 및 주장
본 논문은 INTraJ가 궤적 예측을 단일한 회귀 작업에서 계획 중심의 2단계 과정으로 재구성한다고 주장한다. 사회적으로 형성된 이상적인 궤적의 구축과 국부적인 반응적 조정의 회복을 명시적으로 분리함으로써, 이 프레임워크는 사회적 효과를 뒤섞는 결합된 정식화의 한계를 해결한다. 저자들은 이러한 단계적 사회 모델링이 안정적이고 일관되며 장기적으로 일관된 예측을 생성하는 데 핵심적이라고 상정한다. 실험 결과는 사회적 영향을 계획과 반응으로 분해하는 것이 다양한 다중 에이전트 시나리오에서 궤적 예측을 위한 효과적이고 일반화 가능한 패러다임을 제공한다는 점을 입증한다.

유사한 논문