💻 computer science

Recall to Predict: Grounding Motion Forecasting in Interpretable Motion Bank

이 논문은 물리적으로 실현 가능한 궤적들의 대비 학습된"모션 뱅크"에 예측을 기반함으로써 모션 예측의 해석 가능성과 정확성을 향상시키는 엔드 투 엔드 미분 가능 프레임워크인"Recall to Predict"를 제안하며, 이는 새로운 앵커 검색 계층을 통해 동적으로 검색되고 특수한 디코더에 의해 정제되어 불투명한 잠재 쿼리를 제거하면서도 Argoverse 2 및 Waymo Open Motion 데이터셋에서 경쟁력 있는 다중 모드 성능을 달성합니다.

원저자: Abhishek Vivekanandan, Ahmed Abouelazm, J. Marius Zöllner

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abhishek Vivekanandan, Ahmed Abouelazm, J. Marius Zöllner

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자동차를 운전하는 법을 로봇에게 가르치려 한다고 상상해 보세요. 가장 어려운 부분은 단순히 핸들을 어떻게 조작하는지 아는 것이 아니라, 다른 차량과 보행자가 다음에 무엇을 할지 예측하는 것입니다. 저 차가 왼쪽으로 꺾을까요? 저 보행자가 보도에서 내려설까요?

대부분의 현재 AI 모델들은 이러한 미래 경로를 예측할 때 '완전한 백지' 상태에서 시작하려 합니다. 매번 처음부터 경로를 만들어 내는 것입니다. 문제는 이로 인해 종종 '블랙박스' 상황이 발생한다는 점입니다. AI 가 추측을 하지만, 왜 그 추측을 했는지, 혹은 그 추측이 물리적으로 가능한지 (예: 벽을 통과하는 자동차) 도 아무도 알 수 없는 상태가 되는 것입니다.

논문 "Recall to Predict (R2P)" 는 이를 더 지혜롭게 수행할 방법을 제안합니다. 아무것도 없는 상태에서 경로를 발명하는 대신, AI 는 도서관에서 이를 '회상 (recall)'합니다.

간단한 비유를 들어 작동 방식을 살펴보겠습니다:

1. "운동 은행 (Motion Bank)" (동작의 도서관)

거대한 도서관을 상상해 보세요. 하지만 책 대신 수백만 개의 실제 기록된 주행 경로 (궤적) 가 들어 있습니다. 이는 차가 회전하거나, 정지하거나, 합류하는 실제 사례들로, 모두 물리적으로 가능한지 확인된 것들입니다.

옛 방식: AI 는 매번 빈 종이 위에 새로운 경로를 그리려 합니다.
R2P 방식: AI 는 현재 상황을 보고 "이건 어제 도서관에서 본 상황과 비슷하군. 그 특정 경로를 도서관에서 꺼내 시작점으로 사용하자"라고 말합니다.

2. "앵커 검색 계층 (Anchor Retrieval Layer)" (사서)

이는 이 작업의 두뇌입니다. AI 가 새로운 장면 (예: 붐비는 교차로) 을 볼 때 단순히 추측하지 않습니다. 대신 '운동 은행'에 '쿼리 (질문)'를 보냅니다.

비유: 매우 똑똑한 사서를 상상해 보세요. 사서에게 "나는 빨간불에 있고, 왼쪽에 차가 있습니다"라고 말합니다. 사서는 임의의 책을 건네는 것이 아니라, 당신의 구체적인 상황에 맞는 정확한 몇 권의 책 (또는 '앵커') 을 찾아냅니다.
마법: 논문은 컴퓨터가 선반에서 특정 책을 고르면서도 여전히 그 선택으로부터 '학습'할 수 있게 해주는 특별한 기술 (Straight-Through Gumbel-Softmax 라고 함) 을 소개합니다. 보통 특정 항목을 선택하면 학습 과정이 멈추지만, 이 기술은 학습이 원활하게 계속되도록 합니다.

3. "이중 레벨 게이팅 (Dual-Level Gating)" (스마트 필터)

사서가 잠재적인 경로들을 찾으면, 시스템은 어떤 것들이 실제로 유용한지 결정해야 합니다.

비유: 시끄러운 방에서 대화를 듣고 있다고 상상해 보세요. 당신은 결정해야 합니다: "친구의 말에 귀를 기울일까? 교통 소음에 귀를 기울일까? 아니면 배경 잡음을 무시할까?"
시스템은 다양한 정보 조각들을 가중치 있게 평가하는 '게이팅' 메커니즘을 사용합니다. 예를 들어 "이 상황에서는 옆에 있는 차가 가장 중요하므로 집중도를 40% 여기에 쏟겠다"라고 결정하면서, 관련 없는 신호등이나 먼 차들은 무시합니다. 이를 통해 AI 는 실제로 중요한 것에만 집중하도록 보장됩니다.

4. "정제 디코더 (Refinement Decoder)" (미세 조정기)

도서관에서 꺼낸 경로들은 좋지만 완벽하지는 않습니다. 마치 초고화질 스케치와 같습니다.

비유: 요리책 (도서관) 에서 훌륭한 레시피를 찾았다고 가정해 보세요. 하지만 다른 브랜드의 토마토를 사용하므로 소금 양을 조절해야 합니다.
AI 는 '도서관 경로'를 가져와 현재 상황에 정확히 맞도록 미세하고 정밀한 조정 (오프셋) 을 가합니다. 중요한 점은 논문에서 AI 가 이러한 조정을 작게 하도록 강제된다고 말합니다. 나쁜 도서관 선택을 수정하기 위해 조정을 사용하는 것이 아니라, 먼저 좋은 도서관 경로를 선택한 뒤 이를 살짝만 다듬어야 합니다. 이는 AI 를 정직하고 해석 가능하게 만듭니다.

이것이 왜 중요한가요?

블랙박스 더 이상 없음: AI 가 먼저 도서관에서 실제 인간이 관찰한 경로를 선택하기 때문에, 우리는 도서관을 보고 "아, AI 는 '왼쪽으로 회전' 경로를 선택했는데, 이는 회전하려는 차를 보았기 때문이군"이라고 말할 수 있습니다. 우리는 그 결정이 왜 내려졌는지 볼 수 있습니다.
안전성: 경로들이 물리적으로 가능한 실제 동작들의 도서관에서 나오기 때문에, AI 가 불가능하거나 위험한 기동을 제안할 가능성이 줄어듭니다.
다양성: AI 가 같은 것만 예측하는 고착 상태에 빠지는 것을 방지합니다. 다양한 도서관에서 끌어옴으로써 여러 가지 다른 가능성 (예: 차가 회전할 수도 있고, 멈출 수도 있음) 을 예측할 수 있습니다.

결과

저자들은 이 시스템을 두 가지 주요 주행 데이터셋 (Argoverse 2 및 Waymo Open Motion) 에서 테스트했습니다. 그들은 그들의 시스템이 다음과 같음을 발견했습니다:

최첨단 모델들과 비교했을 때 차가 어디로 갈지 예측하는 정확도가 동일하거나 더 뛰어났습니다.
다른 모델들이 사용하는 지도 데이터의 4 분의 1 만으로 이를 수행했습니다.
복잡한 수학 '블랙박스' 안에 숨겨두는 대신, 어떻게 결정을 내렸는지에 대한 명확하고 투명한 시야를 제공했습니다.

요약하자면, Recall to Predict는 자율 주행 AI 가 허공에서 추측하는 것을 멈추고, 실제 주행 경험으로 큐레이션되고 조직화된 도서관에서 학습하도록 가르칩니다. 이로 인해 AI 는 더 똑똑해지고 이해하기 쉬워집니다.

기술 요약: 예측을 위한 회상 (R2P)

문제 제기

자율 주행의 운동 예측은 예측 정확도와 해석 가능성 사이의 근본적인 트레이드오프에 직면해 있습니다. 표준 앵커 기반 아키텍처는 종종 "잠재 공간 붕괴"(다양한 쿼리가 유사한 표현으로 수렴하는 현상) 에 취약한 불투명한 잠재 쿼리에 의존하거나, 드물고 안전에 치명적인 엣지 케이스를 포착하지 못하는 단순한 궤적 샘플링을 사용합니다. 기존 방법들은 다중 모드 다양성을 개선하지만, 종종 중간 예측 단계에서 모델의 추론 과정을 검사할 수 있는 능력을 희생합니다. 또한 많은 접근 방식은 경직된 휴리스틱이나 추상적인 엔드포인트 생성에 크게 의존하는데, 이는 지각 노이즈를 전파할 수 있으며 물리적으로 실현 가능한 행동에 대한 근거가 부족합니다.

방법론

저자들은 사전 훈련된 구조화된 "운동 은행 (motion bank)"에 기반한 궤적 예측을 가능하게 하는 엔드투엔드 미분 가능한 프레임워크인 **예측을 위한 회상 (Recall to Predict, R2P)**을 제안합니다. 모델은 빈 상태에서 경로를 회귀하는 대신, 명시적이고 물리적으로 실현 가능한 운동 사전 지식을 동적으로 검색합니다.

1. 사전 훈련된 운동 은행

프레임워크의 핵심은 이전 작업 [26] 의 임베딩에 기반한 대비 학습을 통해 구축된 전형적인 움직임 라이브러리입니다. 이 은행은 기하학적으로 유사한 궤적을 잠재 공간의 근접한 점으로 매핑하여, 각 궤적 (앵커) 이 특정 임베딩과 연결된 구조화된 특징 공간을 생성합니다.

2. 앵커 검색 레이어

새로운 앵커 검색 레이어는 운동 은행에서 후보 앵커를 선택하는 보조 인코더 역할을 합니다:

맥락 인식 쿼리 적응: 직교 방식으로 초기화된 잠재 쿼리 ( $Q_{base}$ ) 는 이중 레벨 게이트형 교차 어텐션 (Dual-Level Gated Cross-Attention) 메커니즘을 사용하여 적응됩니다. 이는 에이전트 히스토리, 이웃 상태, 맵 폴리라인과 같은 이질적인 입력을 독립적인 경로를 통해 처리합니다. 마이크로 레벨 시그모이드 게이트는 각 쿼리가 흡수하는 맥락의 양을 결정하고, 마크로 레벨 소프트맥스 (학습 가능한 "널 (null)" 싱크 포함) 는 모드 간 관련성을 균형 있게 조정합니다.
미분 가능한 선택: 과거 맥락과 미래 궤적 기하학 사이의 간극을 메우기 위해, 시스템은 적응된 쿼리와 고정된 은행 임베딩 간의 코사인 유사도를 계산합니다. 스트레이트-쓰루 검불 -소프트맥스 (STE) 추정기를 사용하여 이산적인 궤적 선택을 수행합니다. 이를 통해 네트워크는 순전파 과정에서 정확하고 혼합되지 않은 앵커를 선택하면서도 역전파를 위한 연속적인 기울기 흐름을 유지할 수 있습니다.

3. 분해된 장면 인코더 및 디코더

인코더: 아키텍처는 분해 후 융합 전략을 사용합니다. 동적 에이전트 (사회적 상호작용) 와 정적 맵 요소 (차선 토폴로지 및 신호등) 를 독립적으로 인코딩한 후 이를 융합합니다. 이는 전체 장면 맥락을 나타내는 초점 에이전트 토큰을 생성합니다.
디코더: DETR 스타일의 디코더는 검색된 앵커 토큰을 반복적으로 정제합니다. 중요한 점은 쿼리가 검색된 앵커로 초기화되어, 잠재 쿼리와 물리적 궤적 사이에 엄격한 1 대 1 대응이 보장된다는 것입니다. 디코더는 먼저 대상의 동적 히스토리와의 교차 어텐션을 수행한 후 환경 맥락과의 교차 어텐션을 수행합니다.
예측 헤드: 병렬 MLP 헤드는 연속적인 운동학 상태, 모드 신뢰도, 공간 오프셋을 예측합니다. 오프셋 헤드는 특히 디코더 이전 앵커 토큰으로부터의 잔차를 예측하여, 디코더가 나쁜 앵커 선택을 게으르게 보상하는 것을 방지합니다.

4. 학습 목적 함수

모델은 복합 손실 함수로 훈련됩니다:

승자 독식 (WTA) 운동학 손실: 이변량 가우시안의 음의 로그 가능도 (NLL) 를 사용하여 최성능 모드의 오류를 최소화하며, 속도 및 진행 방향 패널티가 추가됩니다.
이중 목적 엔드포인트 손실: 정제된 앵커의 엔드포인트에 소프트 - 최소 (soft-min) 가중치를 적용하여 이산적 선택과 국소 기하학적 정확도를 모두 안내합니다.
잠재 다양성 손실: 검색 붕괴를 방지하기 위해 적응된 쿼리 간의 직교성을 강제하여, 선택된 앵커가 서로 다른 의미적 의도 (예: 좌회전 대 직진) 를 대표하도록 합니다.

주요 기여

운동 은행을 갖춘 엔드투엔드 프레임워크: 디코딩 과정에 명시적이고 물리적으로 실현 가능한 운동 사전 지식을 주입하여 맥락 관련 주행 행동을 검색할 수 있게 하는 프레임워크 도입.
미분 가능한 앵커 검색 레이어: STE 를 통해 순전파 이산 선택과 역전파 연속 기울기를 분리하는 새로운 모듈로, 모델의 의사 결정 과정을 노출하는 매우 해석 가능한 중간 표현 제공.
다중 목적 정제 전략: 기하학적으로 선택된 앵커를 미세 조정하면서도 그들의 근본적인 의미적 의도를 엄격하게 보존하는 WTA 운동학 GMM, 오프셋 정규화, 잠재 다양성 제약의 조합.

실험 결과

이 프레임워크는 Argoverse 2 (AV2) 및 Waymo Open Motion (WOMD) 데이터셋에서 평가되었습니다.

Argoverse 2: R2P-M 은 minFDE6 1.33을 달성하여 HPTR (1.43) 및 ForecastMAE (1.42) 와 같은 기존 베이스라인을 능가했습니다. 또한 경쟁력 있는 brier-minFDE 2.03을 달성했습니다.
Waymo Open Motion: R2P-M 은 minADE6 0.5474 및 minFDE6 1.1132를 달성하여 EDA 및 MTR++ 를 포함한 강력한 베이스라인을 능가했습니다.
효율성: 모델은 맥락 크기를 크게 줄여 운영됩니다 (HPTR 의 1024 개 대비 256 개의 맵 폴리라인). 또한 비최대 억제 (NMS) 나 복잡한 후처리 휴리스틱이 필요하지 않습니다.
애블레이션 연구 결과: 실험은 운동 은행의 구조화된 클러스터 기반 샘플링이 안정적인 표현 학습에 중요함을 확인시켰으며, 무작위 샘플링은 성능 지표 저하와 적절한 사전 지식 수렴 실패로 이어졌습니다.

중요성 및 주장

이 논문은 R2P 가 예측 정확도와 다중 모드 해석 가능성 사이의 역사적 트레이드오프를 성공적으로 해결했다고 주장합니다. 불투명한 잠재 쿼리를 대비 학습된 운동 은행으로 대체함으로써, 프레임워크는 궤적 생성을 물리적으로 실현 가능한 행동의 구조화된 공간에 기반하게 합니다.

저자들은 앵커 검색 레이어가 표준 예측 아키텍처의 "블랙박스"성을 제거한다고 강조합니다. 디코딩 단계 이전에 모델이 고려하는 정확한 운동 원소를 노출함으로써, 이 접근법은 네트워크의 중간 추론에 대한 투명성을 제공합니다. 논문은 인간이 해석 가능한 추론을 희생하지 않고도 최첨단 다중 모드 예측을 달성할 수 있으며, 안전에 치명적인 결정을 검사하고 이해할 수 있는 자율 주행의 패러다임 전환을 제공한다고 주장합니다.

참고: 저자들은 현재 취약 도로 사용자 (VRU) 에 대한 한계를 인정하며, 현재 운동 은행이 차량 운동학에 편향되어 보행자와 자전거 이용자에 대한 표현이 더 거칠다고 지적합니다.