기술 요약: 시퀀스로서의 모드 (Mode-as-Sequence)

1. 문제 제기

자율주행을 위한 다중 모드 운동 예측은 **본질적인 과소 감독 (inherent under-supervision)**이라는 근본적인 도전에 직면해 있습니다. 실제 세계의 훈련 데이터에서는 각 장면이 하나의 실현된 미래 궤적만 제공하지만, 여러 개의 타당한 미래 (모드) 가 존재합니다 (예: 차량이 좌회전, 직진, 또는 양보를 할 수 있음). 모든 유효 모드에 대한 정답 레이블의 부족은 기존 병렬 디코딩 패러다임에서 두 가지 주요 문제를 초래합니다:

1. 모드 붕괴 (Mode Collapse): 모델은 유효하지만 구별되는 미래들을 구별할 수 있는 명시적 메커니즘이 부족하기 때문에, 중복되거나 거의 동일한 가설들을 생성하는 경향이 있습니다.
2. 불안정한 신뢰도 순위: 승리하지 않은 모드에 대한 명확한 감독이 부재할 경우, 신뢰도 점수가 모호해져 하위 계획기 (planner) 가 가장 확률 높은 궤적을 선택하기 어렵습니다.

현재의 해결책들은 종종 밀집된 후보군 생성과 그 후 휴리스틱 후처리 (예: Non-Maximum Suppression) 또는 승자 독식 (WTA) 훈련 전략에 의존하는데, 이는 불안정한 모드 구별과 비효율적인 추론으로 이어질 수 있습니다.

2. 방법론

본 논문은 무순서 모드 집합을 생성하는 것에서 순서화된 모드 시퀀스를 생성하는 것으로 다중 모드 예측을 재정의하는 통합 디코딩 프레임워크인 Mode-as-Sequence를 제안합니다. 이 접근법은 모드 간의 의존성을 명시적으로 모델링하여, 각 후속 모드가 이전에 생성된 모드들에 조건부로 생성되도록 합니다.

핵심 구성 요소

• 순차적 모드 모델링 (ModeSeq):

  • 메커니즘: $K$개의 모드를 병렬로 예측하는 대신, 디코더는 이를 자기회귀적 ($k=1 \to K$) 으로 생성합니다. $k$번째 모드는 장면 임베딩과 이전에 생성된 모든 모드 ($m_1, \dots, m_{k-1}$) 의 임베딩에 조건부로 결정됩니다.
  • 이점: 이는 후속 모드들이 이전 모드들을 중복하기보다는 상호 보완적인 행동을 탐색하도록 유도하는 귀납적 편향을 생성하여, 밀집된 후보군 없이도 다양성을 자연스럽게 향상시키고 중복성을 줄입니다.
  • 아키텍처: 이전 모드들을 주시하는 "Memory Transformer"와 모드를 장면에 기반하는 "Context Transformer"를 갖춘 순환 구조를 활용합니다.

• 병렬 ModeSeq:

  • 동기: 특히 큰 $K$ 값이나 결합된 다중 에이전트 예측의 경우 자기회귀적 생성의 지연 시간 병목 현상을 극복하기 위함입니다.
  • 메커니즘: 순차적 모델링의 인과적 의존성을 유지하면서 모든 $K$개의 모드를 단일 순전파 (forward pass) 에서 디코딩합니다. 이는 하향 삼각 마스크를 사용하여 모드 $k$가 $j \leq k$인 모드들만 주시할 수 있도록 하는 **마스크된 모드 간 자기 주시 (masked mode-to-mode self-attention)**를 통해 달성됩니다.
  • 이점: 순차적 의존성의 구조적 이점을 유지하면서 효율적이고 GPU 친화적인 추론을 가능하게 합니다.

• Early-Match-Take-All (EMTA) 훈련:

  • 전략: 희소한 감독 문제를 해결하기 위해, EMTA는 정답과 일치하는 (임계값 $\delta$ 이내) 시퀀스 내의 가장 초기 모드를 식별합니다. 이 모드는 회귀 및 신뢰도에 대한 긍정 샘플로 감독됩니다.
  • 효과: 나머지 모드들은 암묵적으로 일치하지 않는 대안 미래들을 커버하도록 밀려납니다. 이는 모델이 처음 몇 개의 모드가 매우 대표적이고 신뢰도가 높은 다양한 가설 집합을 학습하도록 장려합니다.
  • 확장 (MA-EMTA): 결합된 다중 에이전트 예측의 경우, 정답 결합 미래와 일치하는 가장 초기 결합 모드를 감독하도록 확장되어 상호작용 일관성을 갖춘 롤아웃을 보장합니다.

• 보조 구성 요소:

  • 모드 재배열: 디코딩 레이어 간에 모드들은 예측된 신뢰도 점수에 따라 재순서화됩니다. 이는 시퀀스 인덱스를 순위와 정렬시켜, 후속 정제 레이어들이 가장 유망한 가설들에 먼저 집중하도록 합니다.
  • 순위 정규화 (Ranking Regularizer): 신뢰도 반전 (일치하지 않는 모드가 일치하는 모드보다 높은 점수를 받는 경우) 을 방지하기 위해 마진 기반 손실 함수가 추가됩니다. 이는 mAP 와 같은 지표에 중요합니다.

3. 주요 기여

1. 통합 프레임워크: Mode-as-Sequence의 도입으로, 무순서 모드 집합을 순서화된 시퀀스로 변환하여 모드 간 의존성을 명시적으로 모델링하고, 밀집된 후보군 없이 희소 다중 모드성을 해결하는 패러다임을 제시합니다.
2. 이중 구현:
   • ModeSeq: 다양하고 잘 순위 매겨진 가설을 위한 순환 디코더.
   • Parallel ModeSeq: 인과적 주시를 활용한 병렬화된 구현으로, 효율적인 대규모 $K$ 추론 및 확장 가능한 결합 장면 예측을 가능하게 합니다.
3. 훈련 전략: EMTA 및 MA-EMTA 개발로, 순차적 구조를 활용하여 가장 초기 일치 모드에 감독을 할당함으로써 모드 커버리지와 신뢰도 보정을 개선합니다.
4. 최첨단 성능: 대규모 벤치마크에서의 검증으로, Waymo Open Dataset 챌린지에서 상위 랭킹을 달성했습니다.

4. 실험 결과

본 프레임워크는 **Waymo Open Motion Dataset (WOMD)**과 Argoverse 2에서 평가되었습니다.

• Waymo 운동 예측 (2024 챌린지):

  • ModeSeq은 LiDAR 없는 운동 예측 트랙에서 1 위를 차지했습니다.
  • LiDAR 포인트 클라우드나 모델 앙상블을 사용하지 않고도 순위 지표 (Soft mAP/mAP) 와 실격률 (Miss Rate, MR) 에서 강력한 베이스라인 (예: MTR v3, QCNet) 보다 우수한 성능을 보였습니다.
  • 검증 세트에서 ModeSeq 은 Soft mAP 를 0.4508 (QCNet) 에서 0.4562 로 향상시켰습니다.

• Waymo 상호작용 예측 (2025 챌린지):

  • Parallel ModeSeq은 상호작용 예측 챌린지에서 1 위를 차지했습니다.
  • IMPACT 및 TrajFlow 와 같은 최근 베이스라인과 비교하여 순위 (mAP v2: 0.2949) 및 궤적 정확도 (Min FDE: 1.6897) 모두에서 우수한 성능을 입증했습니다.
  • 이 방법은 상호작용 일관성을 갖춘 결합 다중 에이전트 미래를 성공적으로 처리했습니다.

• 절대 실험 (Ablation Studies):

  • 순차 대 병렬: 동일한 인코더를 사용할 때 두 변형 모두 표준 병렬 디코더 (DETR 유사) 보다 우수한 성능을 보였습니다.
  • EMTA: WTA 를 EMTA 로 대체하면 Soft mAP 와 MR 이 크게 향상되어 초기 일치 감독의 이점을 확인했습니다.
  • 모드 외삽: 6 개 모드로 훈련된 모델은 추론 시 최대 24 개 모드까지 성공적으로 디코딩할 수 있었으며, 이는 체감 수익은 감소하지만 커버리지에서 일관된 개선을 보여 순차적 모델링 능력을 검증했습니다.
  • 효율성: 순환 ModeSeq 은 지연 시간이 더 높지만, Parallel ModeSeq 은 장면당 약 48ms 를 달성하여 실시간 배포에 적합합니다.

5. 중요성과 주장

본 논문은 Mode-as-Sequence가 다중 모드 예측의 "희소 감독" 문제에 대한 원칙적인 해결책을 제공한다고 주장합니다. 독립적인 병렬 생성에서 인과적 순차 모델링으로 전환함으로써, 본 프레임워크는 다음과 같은 이점을 제공합니다:

• 밀집된 후보군과 휴리스틱 후처리 (NMS 등) 의 필요성을 제거합니다.
• 시퀀스 순서가 확률과 상관관계가 있으므로 자연스러운 신뢰도 순위를 유도하여 보정된 점수 학습을 단순화합니다.
• 순위 지표 (mAP) 와 궤적 오차 (Min FDE) 의 동시 개선을 통해 이전 방법들보다 정확도와 다양성을 더 효과적으로 균형시킵니다.
• Parallel ModeSeq 변형을 통해 효율적으로 확장되어 고품질 가설과 낮은 지연 시간이 모두 요구되는 자율주행 시스템의 실용적 배포를 가능하게 합니다.

저자들은 그들의 접근 방식이 특정 인코더 아키텍처에 의존하지 않으며 (결과를 위해 QCNet 을 사용하지만 다른 것들과의 호환성을 명시), 단일 에이전트 및 복잡한 결합 다중 에이전트 예측 모두에 적용 가능한 일반화 가능한 프레임워크를 제공한다고 강조합니다.