기술 요약: Social-Mamba

문제 정의

인간 궤적 예측은 자율 로봇 및 스포츠 분석과 같은 혼잡한 환경에서의 안전한 항법에 필수적입니다. 핵심 과제는 예측 정확도와 계산 효율성 사이의 균형을 맞추는 데 있습니다. 최근 최첨단 방법들은 복잡한 사회적 상호작용을 포착하기 위해 트랜스포머 기반의 어텐션 메커니즘에 의존하지만, 이러한 접근 방식은 에이전트 수에 따라 비효율적으로 증가하는 2 차 계산 비용을 초래합니다. 반면, 선택적 상태 공간 모델 (SSM), 특히 Mamba 는 선형 시간 복잡도를 제공하며 장기 의존성에 효과적입니다. 그러나 SSM 을 사회적 상호작용에 직접 적용하는 것은 두 가지 근본적인 충돌을 야기합니다:

1. 구조적 불일치: SSM 은 순차적인 1 차원 시퀀스를 위해 설계된 반면, 사회적 상호작용은 비구조화된 2 차원 또는 3 차원 공간에서 발생합니다. 에이전트를 임의의 시퀀스로 강제하는 것은 공간 정보를 파괴할 위험이 있습니다.
2. 정보 흐름 불일치: 표준 SSM 은 단방향으로 정보를 처리합니다. 그러나 사회적 상호작용은 종종 전체적이고 양방향적입니다. 초기 행동의 의도는 후속 사건에 의해 종종 명확해지는데, 순수한 순방향 모델은 이러한 맥락을 포착할 수 없습니다.

궤적 예측을 위해 Mamba 를 사용하려는 이전 시도들은 대부분 모델을 시간적 역사에만 국한시키거나 핵심 메커니즘을 어텐션과 유사하게 수정하여, 사회적 추론을 위한 SSM 의 고유한 효율성을 활용하지 못했습니다.

방법론

저자들은 사회적 상호작용을 SSM 의 고유한 설계와 정렬하기 위해 구조화된 순차적 과정으로 재구성하는 예측 아키텍처인 Social-Mamba를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 사이클 Mamba (CM) 블록

사회적 추론의 양방향성을 해결하기 위해 저자들은 사이클 Mamba 블록을 도입합니다. 기존 양방향 모델이 순방향 및 역방향 패스를 독립적으로 처리한 후 출력에서만 융합하는 것과 달리, CM 블록은 연속적인 상태 흐름을 생성합니다.

• 메커니즘: 입력 시퀀스를 반전시킨 것을 원래 순방향 시퀀스에 연결하여 사이클 시퀀스를 구성합니다 ($S_{cycle} = [S_{bwd}; S_{fwd}]$).
• 상태 전파: 단일 Mamba 모델이 이 통합된 시퀀스를 처리합니다. 중요한 점은 순방향 패스가 역방향 패스의 최종 은닉 상태로 초기화됩니다. 이는 에이전트의 역사에 대한 순방향 처리가 미래 컨텍스트의 압축된 표현에 명시적으로 조건부 되도록 하여, 더 적은 파라미터로 원활하고 통합된 양방향 융합을 가능하게 합니다.

2. 사회적 삼중항 분해

1 차원 SSM 과 2 차원 사회적 장면 사이의 구조적 불일치를 해결하기 위해, 저자들은 에이전트를 자기 중심적 사회적 그리드에 배치하고 상호작용을 세 가지 병렬 순차 스캔으로 분해합니다:

• 시간적 상호작용: 개별 에이전트 역사를 독립적으로 처리하여 운동 역학을 포착합니다.
• 자기 중심적 상호작용: 자기 에이전트의 현재 상태 토큰을 각 이웃의 시퀀스에 삽입합니다. 이를 통해 모델이 이웃이 자기 에이전트의 현재 상태에 어떻게 영향을 미치는지 스캔할 수 있습니다.
• 목표 중심적 상호작용: 자기 에이전트의 목표 토큰을 이웃 시퀀스에 추가하여 이웃이 목적지까지의 경로에 어떻게 영향을 미치는지 모델링합니다.

자기 중심적 및 목표 중심적 스캔 모두에서, 자기 에이전트의 상태 또는 목표 토큰은 사이클 Mamba 스캔 전에 이웃 시퀀스에 삽입되어 서로 다른 상호작용 측면을 시간적 방식으로 처리할 수 있게 합니다.

3. 사회적 융합 및 디코딩

세 가지 상호작용 스트림 ($Z^T, Z^E, Z^G$) 의 출력은 학습 가능한 사회적 게이트를 사용하여 융합됩니다. 게이팅 네트워크는 각 상호작용 유형에 대한 동적 가중치를 계산하여, 모델이 관련 컨텍스트를 적응적으로 강조할 수 있도록 합니다 (예: 자기 에이전트가 독립적으로 이동할 때 사회적 영향을 하향 조정). 마지막으로, 에이전트 축을 따라 전역 스캔을 수행하여 정보를 집계한 후, 디코더 (양방향 Mamba 및 MLP 헤드) 를 통해 $K$개의 미래 궤적을 예측합니다.

주요 기여

1. 사회적 추론을 위한 최초의 네이티브 SSM: Social-Mamba 는 SSM 을 시간적 모델링에만 국한시키지 않고 사회적 상호작용을 직접 처리하는 Mamba 프레임워크에 완전히 구축된 최초의 궤적 예측 아키텍처입니다.
2. 사이클 Mamba 블록: 연속적인 양방향 정보 흐름을 가능하게 하는 새로운 모듈로, 기존 양방향 설계에 비해 컨텍스트 이해도를 향상시키고 파라미터 수를 절반으로 줄입니다.
3. 구조화된 사회적 스캐닝: 자기 중심적 그리드와 사회적 삼중항 분해의 도입은 공간 정보를 희생하지 않고 비구조화된 2 차원 사회적 역학을 SSM 의 1 차원 순차 처리에 성공적으로 매핑합니다.
4. 효율성 및 확장성: 이 아키텍처는 선형 시간 복잡도를 달성하여 2 차 비용 어텐션 메커니즘에 비해 우수한 계산 확장성을 제공합니다.

실험 결과

저자들은 Social-Mamba 를 다섯 가지 벤치마크 데이터셋인 NBA(Full, Scoring, Rebounding 분할), Stanford Drone Dataset (SDD), JRDB에서 평가했습니다.

• 정확도: Social-Mamba 는 모든 벤치마크에서 최첨단 성능을 달성했습니다. NBA-Full 데이터셋에서 평균 변위 오차 (ADE) 를 0.72m 로, 최종 변위 오차 (FDE) 를 0.92m 로 줄여 Multi-Transmotion 및 OmniTraj 와 같은 강력한 베이스라인을 능가했습니다.
• 효율성: 모델은 파라미터 효율성과 계산 비용에서 상당한 개선을 보여주었습니다. 이전 최첨단 방법과 비교하여 Social-Mamba 는 파라미터를 75% 줄이고 GFLOPs 를 54% 감소시켰습니다.
• 유연성: 플로우 매칭 프레임워크에서 트랜스포머 인코더를 교체하는 용도로 통합되었을 때, Social-Mamba 는 트랜스포머 기반 대응물보다 2.3 배 작은 인코더를 사용하면서도 정확도를 향상시켰습니다.
• 정성적 분석: 시각화는 모델이 급격한 회전, 비선형 행동, 그리고 혼잡한 군중을 처리할 수 있음을 확인시켜 주었으며, 다양하고 그럴듯한 다중 모드 궤적을 생성했습니다.

의의 및 주장

이 논문은 Social-Mamba 가 State-Space 모델의 효율성과 비구조화된 사회적 상호작용의 복잡성 사이의 간극을 성공적으로 연결함으로써 궤적 예측을 위한 새로운 기반을 확립했다고 주장합니다. SSM 이 어텐션과 유사한 메커니즘에 의존하거나 양방향 추론을 희생하지 않고 사회적 역학을 모델링하도록 적응될 수 있음을 입증함으로써, 저자들은 Social-Mamba 를 트랜스포머 기반 패러다임에 대한 유연하고 견고하며 매우 효율적인 대안으로 위치시킵니다. 이 연구는 SSM 의 고유한 선형 확장성이 계산 자원이 제한된 혼잡한 다중 에이전트 환경의 실시간 응용에 특히 적합함을 시사합니다.