기술 요약: 인간 지식을 활용한 글로벌 상호작용 모델링 기반 중요 교통 객체 식별

1. 문제 정의

중요 교통 객체를 식별하는 것은 자율주행 자동차의 핵심적인 인지 작업으로, 시스템이 주변 엔티티가 자차(ego vehicle)의 의사결정 과정에 미치는 위험과 영향력을 추론할 수 있어야 합니다. 기존 방식들은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

1. 불충분한 시공간 정보: 대부분의 방법은 자차 중심의 2D 시각 데이터에 의존하며, 이는 불완전한 공간 및 시간적 맥락을 제공하여 교통 객체 간의 복잡한 동적 상호작용을 모델링하는 데 어려움을 줍니다.
2. 인간 지식 통합의 부재: 현재의 모델들은 인간의 통찰이나 텍스트 설명을 통합하지 못하는 경우가 많아, 동적 패턴을 추론하고 복잡한 주행 시나리오를 효과적으로 해석하는 능력이 제한됩니다.
3. 데이터 세밀도: 일부 연구에서 텍스트 데이터를 활용하기도 하지만, 대개 거친 입도의 장면 캡션이나 특정 객체에 집중되어 있어, 장면 내 모든 인지 가능한 객체에 대한 미세한 텍스트 특징을 제공하지 못합니다.

2. 방법론

저자들은 에고-센트릭(ego-centric) 2D 인지에서 버드스아이뷰(Bird's-Eye View, BEV) 관점으로 전환하고, 인간의 지식을 통합하기 위해 멀티모달 대조 학습을 결합한 새로운 프레임워크를 제안합니다. 이 프레де임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

2.1 데이터 전처리 및 입력

본 프레임워크는 성숙한 BEV 인지 시스템(예: LiDAR/카메라 퓨전) 위에서 작동하여 3D 바운딩 박스, 궤적 및 객체 속성을 생성합니다. 원시 이미지에만 의존하는 방법들과 달리, 이 접근 방식은 BEV 맵에서 도출된 구조화된 모션 및 장면 속성을 활용합니다.

2.2 대조 언어-모션 사전 학습 (CLMP)

동적 모션 패턴과 인간의 통찰 사이의 간극을 메우기 위해, 저자들은 CLMP 모델을 개발했습니다.

• 목적: 멀티모달 대조 학습을 사용하여 객체의 모션 속성을 인간이 주석을 단 행동 설명(텍스트)과 정렬합니다.
• 메커니즘: **텍스트 지도 모션 인코더(TSM-Encoder)**를 BERT 텍스트 인코더와 함께 사전 학습합니다. 모델은 올바른 모션-텍스트 쌍 간의 코사인 유사도는 최대화하고, 잘못된 쌍 간의 유사도는 최소화합니다.
• 결과: 학습된 TSM-Encoder는 원시 모션 속성으로부터 **의사-텍스트 특징(pseudo-text features)**을 생성할 수 있습니다. 이러한 특징은 메인 작업의 추론 단계에서 명시적인 텍스트 입력 없이도 인간의 지식(예: "멀어지는 중", "좌회전 중")을 인코딩합니다.

2.3 상호작용 인식 멀티모달 네트워크 (IAM-Network)

이 네트워크는 객체의 중요도(비중요, 낮음, 중간, 높음)를 식별하고 순위를 매기는 핵심 작업을 수행합니다.

• 잠재 쿼리 모션 인코더 (LQM-Encoder): 이 모듈은 모션 속성과 장면 속성(예: 신호등)을 계층적으로 처리합니다. 학습 가능한 잠재 쿼리와 셀프 어텐션 메커니즘을 사용하여 동적 특성을 포착하고 객체 간의 상호작용을 모델링합니다. 크로스 어텐션(Cross-attention)은 구조화된 장면 정보를 통합하는 데 사용됩니다.
• 멀티모달 정교화 모듈 (MR-Module): 이 모듈은 LQM-Encoder가 생성한 시공간 표현을 적응적으로 정교화합니다. CLMP 모델로부터 도출된 의사-텍스트 특징(인간의 지식)을 모션 특징과 통합합니다.
  • 퓨전 전략: 이 모듈은 pairwise multiplication(squeeze-and-excitation 연산)을 사용하여 텍xt-모션 문맥에 따라 시공간 특징을 적응적으로 조절합니다. 이를 통해 모델은 인간의 사전 지식(prior)을 바탕으로 추론을 동적으로 조정할 수 있습니다.
• 분류: 최종 특징은 완전 연결 계층(fully connected layer)을 통과하여 4가지 중요도 클래스에 대한 확률을 출력합니다.

3. 주요 기여

1. 새로운 프레임워크: 글로벌 BEV 관점을 활용하여 상호작용을 모델링하고, 멀티모달 대조 학습을 통해 인간의 지식을 통합함으로써 에고-센트릭 2D 방식의 한계를 극복하는 새로운 중요 교통 객체 식별 프레임워크를 제시했습니다.
2. CLMP 모델: 모션 속성을 텍스트 설명과 정렬하여, 객체의 모션 속성으로부터 인간의 지식을 추출하고 의사-텍스트 특징을 생성할 수 있게 하는 사전 학습 모델입니다.
3. IAM-Network: 모션 속성, 장면 속성 및 의사-텍스트 특징을 통합하여 시공간 표현을 포착하고 적응적으로 정교화함으로써, 동적 교통 특성에 대한 추론 능력을 크게 향상시키는 아키텍처입니다.

4. 실험 결과

본 프레임워크는 3D 객체 위치, 중요도 레벨 및 행동 캡션이 포함된 116개의 상호작용 교통 시나리오를 담고 있는 Rank2Tell 데이터셋을 통해 평가되었습니다.

• 성능: 제안된 방법은 모든 지표(모든 클래스에 대한 정확도 및 F1 점수)에서 기존의 최첨단 연구들(Gao et al., Zhang et al., Li et al., Yu et al., 및 Sachdeva et al. 포함)을 능가했습니다.
  • 정확도: 차순위 모델의 80.93%와 비교하여 **84.71%**를 달 기록했습니다.
  • 핵심 클래스: 안전에 중요한 중간(Medium)(F1 38.88%) 및 높음(High)(F1 69.75%) 중요 객체 식별에서 유의미한 개선을 보였습니다.
• 어블레이션 연구 (Ablation Studies):
  • 장면 속성: 장면 특징(예: 교통 신호)을 포함했을 때 High 중요 객체의 F1 점수가 2.39% 향상되었습니다.
  • 인간 지식: CLMP와 MR-Module의 통합은 특히 Low(28.07%) 및 Medium(38.88%) 중요 객체에서 가장 큰 이득을 가져왔으며, 이는 모호성을 해결하는 데 있어 인간의 사전 지식의 가치를 입증합니다.
  • 퓨전 전략: pairwise multiplication과 GRU 기반의 TSM-Encoder를 사용하는 후기 융합(Late fusion)이 최적의 구성임이 밝혀졌습니다.
• 효율성: 모델은 7.02ms의 추론 시간과 6.8M의 파라미터 수를 유지하며 실시간 성능을 확보했습니다.
• 시각화: t-SNE 임베딩 결과, IAM-Network는 베이스라인 모델들에 비해 중요도 클래스 간의 구분이 더 명확하며, 특히 낮은 중요도와 중간 중요도 객체를 잘 구분함을 보여주었습니다.

5. 의의 및 주장

본 논문은 BEV 관점에서의 글로벌 상호작용 모델링이 멀티모달 대조 학습과 결합될 때, 중요 객체 식별에 있어 에고-센트릭 시각 방식보다 우월하다는 것을 입증하는 데 주요 의의가 있다고 주장합니다.

• 추론 능력: 동적 패턴과 인간의 통찰을 연결함으로써, 본 프레임워크는 2D 뷰에서는 모호할 수 있는 복잡하고 동적인 교통 시나리오에 대해 모델의 추론 능력을 강화합니다.
• 신뢰성: 위험을 유발하는 객체를 견고하게 식별할 수 있게 함으로써, 신뢰할 수 있는 자율주행 시스템 개발의 핵심 과제를 해결합니다.
• 실용성: 본 프레임워크는 실시간 BEV 인지 능력을 갖춘 지능형 차량에 배포되도록 설계되었으며, 더 안전한 주행 결정을 효과적으로 보조합니다.

저자들은 현재의 CLMP가 의사-텍스트 생성을 위해 수작업 규칙에 의존하고 있다는 점과, "낮음"과 "중간" 중요도를 구분하는 것이 주석의 주관성으로 인해 여전히 어렵다는 점을 언급하며 한계를 인정했습니다. 향업 연구는 자동 텍스트 생성을 위한 대규모 시각-언어 모델(VLM)을 활용하고 연속적인 중요도 모델링을 탐구하는 것을 목표로 합니다.