🤖 AI

CoAnchor: Robust Collaborative Perception under Spatio-Temporal Misalignment via Object-Level Anchors

본 논문은 희소한 객체 수준의 앵커를 통해 공간적 정밀화, 시간적 전파 및 검증을 통합함으로써 협력적 인지에서의 결합된 통신 지연과 포즈 불일치 문제를 강건하게 해결하는 앵커 중심 프레임워크인 CoAnchor를 제안한다.

원저자: Chi Li, Rui Lin, Aobo Ji, Dongzhu Xu

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chi Li, Rui Lin, Aobo Ji, Dongzhu Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자율주행 자동차는 단순히 자신의 눈으로만 세상을 보는 것이 아니라, 주변 차량들과 자신이 보는 것을 공유함으로써 세상을 보는 법을 배우고 있습니다. 협력적 인지(collaborative perception)라고 알려진 이 관행은 차량이 자신의 센서 데이터와 이웃 차량으로부터 전송된 정보를 결합함으로써, 건물 뒤에 숨겨져 있거나 도로 멀리 떨어진 물체를 감지할 수 있게 해줍니다. 이는 운전을 더 안전하고 효율적으로 만들 것으로 기대되는 강력한 아이디어입니다. 그러나 이러한 공유가 제대로 작동하려면 정보가 완벽하게 동기화되어 도착해야 합니다. 현실 세계에서 차량 간의 메시지는 결코 완벽하지 않으며, 두 가지 주요 문제에 직면합니다. 첫째, 지연(delay)이 존재합니다. 즉, 정보가 캡처된 후 아주 짧은 시간 뒤에 도착하여 데이터가 약간 구식이 된다는 것을 의미합니다. 둘째, 차량들은 서로를 기준으로 자신의 정확한 위치를 파악하는 데 있어 작은 오차를 갖는 경우가 많아, 공유된 이미지가 약간 어긋나거나 정렬이 맞지 않게 됩니다. 만약 차량이 이러한 지연되고 어긋난 메시지를 자신의 현재 시야와 결합하려고 시도한다면, 그 결과는 혼란스러울 수 있습니다. 차량은 존재하지 않는 유령 차량을 보거나, 실제 차량을 아예 놓칠 수도 있습니다.

베이징 우편통신대학교의 연구진은 이러한 불일치하는 타이밍과 위치 문제를 해결하기 위해 'CoAnchor'라는 새로운 방법을 개발했습니다. 연구팀은 모든 차량의 가공되지 않은 복잡한 데이터를 완벽하게 맞추려고 노력하는 대신, 접근 방식을 바꾸었습니다. 그들은 메시지가 지연되고 위치에 노이즈가 있을 때 모든 센서 데이터의 픽셀 하나하나를 정렬하려고 시도하는 것이 너무 어렵고 오류가 발생하기 쉽다는 점을 깨달았습니다. 대신, 그들은 객체 자체에 집중하기로 했습니다. 그들은 먼저 장면 내의 특정 차량과 장애물을 식별하여 각각을 별개의 참조점으로 취급하는 시스템을 만들었습니다. 이 지점들은 앵커(anchor), 즉 고정된 표식 역할을 하며, 시스템이 정보를 결합하기 전에 정보를 확인하고 수정하는 데 사용할 수 있습니다.

이 과정은 신중한 검증 루프처럼 작동합니다. 차량이 이웃으로부터 메시지를 받으면, 메시지에 기술된 객체의 위치를 즉시 신뢰하지 않습니다. 대신, 이웃의 객체를 자신의 현재 관측값과 대조하여 대략적인 정렬을 먼저 수행합니다. 그런 다음, 단순한 예측 모델을 사용하여 해당 이웃 객체를 시간상 앞으로 이동시켜, 지연 시간을 고려했을 때 지금 당장 있어야 할 위치를 파악합니다. 결정적으로, 시스템은 이 예측된 위치가 차량이 그 순간 보고 있는 것과 일치하는지 확인합니다. 만약 예측된 객체가 실제 관측값과 잘 일치한다면, 시스템은 이를 신뢰할 수 있는 것으로 표시합니다. 만약 일치하지 않거나 위치가 어긋나 보인다면, 시스템은 신뢰도를 낮추거나 해당 정보를 폐기합니다. 이 예측, 확인, 조정의 순환은 폐쇄 루프(closed loop) 내에서 발생하며, 이를 통해 시스템은 객체의 위치와 차량 간의 상대적 위치를 동시에 정교하게 다듬을 수 있습니다. 이러한 엄격한 검증이 완료된 후에야 시스템은 최종적인 결정을 내리기 위해 데이터를 결합합니다.

연구진은 대규모 컴퓨터 시뮬레이션과 실제 차량에서 수집한 실세계 주행 데이터를 모두 사용하여 이 방법을 테스트했습니다. 그들은 다른 방법들이 완벽한 조건에서는 잘 작동할 수 있지만, 시간 지연과 위치 오차가 동시에 존재할 때는 크게 어려움을 겪는다는 것을 발견했습니다. 이러한 까다로운 시나리오에서 새로운 방법은 훨씬 더 견고한 성능을 입증했습니다. 200밀리초의 지연과 0.6미터의 위치 오차가 있는 실세계 데이터셋에서, CoAnchor 시스템은 67.04의 탐지 정확도 점수를 기록했으며, 이는 차순위 방법보다 눈에 띄게 높은 수치였습니다. 이러한 개선은 시스템이 허위 경보를 울리거나 위험한 장애물을 놓칠 가능성을 훨씬 낮추었음을 의미합니다. 이 연구는 객체를 앵커로 삼아 현재의 현실과 검증함으로써, 차량이 통신이 불완전한 상황에서도 효과적으로 정보를 공유하고 완벽한 동기화 없이도 도로를 더 안전하게 유지할 수 있음을 시사합니다.

기술 요약: CoAnchor

문제 정의

협력적 인지(Collaborative perception)는 여러 에이전트의 관측치를 융합함으로써 자율 주행을 향상시키며, 단일 차량의 시야 범위를 넘어 센싱 범위를 확장합니다. 그러나 실제 배포 환경에서는 성능을 저하시키는 두 가지 결합된 문제에 직면하게 됩니다:

시공간적 불일치(Temporal Misalignment): 통신 지연으로 인해 수신된 협력자 메시지가 "오래된(stale)" 상태가 됩니다(에고 차량의 현재 시간 $t$ 보다 이전의 타임스탬프 $u_j$ 에서 캡처됨).
공간적 불일치(Spatial Misalignment): 위치 추정 노이즈와 상대 포즈 오차로 인해 협력자의 관측치가 에고 프레임 내의 잘못된 위치에 배치됩니다.

기존 방법들은 일반적으로 이러한 문제들을 별개로 다룹니다. 공간 지향적 방법은 포즈를 정밀하게 조정하지만, 관측치가 시간적으로 오래된 경우에는 실패합니다. 시간 지향적 방법은 지연을 보상하지만, 공간 참조가 신뢰할 수 있다고 가정합니다. 본 논문은 이러한 모듈들을 단순히 계층적으로 연결하는 것(예: 공간 보정 후 시간 보상 수행)이 불충분하다고 주장합니다. 왜냐하면 잔여 공간 오차가 시간 단계로 전파되어 "모션 고스트(motion ghosts)", 중복 응답, 검출 위치 편차를 유발하기 때문입니다. 또한, 밀집 융합(dense fusion)에 사용되는 고차원 Bird's Eye View(BEV) 특징량은 명시적인 객체 대응 관계(correspondence)가 부족하여, 노이즈가 존재하는 상황에서 정렬과 전파를 통합적으로 추론하기 어렵습니다.

방법론: CoAnchor

저자들은 CoAnchor라는 앵커 중심의 시공간 정렬 프레임워크를 제안합니다. CoAnchor는 밀집된 BEV 특징량 위에서 직접 작동하는 대신, 공간 정밀화, 시간 전파, 그리고 신뢰성 검증을 하나의 통합된 폐쇄 루프(closed loop) 내에서 긴밀하게 결합하기 위해 희소한 저차원 **객체 수준 인터페이스(시공간 앵커)**를 구축합니다.

파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 시공간 앵커 초기화 (Spatio-Temporal Anchor Initialization)

객체 상태 표현: 에이전트들은 객체를 탐지하고 짧은 이력을 통해 운동 상태(위치, 속도, 헤딩)를 추정합니다.
이분 매칭(Bipartite Matching): 지연된 이웃 탐지 결과들을 에고 프레임으로 대략적으로 워핑(warp)합니다. 이분 매칭 알고리즘(헝가리안 알고리즘)을 사용하여 공간 거리, 속도 유사성, 국소 이웃 일관성을 기반으로 에고 객체와 지연된 이웃 객체를 연관시킵니다.
궤적 가이드 포즈 정밀화 (Trajectory-Guided Pose Refinement): 단일 프레임 매칭과 달리, CoAnchor는 매칭된 쌍의 짧은 운동 이력을 활용합니다. 매칭된 궤적 전체의 오차를 최소화하기 위해 반복 가중 최소 제곱법(IRiously Reweighted Least Squares, IRLS)을 사용하여 상대적 포즈 변환( $\Delta T$ )을 정밀하게 조정합니다. 매칭 비용이 낮은 쌍은 더 높은 신뢰도 가중치로 시작합니다.
앵커 구축: 매칭된 쌍들은 관련 상태, 공분산, 신뢰도 점수를 가진 "지연된 시공간 앵커"로 변환됩니다.

2. 객체 시간 전파 (Object Temporal Propagation)

상태 예측: 지연된 앵커들은 규칙 기반의 등속 운동 모델을 사용하여 지연된 타임스탬프 $u_j$ 로부터 현재 에고 시간 $t$ 로 전파됩니다.
에고 가이드 보정 (Ego-Guided Correction): 전파된 앵커에 대해 신뢰할 수 있는 현재 시간의 에고 관측치가 존재하는 경우, 칼만 방식의 측정 업데이트가 수행됩니다. 시스템은 정규화된 혁신 제곱( $d^2$ $d^{2}$ )을 계산하여 일관성을 검증합니다.
- 일관성이 있으면, 앵커가 업데이트됩니다.
- 일관성이 없거나(예: 폐쇄 또는 탐지 누락) 대응 관계가 존재하지 않는 경우, 해당 가설은 "일반" 전파 객체로 격하되며, 이후의 폐쇄 루프 피드백에 참여하지 않습니다.

3. 폐쇄 루프 사후 점수화 (Closed-Loop Posterior Scoring)

신뢰도 피드백: 다음 포즈 정밀화 단계 이전에, 시스템은 매칭된 쌍의 안정성을 평가합니다. 현재 시간의 일관성( $d^2$ )과 짧은 이력의 불일치 항( $r_{hist}$ )을 결합하여 피드백 잔차를 계산합니다.
가중치 업데이트: 이 잔차를 바탕으로 쌍의 가중치를 지수적으로 감소시킵니다. 안정적인 쌍은 다음 IRLS 포즈 업데이트를 위해 높은 가중치를 유지하는 반면, 표류하거나 신뢰할 수 없는 대응 관계는 억제됩니다. 이는 포즈 정밀화가 신뢰할 수 있는 앵커에 의해서만 유도되는 피드백 루프를 생성합니다.

4. 앵커 가이드 특징 융합 (Anchor-Guided Feature Fusion)

특징량 워핑 (Feature Warping): 정밀하게 조정된 최종 포즈를 사용하여 지연된 고차원 이웃 특징량을 현재 에고 프레임으로 워핑합니다.
박스 단위 조정 (Box-wise Adjustment): 학습되지 않은 결정론적 "박스 단위 특징 이동기(box-wise feature mover)"가 지연된 이웃 박스의 BEV 직사각형을 추출하고, 이를 양선형 샘플링(bilinear sampling)을 통해 전파된 현재 시간의 박스 위치로 재배치합니다. 이는 밀집 융합 전 주요 전경 변위(foreground displacement)를 교정합니다.
융합: 교정된 특징량은 표준 다중 스케일 융합 모듈(예: PointPillars 백본)을 통해 에고 특징량과 함께 집계되어 최종 탐지 디코딩을 수행합니다.

주요 기여

결합된 불일치 분석: 본 논문은 공간 및 시간 모듈을 별도로 계층화하는 방식이 결합된 섭동(perturbation) 하에서 실패함을 입증합니다. 이는 잔여 공간 오차가 시간 전파를 오염시켜 불안정한 융합을 초래하기 때문입니다.
앵커 중심 프레임워크: Co-Anchor는 밀집된 BEV 공간에서의 암시적 정렬의 복잡성을 피하기 위해, 포즈 교정, 시간 전파, 신뢰성 추정을 위한 공유 인터페이스 역할을 하는 희소한 객체 수준 표현을 도입합니다.
통합 폐쇄 루프 설계: 이 방법은 공간 정밀화, 시간 전파, 현재 시간 검증을 긴밀하게 결합합니다. 현재 시간에서의 신뢰성을 명시적으로 검증하고 이 신뢰도를 포즈 정밀화에 피드백함으로써, "고스트" 탐지의 전파를 방지합니다.
효율성: 밀집한 특징량을 반복적으로 처리하는 대신 희소한 앵커를 기반으로 작동함으로써, 프레임워크는 우수한 정확도-효율성 트레이드오프를 유지합니다.

실험 결과

방법론은 다양한 노이즈 조건(예: "Joint-Hard" - 200ms 지연 + 0.6m/0.6° 포즈 노이즈) 하에서 OPV2V(시뮬레이션) 및 V2V4Real(실제 환경) 데이터셋을 통해 평가되었습니다.

강건성: Co-Anchor는 결합된 섭동 조건에서 기존의 최첨단 베이스라인들(V2X-ViT, CoAlign, TraF-Align 및 계층형 베이스라인 baseST 포함)보다 성능이 크게 뛰어납습니다.
- V2V4Real의 Joint-Hard 조건에서, Co-Anchor는 67.04 AP@0.5를 달성하여 가장 우수한 베이스라인(baseST, 61.04)보다 6.00 AP 높았습니다.
- OPV2V의 Joint-Hard 조건에서, 95.15 AP@0.5에 도달하여 baseST(90.19)보다 5 AP 이상 앞섰습니다.
클린 설정: 노이즈가 없는 시나리오에서도 Co-Anchor는 기존 방법들과 경쟁 가능한 수준을 유지하지만, 항상 절대적인 최고 성능을 보이는 것은 아닙니다. 이는 강건성을 위해 클린 케이스의 정확도를 희생하지 않음을 나타냅니다.
정성적 분석: 시각적 결과에 따르면, Co-Anchor는 결합된 노이즈에 직면했을 때 박스가 밀리거나 탐지가 누락되는 현상을 겪는 베이스라인들에 비해 중복 응답이나 모션 고스트가 적게 발생합니다.
효율성: 폐쇄 루프 피드백은 계산 오버헤드를 최소한으로 추가합니다. 한 번의 피드백만으로도 대부분의 강건성 이득을 얻으며, 두 번째 라운드는 미미한 개선만을 제공합니다. Co-Anchor는 V2X-ViT와 같은 트랜스포머 기반 베이스라인보다 훨씬 빠릅니다.

의의 및 주장

본 논문은 Co-Anchor가 협력적 인지의 핵심적인 간극, 즉 결합된 시공간 불일치를 효과적으로 처리하지 못하는 문제를 해결한다고 주장합니다. 밀집한 특징 정렬에서 희소한 객체 수준 앵커 시스템과 폐쇄 루프 검증 메커니즘으로 전환함으로써, Co-Anchor는 정확도와 효율성 사이의 견고한 균형을 달ach합니다.

저자들은 이 접근 방식이 통신 지연과 위치 추정 노이즈가 불가피한 실제 배포 환경에서 특히 가치 있다고 강조합니다. 이 방법은 완벽한 동기화나 정밀한 상대 포즈에 의존하는 대신, 협력자의 데이터를 동적으로 필터링하고 현재 시간 검증을 기반으로 정렬을 정밀하게 조정합니다. 이 연구는 향후 시스템이 공간 및 시간 정렬을 독립적인 단계로 취급하기보다, 협력자의 증거를 검증하는 통합된 앵커 기반 접근 방식을 지향해야 함을 시사합니다.