When the City Teaches the Car: Label-Free 3D Perception from Infrastructure

1. 문제 정의 (Problem)

• 기존의 한계: 자율주행 차량의 견고한 3D 객체 감지 모델 개발은 대규모 데이터 수집과 수동 주석에 크게 의존합니다. 그러나 도시별, 지역별로 도로 구조, 인프라, 교통 패턴이 상이하기 때문에 새로운 지역에 배포할 때마다 반복적인 '수집 - 주석 - 재학습' 사이클이 필요하며, 이는 비용과 시간 측면에서 비현실적입니다.
• 새로운 기회: 현대 도시는 교통 모니터링을 위해 교차로와 도로변에 고정형 센서 (RSU, Roadside Units) 를 점차 많이 설치하고 있습니다. 이러한 RSU 는 고정된 시점 (Stationary Viewpoint) 에서 동일한 장면을 반복적으로 관측할 수 있는 고유한 특성을 가집니다.
• 핵심 질문: 수동 주석 없이 RSU 가 스스로 학습한 지식을 차량 (Ego Vehicle) 에게 전수하여, 차량이 독립적으로 작동할 수 있는 3D 감지 모델을 학습시킬 수 있을까요?

2. 방법론 (Methodology)

저자들은 **"인프라에 의한 레이블 없는 3D 감지 (Infrastructure-Taught, Label-Free 3D Perception)"**라는 새로운 학습 패러다임을 제안하며, 이를 구현하기 위해 3 단계 파이프라인을 설계했습니다.

Stage 1: RSU 의 비지도 학습 (Unsupervised RSU Training)

• 목표: 수동 주석 없이 각 RSU 가 자신의 고정 시점에서만 데이터를 학습하여 지역 특화 감지 모델을 만듭니다.
• 기법: RSU 의 고정된 시점 특성을 활용합니다. 배경은 시간적으로 일관되지만 (Temporal Consistency), 차량이나 보행자와 같은 동적 객체는 프레임마다 나타났다가 사라집니다.
  • PP Score (Persistence Point Score): MODEST [74] 에서 제안된 방법을 사용하여, 시간적으로 불일치하는 점 (동적 객체) 과 일관된 점 (배경) 을 구분합니다.
  • 클러스터링 및 추적: DBSCAN 을 사용하여 동적 점들을 군집화하고, 객체 추적 (Tracking) 기법을 적용하여 궤적을 부드럽게 하고 신뢰도 높은 프레임 (RSU 에 가장 가까운 시점) 의 박스 크기를 기준으로 모든 박스를 보정합니다.
• 결과: 각 RSU 는 수동 주석 없이도 자체적으로 학습된 로컬 감지기를 갖게 됩니다.

Stage 2: 지식 전수 및 집계 (Label Transfer and Aggregation)

• 목표: 학습된 RSU 들이 주행 중인 차량 (Ego) 에게 예측값을 전송하여 가짜 레이블 (Pseudo-labels) 을 생성합니다.
• 과정:
  • 차량이 RSU 의 통신 범위 내에 들어오면, RSU 는 자신의 3D 감지 결과를 차량의 좌표계로 변환하여 전송합니다.
  • 차량은 여러 RSU 로부터 받은 중첩된 예측값들을 집계합니다.
  • 거리 가중치 NMS: 여러 RSU 가 같은 객체를 감지했을 때, 객체에 더 가까운 RSU 의 예측을 더 신뢰하도록 거리 기반 비최대 억제 (NMS) 를 적용하여 최종 가짜 레이블을 생성합니다.
  • 통신 노이즈 (위치 오차, 지연 등) 를 시뮬레이션하여 현실성을 높였습니다.

Stage 3: 차량 감지기 학습 (Ego Detector Training)

• 목표: 수집된 가짜 레이블을 사용하여 차량용 3D 감지기를 오프라인으로 학습합니다.
• 특징: 학습이 완료된 차량 감지기는 배포 시점에 RSU 나 통신 연결이 필요 없는 독립형 (Standalone) 모델이 됩니다. 즉, 학습 단계에서만 인프라의 도움을 받습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 연구 방향 제시: 도시 인프라를 분산된 교사로 활용하여 수동 주석 없이 차량을 학습시키는 '인프라 교육 (Infra-taught)' 패러다임을 정립했습니다.
2. 완전 레이블 없는 파이프라인 개발: RSU 가 비지도 학습을 통해 지역 감지기를 만들고, 이를 차량에게 전수하여 독립적인 차량 감지기를 생성하는 3 단계 프로세스를 구현했습니다.
3. CIVET 데이터셋 및 개념 증명: CARLA 기반의 시뮬레이션 환경인 CIVET (CIty-as-a-teacher for ego-VEhicle Training) 데이터셋을 구축하고, 4 개의 도시 (시골/도심) 에서 이 패러다임의 실현 가능성과 확장성을 체계적으로 검증했습니다.

4. 실험 결과 (Results)

저자들은 CenterPoint 와 PointPillars 와 같은 최신 3D 감지기를 사용하여 실험을 수행했습니다.

• 성능: 완전 레이블 없는 파이프라인은 차량 감지 (Vehicle Detection) 에서 82.3% AP를 달성했습니다. 이는 수동 주석으로 학습된 차량 감지기의 이론적 상한선 (94.4% AP) 에 비해 매우 높은 성능입니다.
• 확장성: 4 개의 도시 (총 48 개 RSU) 데이터를 통합하여 학습했을 때, 다양한 환경에서 82.7% AP를 기록하며 패러다임의 확장성을 입증했습니다.
• 상호 보완성: 기존 차량 중심의 레이블 없는 방법 (예: Oyster) 과 인프라에서 생성된 레이블을 결합했을 때, 단일 소스 사용 대비 약 10% AP 추가 향상을 보였습니다. 이는 두 접근 방식이 서로 다른 강점을 가진다는 것을 의미합니다.
• 도메인 적응: 한 지역 (시골) 에서 학습된 모델을 다른 지역 (도심) 으로 적용할 때 성능이 떨어지지만, 해당 지역의 인프라 가짜 레이블로 미세 조정 (Fine-tuning) 하면 성능이 크게 회복되거나 오히려 처음부터 학습한 것보다 좋아지는 경우가 있었습니다.

5. 의의 및 결론 (Significance)

• 비용 절감: 이 연구는 자율주행 차량의 배포 비용을 획기적으로 줄일 수 있는 가능성을 보여줍니다. 매번 새로운 지역에 차량을 투입할 때마다 수동 주석을 할 필요 없이, 해당 지역의 인프라가 학습된 지식을 제공하면 됩니다.
• 학습 신호의 원천 변화: 기존 연구가 차량 자체의 관측 데이터나 다른 차량과의 협력 (Collaborative Perception) 에 집중했다면, 본 연구는 고정된 인프라를 학습 신호의 원천으로 삼는다는 점에서 혁신적입니다.
• 실용성: 학습 단계에서만 인프라가 필요하고, 배포 시에는 차량이 독립적으로 작동하므로, 실제 도로 환경에서의 통신 부하나 실시간 연동 문제를 우회할 수 있습니다.

결론적으로, 이 논문은 도시 인프라가 자율주행 차량의 '눈'을 가르치는 교사 역할을 할 수 있음을 실증적으로 증명하며, 레이블 없는 3D 감지 분야에서 인프라 기반 학습이 중요한 보완적 패러다임이 될 수 있음을 시사합니다.