Multi-View In-Cabin Monitoring System for Public Transport Vehicles

이 논문은 3D 주석이 포함된 동기화된 RGB 및 깊이 이미지를 특징으로 하는 대중교통 차량용 다중 뷰 객실 모니터링 데이터셋과 함께, 다중 뷰 3D 탐지 모델을 평가하기 위한 캘리브레이션 파이프라인 및 벤치마킹 도구를 소개한다.

핵심

붐비는 시내버스 한 대를 북적이는 움직이는 거실이라고 상상해 보세요. 보통, 사람들이 어디에 앉아 있고, 서 있고, 움직이는지를 정확히 알고 싶다면, 모든 각도에서 지켜보는 클립보드를 든 사람들을 팀 단위로 투입해야 할 것입니다. 하지만 자율주행 버스의 세계에서는 컴퓨터가 이 일을 자동으로 수행해야 합니다.

이 논문은 이러한 '컴퓨터 두뇌'를 위한 새로운 "훈련 학교"를 소개합니다. 연구진이 무엇을 만들었는지, 그리고 어떻게 수행했는지를 쉬운 비유를 통해 설명해 드리겠습니다.

1. 문제점: "사각지대" 버스

대부분의 자율주행 기술은 도로를 보기 위해 창밖을 내다보는 눈을 가진 자동차와 같습니다. 하지만 버스 '내부'에서 무슨 일이 일어나고 있는지는 어떨까요?

• 과제: 버스 내부에서는 사람들이 서로를 가리고(폐쇄/occlusion), 좌석은 빛을 반사하며, 카메라는 종종 방의 아주 작은 부분만을 보게 됩니다. 카메라가 하나뿐이라면, 그것은 단 하나의 좌석에서 찍은 단 한 프레임의 영상만 보고 전체 영화를 이해하려는 것과 같습니다. 당신은 나머지 절반의 상황을 놓치게 됩니다.
• 공백: 컴퓨터가 명확하게 볼 수 있도록 가르칠 수 있는 충분한 사례(데이터셋)를 갖춘 좋은 "교과서"가 부족했습니다. 즉, 다양한 각도에서 버스 내부의 사람들을 보여주는 데이터가 없었습니다.

2. 해결책: "슈퍼 비전"을 갖춘 "스마트 버스"

연구팀은 독일에서 디지털화된 특수 시내 버스를 구축하고 여기에 "슈퍼 비전" 시스템을 장착했습니다.

• 눈: 그들은 안쪽을 향하는 4대의 카메라(방 구석에 서 있는 보안 요원처럼)와 방의 3D 지도를 만드는 박쥐의 초음파 탐지(echolocation) 역할을 하는 **회전식 레이저 스캐너(LiDAR)**를 설치했습니다.
• 데이터: 그들은 이 센서들이 함께 작동하는 9,000개 이상의 동기화된 순간을 기록했습니다. 이는 마치 네 개의 각도에서 동시에 방을 볼 수 있는 4D 영화와 3D 깊이 지도(depth map)를 모두 가진 것과 같습니다.

3. 마법 같은 기술: 선생님 없이 컴퓨터를 가르치는 법

보통 컴퓨터에게 사람을 인식하도록 가르치려면, 인간이 수천 장의 사진 속 인물 주변에 직접 상자를 그려야 합니다. 그 작업은 시간이 너무 오래 걸립니다.

• 파이프라인: 모든 상자를 일일이 손으로 그리는 대신, 연구진은 "로봇 조수" 파이프라인을 만들었습니다:
  1. 탐정: AI를 사용하여 비디오에서 사람을 찾아냅니다.
  2. 3D 조각가: 2D 카메라 이미지만을 바탕으로 사람의 3D 체형을 추측하는 또 다른 AI를 사용합니다.
  3. 심판: 네 대의 카메라가 동일한 사람을 각각 조금씩 다르게 볼 수 있기 때문에, 연구진은 심판 역할을 하는 시스템을 구축했습니다. 이 시스템은 네 가지 서로 다른 예측치를 가져와 비교한 뒤, 가장 정확한 "평균" 3D 위치를 선택합니다.
  4. 결과: 결과적으로, 인간의 도움을 거의 받지 않고도 모든 사람에 대해 정밀한 3D "골격"과 3D 상자(bounding box)가 자동으로 생성된 데이터셋을 얻게 되었습니다.

4. 테스트: 컴퓨터가 학습할 수 있는가?

연구진은 단순히 데이터만 만든 것이 아니라, 기존의 컴퓨터 두뇌들이 이 데이터를 통해 학습할 수 있는지 테스트했습니다.

• 시험: 그들은 유명한 AI 모델들(예: "Lift-Splat-Shoot" 및 "BEVFusion")을 가져와 이 새로운 데이터를 사용하여 버스 안의 사람들을 찾아내도록 학습시켰습니다.
• 성적: 모델들은 특히 약간의 오차 범위를 허용했을 때 준수한 성적을 보였습니다. 그러나 이 테스트는 단 하나의 카메라 뷰만 보는 것이 얼마나 위험한지(각도에 따라 약 19%에서 60%의 사람을 놓침)를 보여주었으며, 이는 전체 그림을 얻기 위해 왜 반드시 여러 대의 카메라가 필요한지를 증명했습니다.

5. 무엇이 들어있는가?

연구진은 이 패키지 전체를 다른 과학자들에게 무료로 제공합니다. 여기에는 다음이 포함됩니다:

• 비디오 및 레이저 데이터.
• 3D 라벨을 생성하기 위한 "로봇 조수" 도구.
• 표준 자율주행 소프트웨어(nuScenes 형식)에 적합한 포맷.

요약

이 논문은 자율주행 버스를 위한 첨단 훈련 체육관을 건설하는 과정과 같습니다. 이전까지 버스들은 흐릿한 한 쪽 눈으로 객실 내부를 보려고 애쓰고 있었습니다. 이제 버스에는 네 대의 고화해상도 카메라, 3D 레이저 스캐너, 그리고 (사람들이 좌석 뒤에 숨거나 빽빽하게 모여 있을 때도 승객을 추적할 수 있도록 돕는) "완벽하게 채점된" 연습 시험(데이터셋)이 갖춰진 체육관이 생겼습니다.

연구진이 명시적으로 하지 않은 것:
이 논문은 엄격하게 사람들이 어디에 있는지, 그리고 무엇을 하고 있는지(앉아 있는지, 서 있는지, 걷고 있는지)를 감지하는 데 집중합니다. 연구진은 이 시스템을 실제 도로를 달리는 버스에서 테스트하지 않았으며, 이 시스템이 의료 응급 상황을 해결하거나 인간 운전자를 대체할 수 있다고 주장하지도 않았습니다. 이것은 미래 연구를 위한 기초적인 도구입니다.

기술 요약

기술 요약: 대중교통 차량을 위한 다중 뷰 인캐빈(In-Cabin) 모니터링 시스템

문제 정의
자율 주행 기술이 외부 인지 분야에서는 크게 발전한 반면, 차량 내부—특히 대중교통 내부—를 이해하는 기술은 여전히 미흡한 상태이다. 인캐빈 모니터링은 승객 수 계산, 위치 추적, 접근성 지원, 그리고 안전(예: 공격성 또는 기물 파손 감지)을 위해 매우 중요하다. 그러나 기존 솔루션들은 데이터 병목 현상에 직면해 있다. 현재의 인캐빈 데이터셋은 규모가 제한적인 경우가 많고, 단일 카메라 뷰에 의존하며, 버스 내부에서 흔히 발생하는 심각한 폐쇄(occlusion), 혼잡, 반사 표면을 처리하는 데 필요한 다중 모드 동기화가 부족하다. 또한, 안쪽을 향하는 카메라는 시야(field-of-view) 중첩이 최소화되어 있어 표준적인 캘리브레이션 기술을 적용하기 어렵다는 점에서 다중 센서 캘리브레이션이 까다롭다.

방법론
저자들은 디지털화된 독일 시내 버스를 활용하여 다중 뷰 인캐빈 데이터셋을 캡처, 캘리브레이션 및 어노테이션(annotation)하기 위한 종합적인 파이프라인을 제시한다.

1. 데이터 획득:

   • 센서: 이 설정은 4대의 안쪽 지향형 Intel RealSense D435i 카메라(RGB 및 스테레오 깊이 제공)와 회전하는 Ouster OS0-128 LiDAR를 사용한다.
   • 동기화: 카메라는 15Hz, LiDAR는 10Hz로 작동한다. 데이터는 타임스탬프를 통해 동기화되며, 각 LiDAR 프레임을 시간상 가장 가까운 카메라 프레임들과 쌍으로 매칭한다.
   • 콘텐츠: 데이터셋은 다양한 활동(앉기, 서기, 걷기, 마시기, 흡연하기)을 수행하는 1~2명의 승객과 안전 관련 이벤트(기물 파손, 싸움, 휠체어 진입)를 캡처한다.

2. 센서 캘리브레이션:

   • 외부 파라미터(Extrinsics): 카메라 간 중첩이 제한적이기 때문에, 저자들은 2단계 캘리브레이션 프로세스를 채택한다. 먼저, 흩어져 있는 ArUco 마커를 기반으로 COLMAP(Structure from Motion 및 Multi-View Stereo)을 사용하여 캐빈 기하 구조를 재구성한다.
   • **미터법 정렬(Metric Alignment): 알려진 마커 크기와 차량 중심선에 배치된 특정 "원점 마커(origin marker)"를 사용하여 재구성을 스케일링하고 방향을 설정함으로써 지면 정렬된 미터법 프레임을 구축한다.
   • LiDAR 정렬: LiDAR 포인트 클라우드를 ICP(Iterative Closest Point)를 사용하여 COLMAP 재구성에 등록하며, 이를 통해 0.0071m의 RMSE(Root Mean Square Error)를 달성한다.

3. 의사 라벨링(Pseudo-Labeling) 파이프라인:

   • 2D 탐지: 2D 탐지기가 후보 인원을 식별한 후, 오탐지(예: 포스터)를 제거하기 위해 수동 필터링을 수행한다.
   • 3D 포즈 추정: 파이프라인은 2D 탐지와 알려진 카메라 내부 파라미터를 사용하여 3D 인간 메쉬(mesh)와 스켈레톤을 생성하기 위해 SAM 3 Body 3D를 사용한다.
   • 다중 뷰 집계: 뷰 간의 불일치(최대 약 1m까지 차이 발생 가능)를 해결하기 위해 저자들은 3단계 집계를 구현한다:
     1. 카메라 제약 클러스터링: 동일한 카메라로부터의 두 탐지가 동일한 클러스터에 들어가지 않도록 보장하면서 포즈 가설을 클러스터링한다.
     2. 중앙값 포즈 선택: 이상치의 영향을 줄이기 위해 클러스터 중심에 가장 가까운 가설을 선택한다.
     3. 정밀화(Refinement): Nelder–Mead 알고리즘을 사용하여 다중 뷰 재투영 오차를 최소화하도록 선택된 포즈의 전역 이동(global translation)을 최적화한다.
   • 3D 바운딩 박스: 정제된 3D 메쉬로부터 중심, 크기 및 피험자의 골반 회전 대비 요(yaw) 각도로 정의되는 방향성이 있는 3D 바운딩 박스를 도출한다.

4. 데이터셋 형식:

   • 최종 데이터셋은 기존 자율 주행 인지 코드베이스와의 호환성을 용이하게 하기 위해 nuScenes 형식으로 변환된다.

주요 기여

• 데이터셋: 3D 포즈 및 방향성 3D 바운딩 박스 어노테이션을 포함하는 9,136개의 동기화된 샘플을 가진 다중 뷰, 다중 모드(RGB, depth, LiDAR) 인캐빈 데이터셋을 제공한다. 이는 3D 포즈 어노테이션을 포함한 이와 같은 종류의 최초 공개 데이터셋이다.
• 파이프라인: 중첩이 적은 다중 뷰 환경에서도 고품질의 3D 어노테이션을 생성할 수 있는 실용적인 캘리브레이션 및 의사 라벨링 파이프라인을 제공한다.
• 벤치마크: 인캐빈 데이터에 대한 최신 다중 뷰 3D 탐지 모델(Lift-Splat-Shoot, BEVFusion)의 베이스라인 결과를 제공한다.

실험 결과
저자들은 7,128/2,008의 훈련/검증 분할로 여러 모델을 평가하였다:

• 카메라 전용 모델: ResNet-50 및 SwinT 백본을 사용하는 Lift-Splat-Shoot(LSS)는 강한 성능을 보였으며, 0.5m에서의 평균 정밀도(AP)는 ResNet의 경우 0.9630, SwinT의 경우 0.7563에 달했다.
• 다중 모드 모델: LiDAR와 카메라를 융합한 BEVFusion은 카메라 전용 LSS 변형 모델보다 낮은 성능(AP@0.5m: 0.7337)을 보였다. 저자들은 이를 모델이 LiDAR에 과도하게 의존하기 때문으로 분석하였으며, LiDAR는 밀집된 카메라 특징에 비해 제한적이고 희소한 내부 환경에서는 효과가 떨어지는 것으로 나타났다.
• 뷰 분석: 단일 뷰 탐지의 미검출률(miss rate)은 Front Left의 18.78%에서 Center Left의 60.69%까지 나타났으며, 이는 견고한 인캐빈 인지를 위해 다중 뷰 융합이 필수적임을 입증한다.

의의 및 주장
본 논문은 이 연구를 대중교통을 위한 견고한 인캐빈 인지의 기초 단계로 포지셔닝한다. 저자들의 주장은 다음과 같다:

1. 데이터 부족 문제 해결: 이 데이터셋은 도전적인 차량 내부 기하 구조에 특화된 대규모 다중 모드 리소스를 제공함으로써 중요한 공백을 메운다.
2. 캘리브레이션 가능성: 제안된 캘리브레이션 파이프라인은 안쪽을 향하는 카메라의 낮은 중첩 제약을 성공적으로 처리하여 미터법적으로 일관된 3D 재구성을 가능하게 한다.
3. 벤치마킹 유용성: nuScenes 형식 변환 및 베이스라인 결과는 향다중 뷰 인캐빈 인지 연구를 위한 표준화된 테스트베드를 제공한다.
4. 제한 사항 인정: 저자들은 파이프라인이 효과적이긴 하지만 실패가 없는 것은 아니라고 인정하였다. 즉, 심한 폐쇄 상황에서는 ID 병합/분리가 발생할 수 있으며, 엄격한 탐지 임계값에서는 라벨 노이즈가 남을 수 있다. 또한 현재 데이터셋이 단일 차량 유형과 정지된 시나리오에 국한되어 있음을 언급하며, 향-후 연구가 다양성과 일반화 능력을 높이는 데 집중해야 함을 시사하였다.