기술 요약: ARCANE-PedSynth

문제 정의

자율주행에서 보행자 횡단 의도를 예측하는 것은 복잡한 도시 환경에서 특히 안전에 치명적인 인식 작업입니다. 기존 실세계 데이터셋 (예: JAAD, PIE) 은 심각한 클래스 불균형으로 고통받고 있으며, 횡단 사건은 관찰된 프레임의 10% 미만을 차지하며, 무단 횡단, 급격한 돌진, 또는 도로 중앙 정지와 같은 안전에 치명적인 엣지 케이스에 대한 충분한 표현이 부족합니다. 또한, 횡단 의도와 같은 주관적 속성의 수동 주석은 비용이 많이 들고 일관성이 없습니다. CARLA 와 같은 시뮬레이터를 통한 합성 데이터 생성은 무제한의 픽셀 단위 정밀한 정답 (ground truth) 을 제공할 수 있는 길을 제시하지만, CARLA 의 네이티브 AI 보행자 시스템은 도로 표면을 장애물로 취급하는 내비게이션 메시에 의해 제한되어, 기본 횡단률이 불과 9% 에 불과합니다. furthermore, 기존 합성 솔루션들은 종종 다중 모달 센싱, 이진 레이블을 넘어선 밀집된 행동 주석, 또는 횡단률을 제어하고 다중 보행자 상호작용을 동적으로 시뮬레이션할 수 있는 기능이 부족합니다.

방법론

저자들은 밀집된 행동 주석을 가진 합성 다중 보행자 데이터셋을 생성하도록 설계된 오픈소스 CARLA 기반 소프트웨어 프레임워크인 ARCANE-PedSynth를 제시합니다. 이 시스템은 Docker Compose 를 통해 오케스트레이션되어, 의존성 충돌을 피하기 위해 수정되지 않은 CARLA 서버를 커스텀 생성 및 포즈 추출 컨테이너와 분리합니다.

1. 하이브리드 AI-수동 제어 아키텍처

9% 횡단률 제한을 극복하기 위해, 이 프레임워크는 이중 모드 보행자 제어 시스템을 사용합니다:

• AI 모드: 보행자들은 CARLA 의 네이티브 AI 컨트롤러 (go_to_location) 를 사용하여 보도를 따라 이동합니다.
• 수동 모드: AI 컨트롤러가 정지되고, 보행자들은 특정 횡단 벡터, 속도, 및 정지를 실행하기 위해 WalkerControl 명령을 통해 직접 제어됩니다.
• 4 단계 횡단률 엔지니어링: 구성 가능한 전략을 통해 유효 횡단률을 9% 에서 40~75% 로 높입니다:
  1. 횡단자 할당: 생성된 보행자의 90% 를 잠재적 횡단자로 지정합니다.
  2. 행동 유형 할당: 행동 분배 (50% 정상, 25% 급작스러운, 25% 무단 횡단).
  3. 도로 중앙 주입: 측면 오프셋을 가진 주행 차선에서 "도로 중앙 무단 횡단자"를 직접 생성합니다.
  4. 그룹 형성: 2~3 명의 보행자를 40% 확률로 그룹화하여 동기화합니다.

2. 행동 유한 상태 기계 (FSM)

각 보행자는 12 상태 FSM(예: 보도 걷기, 주변 살피기, 교통 확인, 망설임, 도로 횡단, 횡단 중 정지, 후퇴) 에 의해 구동되며, 이는 충돌까지의 시간 (TTC) 간격 수용 모델에 의해 지배됩니다. 횡단, 정지, 또는 후퇴에 대한 결정은 주변 차량의 근접성과 속도에 기반합니다.

• 캐릭터 아키타입: 다섯 가지 뚜렷한 아키타입 (비즈니스맨, 캐주얼한 사람, 노인, 젊은 사람, 아이를 동반한 부모) 은 관찰 연구를 바탕으로 속도, 망설임 지속 시간, 주의 수준, 그리고 고유한 횡단 성향에 대한 기본 매개변수를 정의합니다.
• 상황별 속도: 보행자들은 실세계 변이성을 시뮬레이션하기 위해 네 가지 속도 프로파일 (신중한, 정상, 급한, 산만한) 사이를 동적으로 전환합니다.

3. 다중 모달 센싱 및 주석

이 프레임워크는 이동하는 이고 (ego) 차량에 장착된 세 가지 센서로부터 동기화된 데이터를 캡처합니다:

• RGB 카메라: 1280×720, 90° 시야각, 30 FPS.
• LiDAR: 64 채널, 100m 범위, 20 Hz.
• DVS (동적 비전 센서): 마이크로초 단위의 밝기 변화를 캡처하는 이벤트 카메라.

주석 파이프라인:

• 가시성 게이트: 보행자는 70m 이내, 카메라의 시야각 내에 있으며, 최소 바운딩 박스 크기 이상일 때만 주석됩니다.
• 레이블: 차선 검증된 이진 횡단 레이블 (C/NC), 행동 상태, 바운딩 박스, 이고 차량까지의 거리, 그리고 이벤트까지의 시간 (TTE) 마커를 포함합니다.
• 포즈 추출: 복잡한 투영이 필요한 CARLA 의 내부 3D 스키대 대신, 이 프레임워크는 렌더링된 RGB 프레임에 AlphaPose와 OpenPose를 적용하여 COCO-17 형식의 2D 키포인트를 생성합니다. 이 접근 방식은 실세계 처리 파이프라인과의 일관성을 보장하며, 정답 바운딩 박스가 제공될 때 거의 완벽한 검출률을 달성합니다.

4. 재현성

이 시스템은 CLI 파라미터화 및 Docker 컨테이너화를 통해 완전히 재현 가능합니다. 이는 여러 날씨 조건과 도시에서 배치 생성을 지원하며, 확장된 시뮬레이션 실행 중 메모리 누수를 방지하기 위한 강력한 6 단계 정리 프로토콜을 갖추고 있습니다.

주요 기여

1. 제어 가능한 횡단률: 목표 횡단률을 최대 75% 까지 구성할 수 있는 최초의 오픈소스 CARLA 메커니즘으로, 실세계 데이터셋의 클래스 불균형 문제를 직접 해결합니다.
2. 밀집된 행동 모델링: 12 상태 FSM 과 다섯 가지 캐릭터 아키타입을 도입하여, 이전 합성 데이터셋에 없던 미묘한 행동 (망설임, 후퇴, 그룹 역학) 을 시뮬레이션할 수 있게 합니다.
3. 다중 모달 동기화: 프레임 단위 주석을 가진 동기화된 RGB, LiDAR, DVS 스트림을 생성하여 센서 융합 연구를 용이하게 합니다.
4. PedSynth++ 데이터셋: 이 프레임워크는 12 가지 날씨 조건과 4 개의 CARLA 도시에서 533 개의 다중 보행자 클립을 생성하는 데 사용되었으며, **PedSynth++**는 177,000 개 이상의 주석된 프레임을 포함합니다.

결과

이 논문은 PedGT 모델 (그래프-트랜스포머 아키텍처) 을 통해 프레임워크의 유효성을 입증합니다:

• 성능: Town01 과 Town02 의 합성 PedSynth++ 데이터만으로 훈련된 PedGT 는 홀드아웃 Town05 테스트 분할에서 F1 점수 89를 달성했습니다.
• 시간 창: 16 프레임 입력 창이 최적의 성능 (F1=89) 을 제공하여 맥락과 신호 희석을 균형 있게 유지했습니다.
• 주석 품질: 포즈 추출을 위해 시뮬레이터 생성 정답 바운딩 박스를 사용한 것은 실세계 데이터셋 (결손 관절이 흔함) 에 비해 훨씬 높은 포즈 검출률을 초래하여 주석의 내부 일관성을 검증했습니다.
• 정규화 불필요: 기하학적으로 일관된 주석은 절대적인 공간 관계 (예: 도로 가장자리와의 근접성) 를 보존하여, 모델이 공격적인 데이터 정규화 없이도 효과적으로 학습할 수 있게 했습니다.

중요성 및 주장

저자들은 ARCANE-PedSynth 가 제어 가능한 횡단률, 다중 보행자 동적 교통, 다중 모달 센싱, 그리고 밀집된 행동 주석을 결합한 재현 가능한 오픈소스 파이프라인을 제공함으로써 기존 도구들의 중요한 간극을 메운다고 주장합니다.

• 연구 활성화: 이 프레임워크는 균형 잡힌 희귀 사건 데이터셋에서의 훈련, 이진 레이블을 넘어선 행동 다양성 연구, 그리고 다양한 날씨 조건 하에서의 엄격한 센서 융합 실험과 같이 이전에 어렵거나 불가능했던 연구 방향을 가능하게 합니다.
• 적대적 훈련: 희귀 사건 상태 (급격한 횡단, 후퇴, 도로 중앙 정지) 의 포함은 자율주행 차량의 견고성을 테스트하는 데 필수적인 코너 케이스를 생성합니다.
• 한계: 저자들은 데이터가 합성적으로 생성되고 FSM 이 규칙 기반이지만, 실세계의 사회적 협상, 시선 기반 의사소통, 또는 문화에 의존하는 규범의 풍부함을 완전히 포착하지는 못한다고 겸손하게 지적합니다. 따라서, 이 프레임워크는 강력한 도메인 내 학습 가능성을 보여주지만, **시뮬레이션에서 실세계로의 일반화 (sim-to-real generalization)**는 도메인 적응 기법이 필요한 활발한 연구 분야로 남아 있습니다.

이 소프트웨어는 MIT 라이선스로 출시되지만, 포즈 추출을 위한 서드파티 구성 요소 (OpenPose, SMPL/VPoser) 는 별도의 라이선스 제한을 따릅니다.