Adaptive Entropy-Driven Sensor Selection in a Camera-LiDAR Particle Filter for Single-Vessel Tracking

이 논문은 카메라와 LiDAR 의 상호 보완적 특성을 활용하여 정보 이득 (엔트로피 감소) 기반의 적응형 센서 선택 정책을 도입한 파티클 필터 추적기를 제안하고, 키프로스 아이나 나파 마리나에서의 실증 실험을 통해 단일 선박 추적의 정확성과 연속성을 동시에 개선하는 것을 입증했습니다.

핵심

🌊 1. 문제: 왜 한 가지 눈만으로는 부족할까요?

바다에서 배를 추적할 때는 두 가지 주요 도구를 씁니다.

1. 카메라 (눈): 사람의 눈처럼 생겼습니다. 배의 모양을 잘 보고 식별할 수 있지만, 밤이 되거나 비가 오면, 안개가 끼면 아무것도 못 봅니다.
2. 라이다 (레이저 눈): 빛이나 날씨에 상관없이 거리를 정확히 재줍니다. 하지만 너무 멀리 가면 레이저가 약해져서 배를 못 잡습니다.

비유하자면:

카메라는 해가 잘 드는 날에 길을 잘 아는 안내자이고, 라이다는 어둠 속에서도 거리를 재는 초음파 센서입니다.
그런데 안내자가 밤이 되면 실명하고, 초음파 센서는 너무 멀리 가면 소리가 안 들린다면 어떨까요? 배를 잃어버리게 됩니다.

🤖 2. 해결책: "지능적인 선택"을 하는 추적 시스템

연구팀은 두 도구를 모두 쓰는 것뿐만 아니라, **"지금 이 순간 어떤 도구가 더 유용할까?"**를 스스로 판단하는 시스템을 만들었습니다.

핵심 아이디어: "정보의 양"을 재는 저울

시스템은 매순간 두 가지 질문을 던집니다.

• "지금 카메라로 보면 배의 위치를 얼마나 더 정확히 알 수 있을까?"
• "지금 라이다로 보면 배의 위치를 얼마나 더 정확히 알 수 있을까?"

이때 **'엔트로피 (불확실성)'**라는 개념을 사용합니다. 쉽게 말해 **"지금 내가 모르는 게 얼마나 많은가?"**를 계산하는 것입니다.

• 만약 라이다가 배를 잘 잡을 수 있는 가까운 거리라면, 라이다를 켜고 카메라는 잠시 쉬게 합니다. (라이다가 정보를 많이 줍니다)
• 만약 배가 멀리 가서 라이다가 잡지 못한다면, 카메라로 전환합니다.

비유하자면:

마치 현명한 요리사가 같습니다.

• 재료가 신선하고 가깝다면 (라이다 영역), 정밀한 칼 (라이다) 을 써서 다듬습니다.
• 재료가 멀리 있거나 칼이 무뎌졌다면 (라이다 한계), 대신 손으로 만져보거나 (카메라) 다른 도구를 씁니다.
• 항상 두 가지 도구를 동시에 쓰느라 피곤해하는 게 아니라, 상황에 맞춰 가장 효율적인 도구 하나를 골라 쓰는 것입니다.

🛥️ 3. 실험: 실제 바다에서 테스트

이 시스템은 키프로스의 '아이나 나파 항구'에서 실제 보트 (RIB) 를 타고 테스트했습니다. 보트에는 정확한 위치를 알려주는 GPS 가 달렸고, 이를 기준으로 시스템이 얼마나 잘 따라갔는지 비교했습니다.

결과 요약:

• 가까운 거리 (항구 안): 라이다가 압도적으로 정확했습니다. (카메라는 흔들림이 많음)
• 먼 거리: 라이다는 배를 놓쳤지만, 카메라는 계속 따라갔습니다.
• 적응형 시스템 (이 논문의 주인공):
  • 배가 가까울 때는 라이다를 선택해 아주 정확하게 추적했습니다.
  • 배가 멀어지면 스스로 판단하여 카메라로 전환해 계속 추적했습니다.
  • 결론: 가장 정확한 방법 (라이다) 과 가장 오래 잡는 방법 (카메라) 의 장점을 모두 얻었습니다.

💡 4. 왜 이 기술이 중요한가요? (실용적인 이점)

단순히 "정확하다"는 것을 넘어서, 이 시스템은 자원 절약에도 좋습니다.

• 에너지와 계산 능력 아끼기: 두 개의 센서를 항상 켜고 모든 데이터를 처리하면 컴퓨터가 과부하가 걸리고 전기도 많이 씁니다. 하지만 이 시스템은 필요할 때만 필요한 센서를 켭니다.
• 다른 일을 할 수 있게 함: 카메라를 켜지 않을 때는 그 카메라로 다른 배를 감시하거나, 고해상도 사진을 찍는 등 다른 일을 시킬 수 있습니다.

📝 한 줄 요약

이 논문은 **"날씨나 거리에 따라 한쪽 눈이 시력을 잃을 때, 두 눈 중 더 잘 보이는 눈을 자동으로 골라 배를 추적하는 똑똑한 시스템"**을 개발했다는 것입니다. 이를 통해 바다 감시는 더 정확해지고, 시스템은 더 효율적으로 작동하게 되었습니다.

기술 요약

논문 요약: 적응형 엔트로피 기반 센서 선택을 활용한 카메라 -LiDAR 입자 필터 단일 선박 추적

1. 문제 정의 (Problem Statement)

• 배경: 고정된 해안 플랫폼에서 선박을 지속적으로 정확하게 추적하는 것은 해상 보안, 교통 모니터링, 항만 관리에 필수적입니다.
• 도전 과제: 단일 센서 모달리티의 물리적 한계로 인해 신뢰성 있는 추적이 어렵습니다.
  • 카메라: 풍부한 시각적 데이터를 제공하지만, 조명 변화, 악천후, 시각적 혼란 (clutter) 에 취약하며 야간이나 강우 시 성능이 급격히 저하됩니다.
  • LiDAR: 조명과 무관한 정밀한 3D 기하학적 정보를 제공하지만, 거리 증가, 안개, 강우 시 성능이 떨어지며, 외관 기반 식별 정보는 제한적입니다.
• 목표: 다양한 해상 환경 조건에서 한 센서가 일시적으로 신뢰할 수 없더라도 추적의 연속성을 유지하면서, 자원 효율성을 높일 수 있는 강건한 다중 센서 융합 프레임워크를 개발하는 것입니다.

2. 방법론 (Methodology)

이 논문은 고정된 해안 플랫폼에 설치된 3D LiDAR 와 고정 카메라를 융합하여 단일 선박을 추적하는 시스템을 제안합니다.

• 시스템 아키텍처:

  • 센서 설정: 키프로스 아이나 나파 항만의 CMMI 스마트 마리나 테스트베드에서 Ouster OS2 LiDAR(360° 수평, 130m 범위) 와 AXIS Q8752-E 카메라 (100m 고도) 를 사용했습니다.
  • 데이터 전처리:
    • 공간 보정: 카메라 이미지와 LiDAR 스캔을 공통의 2D 세계 좌표계 (해수면) 로 매핑하기 위해 호모그래피 (Homography) 와 2D 평면 변환을 적용했습니다.
    • 시간 보정: GNSS, 카메라, LiDAR 의 비동기적 데이터 스트림을 공통 타임라인에 정렬했습니다.
    • 탐지 파이프라인:
      • 카메라: MOG2 배경 차분법과 형태학적 연산을 통해 전경 마스크를 생성하고, HOG 특징과 SVM 분류기를 사용하여 위양성 (False Positive) 을 제거했습니다.
      • LiDAR: 반사도 (Reflectivity) 및 거리 변화 마스크를 결합하여 전경을 추출하고, 박스 내 점들의 중앙값 (거리) 과 원형 평균 (방위각) 을 사용하여 극좌표 측정값을 생성했습니다.

• 핵심 알고리즘: 다중 모달 입자 필터 (Multi-Modal Particle Filter)

  • 상태 추정: 선박의 위치 $(p_x, p_y)$ 와 속도 $(v_x, v_y)$ 를 4 차원 상태로 정의하고, 일정한 속도 (CV) 모델을 사용하여 예측 단계를 수행합니다.
  • 적응형 센서 선택 전략 (Adaptive Sensing Policy):
    • 기존 방식은 모든 센서를 항상 병렬로 처리하지만, 이 논문은 **정보 이득 (Information Gain, IG)**을 기반으로 매 시간 단계 (time bin) 마다 가장 유익한 센서 하나를 동적으로 선택합니다.
    • 엔트로피 감소 (Entropy Reduction): 예측된 상태 분포의 엔트로피를 기준으로, 각 센서 (카메라, LiDAR, 또는 둘 다) 를 가상의 측정값으로 가정하여 업데이트했을 때의 사후 엔트로피를 시뮬레이션합니다.
    • 선택 기준: 엔트로피 감소량 ($H_{prior} - H_{post}$) 이 가장 큰 센서 모달리티를 선택하여 실제 상태 업데이트에 활용합니다. 이는 불필요한 데이터 처리를 줄이고 가장 정보량이 많은 센서만 활성화함을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 통합 입자 필터 프레임워크: 이질적인 센서 (카메라와 LiDAR) 의 탐지 및 특징을 단일 확률적 상태 추정기에 통합하는 구조를 제안했습니다.
2. 정보 이론 기반 적응형 센서 선택: 엔트로피 감소 (Information Gain) 를 정량화하여 실시간으로 최적의 센서 모달리티를 선택하는 새로운 전략을 도입했습니다. 이는 기존 시뮬레이션 위주의 연구를 넘어 실제 해상 환경에서 검증된 사례입니다.
3. 자원 인식형 (Resource-Aware) 추적: 모든 센서 스트림을 지속적으로 처리하는 대신, 필요한 시점에만 특정 센서를 활성화함으로써 계산 부하와 대역폭 사용을 줄이고, 비활성화된 센서를 다른 작업 (예: 추가 목표물 추적) 에 재할당할 수 있는 실용적인 베이스라인을 제시했습니다.

4. 실험 결과 (Results)

키프로스 아이나 나파 마리나에서 고정된 RIB(고무보트) 를 대상으로 GNSS 를 기준 (Ground Truth) 으로 실험을 수행했습니다.

• 평가 구역: 항만 내 (Zone 1, 근거리), 접근 구역 (Zone 2, 중거리), 원거리 (Zone 3) 로 구분하여 분석했습니다.
• 성능 비교 (LiDAR-only, Camera-only, All sensors, Adaptive):
  • Zone 1 (근거리): LiDAR 만을 사용하는 구성이 가장 낮은 RMSE(위치 오차) 를 보였습니다. 적응형 전략 또한 LiDAR 를 주로 선택하여 LiDAR-only 와 유사한 높은 정확도를 달성했습니다.
  • Zone 2 (중거리): LiDAR 의 탐지 범위를 벗어나면서 LiDAR-only 는 추적 손실 (Lost) 이 급증했습니다. 반면, 카메라 기반 구성과 적응형 전략은 카메라 업데이트를 통해 추적 연속성을 유지하며 유사한 성능을 보였습니다.
  • Zone 3 (원거리): LiDAR-only 는 신뢰할 수 없게 되었습니다. 카메라-only, All sensors, Adaptive 구성이 모두 추적 가능했으나, 카메라의 투영 오차로 인해 오차가 증가했습니다.
• 종합 평가: 적응형 전략은 근거리에서는 LiDAR 의 정밀도를, 원거리에서는 카메라의 범위를 각각 활용하여 정확도와 연속성 간의 최적의 트레이드오프를 달성했습니다. 또한, 불필요한 센서 처리를 줄여 시스템 부하를 감소시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 환경 검증: 시뮬레이션이 아닌 실제 해상 환경에서 정보 기반 센서 선택 전략의 유효성을 입증했습니다.
• 강건성: 단일 센서의 고장이나 환경적 제약 (악천후, 거리) 에 따른 추적 단절을 방지하는 강건한 시스템을 제공합니다.
• 확장성: 이 프레임워크는 모듈화되어 있으며, 향후 열화상 카메라, 수동 음향 어레이, 해양 레이더 등 다양한 이질적 센서로 확장 가능합니다.
• 미래 과제: 단일 목표물 추적에서 다중 목표물 추적 (Multi-target tracking) 으로 확장하고, 악천후 및 장거리 운영에 대한 강건성을 높이며, 자동 동기화 및 온라인 보정 기술을 개발하는 것이 향후 과제로 제시되었습니다.

이 연구는 제한된 계산 자원과 통신 대역폭 하에서도 해상 감시 시스템의 효율성과 신뢰성을 동시에 확보할 수 있는 실용적인 솔루션을 제시했다는 점에서 의의가 큽니다.