Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

기술 요약: 학습된 세계-이미지 투영을 통한 개선된 비전-해도 부표 연관성

문제 정의
본 논문은 마항 카메라 이미지에서 부표를 탐지하고 각 탐지 결과를 해도의 해당 항목과 매칭하는 '비전-해도 (Vision-to-Chart)' 데이터 연관성 문제 (MaCVi 2026) 를 다룹니다. 핵심 난점은 기하학적 투영에 있습니다. 문제의 베이스라인은 세계 좌표계 내 거리와 방위각만 인코딩된 부표별 쿼리를 수신합니다. 결과적으로 트랜스포머 디코더는 이러한 세계 좌표에서 이미지 픽셀로의 복잡한 매핑을 암묵적으로 학습해야 하며, 이 과정은 선박의 순간적인 피치 (pitch), 롤 (roll), 헤딩 (heading) 에 크게 의존합니다 (IMU 를 통해 포착됨). 베이스라인 접근법은 모델이 외관 기반 정제에만 의존하여 이 기하학적 관계를 처음부터 발견하도록 강제합니다.

방법론
제안된 솔루션은 디코더에 명시적인 공간적 사전 지식을 제공함으로써 DETR 기반 퓨전 트랜스포머 베이스라인에 경량화된 수정을 도입합니다. 방법론은 두 가지 주요 단계로 구성됩니다:

1. QueryMLP (학습된 세계-이미지 투영):
   전용 멀티 레이어 퍼셉트론 (MLP) 이 이미지 내 부표의 '수선 접촉점 (waterline contact point)'을 예측하도록 독립적으로 훈련됩니다. 이 점은 물 평면상의 물체 위치와 직접적으로 대응하며, 바운딩 박스의 하단 중앙 가장자리 ($[c_x, c_y + h/2]$) 로 근사화되므로 예측 대상으로 선택되었습니다.

   • 입력: MLP 는 해도의 데이터와 IMU 방향에서 파생된 6 가지 특징을 입력받습니다: 정규화된 거리, 역거리 (근접 영역의 비선형성을 처리하기 위해 클리핑됨), 정규화된 방위각, 피치, 롤, 헤딩.
   • 아키텍처: 배치 정규화 (BatchNorm), ReLU, 드롭아웃 (Dropout) 및 시그모이드 출력 레이어를 갖춘 4 층 네트워크 ($6 \to 128 \to 128 \to 128 \to 2$).
   • 훈련: AdamW 와 SmoothL1 손실 함수를 사용하여 (쿼리, IMU, 레이블) 쌍으로 된 예제에 대해 훈련되며, 585 에포크에서 수렴하고 중앙값 검증 오차는 18.4 픽셀입니다.

2. DETR 파이프라인 통합:
   훈련이 완료되면 QueryMLP 는 고정됩니다. DETR 훈련 및 추론 중 데이터 로더는 모든 해도의 쿼리에 대해 MLP 를 실행하여 예측된 픽셀 좌표를 생성합니다. 이러한 좌표는 원래의 정규화된 거리 및 방위각과 연결되어 확장된 4 차원 쿼리 벡터 ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$) 를 형성합니다.

   • 이 벡터는 베이스라인 디코더의 임베딩 MLP 입력 차원을 2 에서 4 로 확장합니다.
   • 트랜스포머 디코더는 이후 이러한 풍부한 임베딩을 ResNet-50 이미지 특징과 교차 어텐션 (cross-attend) 합니다.
   • 모든 다른 아키텍처 구성 요소 (ResNet-50 백본, 트랜스포머 레이어, 손실 함수) 는 베이스라인과 동일하게 유지됩니다.

주요 기여

• 명시적 공간적 사전 지식: 본 작업은 기하학적 투영의 암묵적 학습을, 디코더가 이미지 특징을 처리하기 전에 각 부표에 대한 근사 위치를 제공하는 명시적이고 학습된 매핑으로 대체합니다.
• 수선 접촉점 목표: 이전 해양 지리 참조 작업에서 영감을 받아, 부표 연관성을 위한 가장 기하학적으로 의미 있는 이미지 공간 위치로 수선 접촉점을 목표로 합니다.
• 경량화된 수정: 이 접근법은 무거운 트랜스포머 백본이나 DETR 모델의 주요 훈련 루프에 변경을 요구하지 않으며, 사전 훈련된 MLP 하나와 쿼리 구성 파이프라인의 수정만 필요합니다.

결과
본 방법은 ATON 데이터셋 (5,189 개 샘플) 과 문제의 비공개 홀드아웃 테스트 세트에서 평가되었습니다.

• 성능: 제안된 접근법은 테스트 세트에서 0.7386 의 전체 점수 (F1 점수와 mIoU 의 평균으로 계산됨) 를 달성하여 모든 제출물 중 2 위를 차지했습니다.
  • 테스트 세트 지표: F1 = 0.8055, mIoU = 0.6718.
  • 검증 세트 지표: 전체 = 0.7462 (F1 = 0.8171, mIoU = 0.6753).
• 비교: 동일한 조건 하에서 재훈련된 베이스라인 (거리와 방위각만 사용) 은 검증 세트에서 0.7193 의 전체 점수를 달성했습니다. 제안된 방법은 검증 세트와 테스트 세트 간에 일관된 일반화를 보여주었습니다.
• 정성적 분석: 시각적 비교에 따르면, 제안된 방법은 비부표 객체에서의 오검출 (false positive) 을 억제하고 베이스라인이 놓친 부표를 성공적으로 탐지하며, 이는 공간적 사전 지식으로 인한 정밀도 향상 때문입니다.

의의 및 주장
본 논문은 이 작업의 주요 의의가 트랜스포머 디코더에 대한 '기하학적 추론 부담'의 감소에 있다고 주장합니다. 세계 좌표와 선박 방향을 기반으로 부표가 나타날 위치를 명시적으로 예측함으로써, 모델은 투영 기하학을 처음부터 학습하는 대신 외관 기반 정제에 그 능력을 집중할 수 있습니다.

저자들은 겸손하게 한계점과 향후 방향을 다음과 같이 언급합니다:

• 고정된 설계: 현재 구현은 DETR 훈련 중 QueryMLP 를 고정하여 디코더가 픽셀 예측을 정제하기 위한 피드백을 제공하는 것을 방지합니다. 향후 개선 사항으로 엔드 투 엔드 결합 훈련이 제안됩니다.
• 환경적 견고성: 수선 접촉점은 잔잔한 조건에서 기하학적으로 안정적이지만, 저자들은 파도나 분무가 부표의 기저부를 가리는 거친 바다에서는 덜 신뢰할 수 있을 수 있음을 인정합니다. 이는 견고한 연관성이 가장 중요한 조건입니다.

구현에 대한 코드는 공개적으로 이용 가능합니다.