💻 computer science

ISOPoT: Imaging Sonar Odometry by Point Tracking

이 논문은 현대적인 멀티 프레임 포인트 트래킹 기술을 활용하여 소나 이미지의 노이즈와 의미론적 구조의 부재를 극복하고, 실제 환경 및 벤치마크 데이터셋 모두에서 최신 기술들보다 우수한 성능을 입증하는 강건한 이미징 소나 오도메트리 방법인 ISOPoT를 소개한다.

원저자: Jaša Samec, Vid Rijavec, Marko Peljhan, Aleksander Grm, Andrej Androjna, Danijel Skočaj, Matej Dobrevski

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaša Samec, Vid Rijavec, Marko Peljhan, Aleksander Grm, Andrej Androjna, Danijel Skočaj, Matej Dobrevski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 눈으로는 아무것도 볼 수 없는 탁하고 안개가 자욱한 심해를 항해하는 잠수함을 조종하고 있다고 상상해 보십시오. 당신에게는 특별한 "음향 카메라"(소나)가 있습니다. 이 장치는 음파를 보내고 그 메아리를 들어 세상을 그려냅니다. 하지만 문제는 이 소나 영상이 엄청나게 노이즈가 많고, 정전기처럼 자글자글하며, 일반 카메라로 찍은 선명한 사진과는 전혀 다르게 보인다는 점입니다. 마치 폭풍이 몰아치는 가운데 모래 위에 그려진 지도를 읽으려는 것과 같습니다.

오랫동안 로봇들은 이 물속을 항해하기 위해 특정 "랜드마크"(바위나 기둥 같은 것)를 찾는 방식을 사용해 왔습니다. 즉, 한 사진에서 특정 랜드마크를 찾고, 다음 사진에서도 똑같은 바위를 찾아내어 자신이 얼마나 이동했는지 추측하는 방식입니다. 이 논문의 저자들은 이 방법을 "쌍별 매칭(pairwise matching)"이라고 부릅니다. 그들은 이 방식이 마치 안개 낀 도시에서 한 번에 하나의 표지판만 보며 길을 찾는 것과 같다고 주장합니다. 만약 그 표지판이 흐릿하거나 다른 표지판과 비슷하게 생겼다면, 길을 잃게 될 것입니다.

새로운 아이디어: ISOPoT

연구팀은 ISOPoT(Point Tracking에 의한 영상 소나 오도메트리)라는 새로운 시스템을 소개합니다. ISOPoT는 두 장의 사진을 보고 단일 점들을 매칭하는 대신, 소나 영상의 전체 클립(영화처럼 이어지는 장면)을 지켜보며 시간의 흐름에 따라 수많은 점들을 동시에 추적합니다.

작동 원리는 다음과 같습니다. 쉬운 비유를 들어 설명하겠습니다.

1. "군중 관찰자" (점 추적)

어두운 방 안에서 열리는 붐비는 파티장에 있다고 상상해 보십시오. 만약 당신이 방 한쪽 끝에서 반대쪽 끝으로 이동하는 단 한 사람만을 쫓으려 한다면, 군중 속에서 그 사람을 놓칠 수도 있습니다. 하지만 방 안의 모든 사람의 움직임을 동시에 관찰한다면, 군중의 전반적인 흐름을 알 수 있습니다. 설령 한 사람이 사라지더라도, 나머지 사람들의 움직임이 군중이 어디로 향하고 있는지를 알려줄 것입니다.

ISOPoT는 소리를 이용해 이 작업을 수행합니다. 소나 영상 전체에서 수백 개의 작은 점들을 선택하고, 여러 프레임의 비디오에 걸쳐 그 경로를 추적합니다. 이 시스템은 이미지가 흐릿하더라도 점이 다음에 어디에 있을지 아주 잘 예측하는 똑똑한 AI 모델(TAPNext)을 사용합니다.

2. "그리드 관리자" (질서 유지)

때때로 AI가 이미지의 한쪽 구석에 너무 많은 점을 찍고 다른 쪽에는 하나도 찍지 않을 수도 있습니다. 이것은 마치 방 안의 모든 사람들이 한쪽 구석에 몰려 있고 나머지 공간은 비어 있는 것과 같습니다. 그러면 방 전체가 어떻게 움직이는지 알 수 없게 됩니다.

이를 해결하기 위해 ISOPoT는 **그리드 포인트 매니저(Grid Point Manager)**를 사용합니다. 이 장치는 소나 영상을 16x16 체커보드 형태로 나눕니다. 그리고 각 칸에 점이 너무 많지 않도록 조절합니다. 만약 특정 칸이 너무 붐비면, 남는 점들을 버립니다. 이를 통해 로봇이 노이즈가 심한 한쪽 구석에만 치우치지 않고, 수중 장면 전체를 균형 있게 바라볼 수 있도록 보장합니다.

3. "정밀 조정기" (정교화)

AI는 추측을 아주 잘하지만, 완벽하지는 않습니다. AI가 "그 점이 약간 왼쪽으로 움직였다"라고 말할 때, 실제로는 오른쪽으로 움직였을 수도 있습니다.

ISOPoT에는 매치 정교화(Match Refinement) 단계가 있습니다. 이것은 마치 탐정이 단서를 재검토하는 것과 같습니다. 일단 AI가 로봇이 어떻게 움직였는지에 대해 대략적인 추측을 마치면, 시스템은 점들이 움직인 특정 영역을 확대하여 살펴봅니다. 그곳의 음파 질감(texture)을 비교하여 최종적이고 정밀한 계산을 수행합니다. 이 과정은 "좋은 추측"을 "확실한 사실"로 바꿔줍니다.

4. "안전망" (선택적 도우미)

이 시스템은 오직 소나만 사용하여 작동하도록 설계되었습니다(소리만으로 항해하는 것처럼). 하지만 만약 로봇에 다른 센서(나침반이나 속도계 등)가 있다면, ISOPoT는 이를 안전망으로 사용할 수 있습니다. 만약 소나가 이상한 에코(메아리) 때문에 혼란을 겪는다면, 시스템은 이렇게 말할 수 있습니다. "잠깐, 나침반이 우리가 여전히 북쪽을 향하고 있다고 하니, 잠시 동안은 나침반을 믿자."

왜 중요한가

저자들은 두 가지 매우 다른 수중 데이터셋을 통해 이를 테스트했습니다.

Aracati 2017: 혼란스러운 "유령" 이미지(실제 물체처럼 보이는 반사광)와 노이즈 줄무늬가 가득한 데이터셋입니다.
Portoroz 2025: 바닥이 특징적인 랜드마크가 거의 없는 평평하고 모래가 많은 질감으로 이루어진 데이터셋입니다.

두 경우 모두, ISOPoT는 이전 방식들보다 훨씬 뛰어난 성능을 보였습니다.

노이즈와 유령 이미지가 가득한 물속에서, 기존 방식들은 가짜 반사광 때문에 혼란을 겪었습니다. 하지만 ISOPoT는 단일 점을 매칭하는 것이 아니라 많은 점의 흐름을 관찰했기 때문에 노이즈를 무시할 수 있었습니다.
평평하고 모래가 많은 물속에서, 기존 방식들은 붙잡을 만한 "랜드마크"를 찾지 못해 실패했습니다. 반면 ISOPoT는 시냇물의 물결을 관찰하는 것처럼 모래의 미세하고 변화하는 패턴을 추적함으로써 성공했습니다.

핵심 요약
ISOPoT는 안개 속에서 (서로 비슷하게 생겼거나 보이지 않는) 개별 표지판을 찾는 방식에서, 안개 속에서 움직이는 전체 군중의 흐름을 관찰하는 방식으로 전환하는 것과 같습니다. 많은 점의 흐름을 추적함으로써, 로봇은 가장 탁하고 혼란스러운 수중 환경에서도 자신이 정확히 어디로 가고 있는지 파악할 수 있습니다.

기술 요약: ISOPoT – 포인트 트래킹을 통한 이미징 소나 오도메트리

문제 정의
신뢰할 수 있는 수중 항법은 전자기 신호의 감쇄로 인해 GNSS 및 광학 카메라를 사용하기 어려운 환경에서 어려움을 겪습니다. 전방 탐색형 이미징 소나는 장거리 인지를 위한 주요 대안이지만, 그 영상은 오도메트리에 독특한 과제를 제시합니다. 소나 프레임은 스펙클 노이즈(speckle noise), 센서 아티팩트, 약한 국부 텍스처, 그리고 시점 및 음파 조사 각도에 따른 강한 외관 변화를 겪습니다. 결과적으로, 쌍별(pairwise) 로컬 키포인트를 검출, 기술 및 매칭하는 데 의존하는 표준 컴퓨터 비전 파이프라인은 종종 실패합니다. 이러한 방식은 구조가 빈약한 영역에서 취약하며, 전역적으로 일관되지 않은 모션 추정치를 생성하기 쉽습니다. 또한, 정확한 정답(ground truth)이 포함된 고품질의 레이블링된 수중 데이터셋의 부족은 견고한 시스템을 훈련하고 평가하는 데 어려움을 가중시킵니다.

방법론
저자들은 전방 탐색형 소나 이미지의 슬라이딩 윈도우로부터 평면 SE(2) 운동을 추정하도록 설계된 파이프라인인 ISOPoT(Imaging Sonar Odometry by Point Tracking)를 제안합니다. ISOPoT는 쌍별 키포인트 매칭에 의존하는 대신, 현대적인 "모든 점 추적(Tracking Any Point, TAP)" 기술을 활용하여 다중 프레임 대응 관계를 구축합니다.

파이프라인은 다음과 같이 작동합니다:

슬라이딩 윈도우 처리: 시스템은 이전 반복에서의 중첩된 프레임( $B$ )과 새로운 프레임( $N$ )으로 구성된 소나 이미지 윈도우( $W$ )를 처리합니다. 이 중첩은 소나 데이터에서 흔히 발생하는 일시적인 예측 오류를 억제하는 워밍업 기간 역할을 합니다.
쿼리 포인트 초기화: 쿼리 포인트는 윈도우의 첫 번째 프레임에 대한 Sobel 기반 검출기와 이전 윈도우에서 전달된 신뢰할 수 있는 인라이어(inlier)를 결합하여 초기화됩니다.
그리드 포인트 매니저 (GPM): 공간적 커버리지를 보장하고 클러스터링을 방지하기 위해, GPM은 이미지를 $16 \times 16$ 그리드로 나누고 셀당 쿼리 포인트의 수를 제한합니다. 이는 아웃라이어, 보이지 않는 것으로 예측된 포인트, 그리고 유효 스캔 영역 외부의 포인트를 필터링합니다.
포인트 트래킹 (TAPNext): 선택된 쿼리 포인트들은 최첨단 트래커인 TAPNext를 사용하여 전체 윈도우에 걸쳐 추적됩니다. TAPNext는 국부적인 모호성에도 불구하고 대응 관계를 유지하기 위해 시간적 문맥과 전역 이미지 정보를 활용하여 각 포인트의 궤적과 가시성 플래그를 예측합니다.
조대 운동 추정 (Coarse Motion Estimation): 각 타겟 프레임에 대해, RANSAC을 사용하여 참조 프레임( $F_1$ )에서 타겟 프레임( $F_t$ )으로의 2D 유클리드 변환을 추정합니다. 이 접근 방식은 연속적인 프레임 간의 모션이 아닌 공통 참조점 대비 모션을 추정함으로써 드리프트에 대한 견고성을 향상시킵니다.
매치 정밀화 (Match Refinement): 경량화된 정밀화 단계는 잔여 per-point 오류를 해결합니다. 쿼리 포인트를 조대 변환을 통해 타겟 프레임으로 전파하고, ResNet50 백본을 통해 조밀한 특징을 추출하며, 검색 영역과 참조 디스크립터를 상관(correlation)시켜 히트맵을 생성합니다. 이후 글로벌 옵티마이저가 모든 신뢰할 수 있는 포인트에 대한 합산 상관관계를 최대화하여 단일 글로벌 모션 가설을 정밀화합니다.
선택적 보조 교정: 핵심 방법론은 소나 전용이지만, 외부 오도메트리 및 자력계 데이터를 융합할 수 있는 선택적 단계가 있습니다. 이는 RANSAC 적합의 인라이어 비율에 따라 소나 추정치에 가중치를 부여함으로써 달성되며, 가용한 경우 소나 요(yaw)를 자력계 헤딩으로 대체하여 장기적인 드리프트를 교정합니다.

주요 기여

패러다임 전환: 본 논문은 현대적인 모든 점 추적 모델이 전방 탐색형 소나 영상에 효과적으로 전이될 수 있음을 입증합니다. 이는 다중 프레임 포인트 트래킹이 전통적인 쌍별 키포인트 매칭보다 소나 오도메트리에 더 견고한 대응 프리미티브임을 확립합니다.
ISOPoT 파이프라인: 저자들은 TAPNext 기반 트래킹, 그리드 기반 포인트 관리, 그리고 상관관계 기반의 글로벌 정밀화 단계를 결합한 완전한 파이프라인을 소개합니다. 이 결합은 복잡하고 텍스처가 약하며 아티팩트가 많은 시퀀스에서도 안정적인 대응 관계를 생성합니다.
포괄적 평가: 해당 방법은 지속적인 스트라이프 아티팩트와 반사가 특징인 공개 데이터셋인 Aracati 2017과, 약한 국부 텍스처가 특징인 새로운 Portoroz 2025 데이터셋(해저 중심 장면) 두 가지에서 평가되었습니다.

결과

Aracati 2017: 소나 전용 시나리오에서 ISOPoT는 최첨단 방식인 SONIC을 실질적으로 능가하며, 모든 테스트 섹션에서 현저히 낮은 절대 궤적 오차(ATE)와 상대 오차(RE)를 달로했습니다. 보조 오도메트리와 자력계를 사용하는 DISO와 비교하더라도, ISOPoT는 특히 상대적 이동 오차 측면에서 경쟁력 있거나 우수한 결과를 달성했습니다.
Portoroz 2025: 로컬 키포인트 검출기(AKAZE 등)가 충분한 특징을 찾지 못해 실패하기 쉬운 해저 중심 환경에서도 ISOPoT는 안정성을 유지합니다. DISO가 보조 센서를 활용함에도 불구하고, ISOPoT는 두 방식 모두보다 현저히 낮은 ATE와 RE를 달성했습니다.
절제 연구 (Ablation Studies): 매치 정밀화 단계를 제거했을 때 성능 저하가 가장 컸으며, 이는 조대 트랙을 글로벌 모션 추정치로 변환하는 과정의 필요성을 확인시켜 줍니다. 중첩 버퍼는 장기적 일관성을 위해 필수적인 것으로 나타났으며, 그리드 포인트 매니저는 포인트 밀도가 높은 영역에서 안정성을 향 향상시켰습니다.

의의 및 주장
본 논문은 ISOPoT가 소나 영상의 특성과 쌍별 매칭 패러다임 사이의 근본적인 불일치를 해결한다고 주장합니다. 다중 프레임 포인트 트래킹으로 전환함으로써, 이 방법은 수중 음향 데이터에 내재된 모호성과 노이즈를 처리하는 더 자연스럽고 견고한 방법을 제공합니다. 저자들은 ISOPoT가 소나 전용 및 다중 센서 설정 모두에서 기존의 최첨단 방식들을 일관되게 능가하며, 보조 모션 정보가 가용할 때에도 전방 대응 메커니즘을 개선하는 것이 유익하다는 점을 입증했다고 단언합니다. 이 연구는 훈련을 위한 어렵거나 얻기 힘든 정답에 의존하지 않고도 시간적 일관성과 전역 정보를 활용하여 도전적인 수중 항법 문제를 해결할 수 있는 잠재력을 강조합니다.

1. "군중 관찰자" (점 추적)

2. "그리드 관리자" (질서 유지)

3. "정밀 조정기" (정교화)

4. "안전망" (선택적 도우미)

왜 중요한가

유사한 논문