HyTBE: Hyperbolic Target-Background Expert Model for Cross-Domain Infrared Small Target Detection

당신이 거대하고 혼란스러운 밤의 숲속에서 작고 빛나는 반딧불이를 찾아내려는 탐정이라고 상상해 보십시오. 이것이 바로 "적외선 소형 표적 탐지(Infrared Small Target Detection, IRSTD)"가 하는 일입니다. 현실 세계에서 이 기술은 위성이 멀리 있는 배를 찾는 것을 돕고, 비행기가 다른 항공기를 포착하도록 하며, 위협이 가까이 오기 전에 경보 시스템이 이를 감지할 수 있도록 돕습니다. 문제는 이 "반딧불이"(표적)들이 소용돌이치는 구름, 파도, 또는 도시 불빛과 같은 배경 속에서 단 몇 픽셀 정도의 밝기만을 가진 아주 작은 점이라는 점입니다. 수년 동안 과학자들은 이러한 작은 점들을 찾기 위해 컴퓨터 프로그램을 만들어 왔습니다. 이 프로그램들은 훈련받은 숲과 똑같은 모습의 숲에서는 아주 잘 작동합니다. 하지만 문제는, 고요하고 별이 빛나는 밤에 훈련된 프로그램을 폭풍우가 치고 안개가 자욱한 숲으로 보냈을 때 발생합니다. 프로그램은 종종 혼란에 빠집니다. 반딧불이를 아예 놓치거나, 무작위로 떠다니는 구름을 반딧불이로 착각할 수도 있습니다. 이는 표적과 복잡한 배경 사이의 관계가 위치에 따라 변하기 때문에 발생하는 현상입니다.

당신이 읽게 될 이 논문은 바로 이 문제를 다룹니다. 연구진은 기존의 표적 탐지 방식이 너무 경직되어 있다는 점을 깨달았습니다. 그들은 HyTBE(Hyperbolic Target-Background Expert Model)라고 불리는 새로운 시스템을 제안했습니다. HyTBE는 단순히 표적이 어떻게 생겼는지를 암기하는 대신, 표적과 주변 환경 사이의 관계를 이해하는 법을 배웁니다. 이 모델은 "쌍곡 기하학(hyperbolic geometry)"이라는 특별한 수학(평평한 시트 대신 곡선 형태의 말 안장 모양 지도를 생각하십시오)을 사용하여 표적이 배경과 얼마나 다른지를 측정합니다. 또한 "전문가 혼합(Mixture of Experts)" 방식을 사용하는데, 이는 마치 각기 다른 날씨를 다룰 줄 아는 전문가 팀을 보유하는 것과 같습니다. 다양한 "만약에(what-if)" 시나리오를 통해 훈련하고, 이 곡선 지도를 사용하여 의사결정을 유도함으로써, HyTBE는 완전히 새롭고 본 적 없는 숲에 던져지더라도 그 작은 반딧불이들을 찾아낼 수 있습니다.

문제점: 숲이 변할 때

자전거 타기를 배우고 있다고 상상해 보십시오. 당신은 매끄럽고 평평한 인도에서 연습합니다. 당신은 거기서 균형을 잡는 법을 아주 잘 익혔습니다. 하지만 갑자기 누군가 당신에게 울퉁불퉁하고 모래가 깔린 해변에서 자전거를 타라고 합니다. 갑자기 균형 잡기가 어려워집 fact습니다. 인도에서 통했던 규칙들이 모래 위에서는 통하지 않습니다.

이것이 적외선 탐지기에서 일어나는 현상입니다. 이들은 특정 데이터셋(예: "인도")을 바탕으로 훈련됩니다. 하지만 이들이 새로운 도메인(예: "해변")을 마주하면, 아주 작은 표적이 배경과 대비되는 방식이 변합니다. 연구진은 이를 **"표적-배경 관계 변화(Target-Background Relation Shift)"**라고 부릅니다. 단순히 표적의 모습이 변하는 것이 아니라, 대비와 맥락이 변하는 것입니다. 어두운 하늘을 배경으로 선명하게 드러났던 밝은 점이, 노이즈가 많고 질감이 있는 구름을 배경으로 하면 흐릿한 얼룩처럼 보일 수 있습니다. 탐지기가 "인도의 규칙"만을 배웠다면, "해변의 규칙"이 지배하는 상황에서는 실패하게 됩니다.

해결책: HyTBE의 세 가지 초능력

이를 해결하기 위해 저자들은 적응의 달사가 되도록 설계된 HyTBE를 구축했습니다. HyTBE는 예리함을 유지하기 위해 세 가지 기술을 사용합니다.

1. "만약에" 훈련사 (표적-배경 관계 개입)

먼저, HyTBE는 훈련 데이터에서 보는 장면뿐만 아니라 가능한 모든 시나리오에 대해 연습해야 합니다. 연구진은 **표적-배경 관계 개입(Target-Background Relation Intervention, TBRI)**이라는 기술을 도입했습니다.

이것은 장면을 조작하는 훈련 시뮬레이터와 같습니다. 보통 모델을 훈련할 때는 표적과 배경이 포함된 사진을 보여줍니다. TBRI는 마치 짓궂은 편집자처럼, 정답지는 바꾸지 않은 채 사진의 배경을 다른 것으로 교체하거나 표적의 밝기와 모양을 바꾸는 역할을 합니다.

• 배경 개입(Background Intervention): 표적은 안전하게 유지하면서 배경을 새로운 것으로 바꿉니다 (예: 맑은 하늘을 폭풍우 치는 하늘로 변경).
• 표적 개입(Target Intervention): 배경은 안전하게 유지하면서 표적을 변경합니다 (표적을 더 어둡게, 밝게 만들거나 모양을 약간 변형).

이렇게 함으로써 모델은 표적이 여러 가지 모습으로 보일 수 있어도 여전히 표적임을 배웁니다. 모델은 단 하나의 "모습"에 의존하는 것을 멈추고, 점과 노이즈 사이의 관계를 이해하기 시작합니다. 이는 매우 중요한데, 논문에서 보여주듯 단순히 표적의 외형을 암기하는 것만으로는 부족하며, 표적이 자신의 특정 주변 환경과 어떻게 관계를 맺는지 알아야 하기 때문입니다.

2. 곡선 지도 (쌍곡 관계 모델링)

모델이 이러한 다양한 시나리오로 연습을 마친 후에는, 표적과 배경 사이의 "거리"를 측정할 방법이 필요합니다. 일반적인 수학(유클리드 기하학)에서 거리는 평평한 선 위에서 측정합니다. 하지만 연구진은 표적과 배경 사이의 관계가 나무나 네트워크와 더 유사하며, 이는 곡면(푸앵카레 볼, Poincaré ball)에 더 적합하다는 것을 발견했습니다.

당신이 뒤섞인 장난감 더미를 분류하려고 한다고 상상해 보십시오. 평평한 탁자 위에서는 모든 것이 뒤섞여 있으면 어떤 장난감들이 서로 속해 있는지 보기 어렵습니다. 하지만 곡선 형태의 미끄럼틀 위에 둔다면, 비슷한 것들은 자연스럽게 서로 가까이 모이고, 다른 것들은 멀리 미끄러져 나갈 것입니다.
HyTBE는 이 "곡선 지도"를 사용하여 이미지의 모든 조각을 배치합니다. 모델은 **표적 앵커(Target Anchor)**와 **배경 앵커(Background Anchor)**라는 두 개의 특별한 기준점을 만듭니다. 그런 다음 "쌍곡 거리"를 사용하여 이미지의 모든 부분이 이 앵커들과 얼마나 가까운지 측정합니다.

• 이미지의 한 조각이 표적 앵커에 매우 가깝다면, 그것은 표적일 가능성이 높습니다.
• 배경 앵커에 가깝다면, 그것은 단순한 노이즈일 가능성이 높습니다.

이 방법은 특히 숲의 모습이 이상할 때, 평평한 수학을 사용하는 것보다 "반딧불이"를 "숲"으로부터 분리해 내는 데 훨씬 뛰어납적입니다. 논문은 쌍곡 수학을 사용하는 것이 평평한 수학을 사용할 때보다 오탐(구름을 반딧불이로 착각하는 것)을 유의미하게 줄여준다는 것을 명시적으로 보여줍니다.

3. 전문가 팀 (쌍곡 가이드 MoE 어댑터)

마지막으로, HyTBE는 이 모든 정보를 어떻게 처리할지 결정해야 합니다. 모델은 혼합 전문가(Mixture-of-Experts, MoE) 시스템을 사용합니다. 전문가들이 가득 찬 방을 상상해 보십시오. 어떤 전문가는 안개 속에서 표적을 찾는 데 뛰어나고, 어떤 전문가는 밝은 햇빛 아래에서, 또 다른 전문가는 어두운 폭풍 속에서 뛰어납니다.
보통 컴퓨터는 한 명의 전문가를 선택하고 그 방식에 고착됩니다. 하지만 HyTBE는 더 똑똑합니다. 모델은 방금 만든 "곡선 지도"를 살펴보고 다음과 같이 묻습니다: "이 상황은 어떤 종류인가?"

• 만약 지도가 "이것은 안개가 낀 상황이다"라고 말하면, "안개 전문가"에게 이미지를 수정하도록 요청합니다.
• 만약 지도가 "이것은 밝은 햇빛 상황이다"라고 말하면, "햇빛 전문가"에게 요청합니다.

모델은 적절한 전문가들의 조언을 결합하여 최종적으로 매우 정확한 예측을 만들어냅니다. 이를 통해 모델은 현재 보고 있는 표적과 배경 사이의 특정 관계에 따라 자신의 "시각"을 즉각적으로 적응시킬 수 있습니다.

결과: 정말 효과가 있는가?

연구진은 세 가지 실제 데이터셋(NUAA-SIRST, NUDT-SIRST, IRSTD-1K)을 통해 HyTBE를 테스트했습니다. 이들은 "하나의 도메인을 제외한 테스트(leave-one-domain-out)"라는 엄격한 시험을 실시했는데, 이는 모델을 두 개의 데이터셋으로 훈련시킨 후, 추가 훈련 없이 세 번째 데이터셋에 던져 넣는 방식입니다. 이는 마치 인도와 해변에서 자전거를 배운 뒤, 눈 덮인 산에서 테스트하는 것과 같습니다.

결과는 인상적이었습니다. HyT별은 해당 분야의 다른 모든 최신 방법들을 능가했습니다.

• IRSTD-1K 데이터셋에서, HyTBE는 mIoU(표적을 얼마나 잘 찾았는지에 대한 점수) **52.31%**를 달성하여, 두 번째로 우수한 방법과의 격차를 확실히 벌렸습니다.
• NUAA-SIRST에서, **78.58%**를 기록하며 이전 모델들보다 큰 폭으로 상승했습니다.
• NUDT-SIRST에서는 **64.83%**에 도달했습니다.

가장 중요한 점은, HyTBE가 오탐(노이즈를 표적으로 잘못 부르는 것)을 매우 낮게 유지하면서 이 성과를 냈다는 것입니다. 논문은 다른 모델들이 더 많은 표적을 찾아낼 수는 있지만, 그만큼 더 많은 실수를 저지른다는 점을 언급합니다. HyTBE는 실제 표적을 찾아내면서도 허위 경보를 울리지 않는 더 나은 균형을 찾아냈습니다.

이것이 왜 중요한가

이 논문은 단순히 표적을 더 "밝게" 만들거나 배경을 더 "어둡게" 만드는 기존의 방식이 현실 세계에서는 충분하지 않다는 점을 시사합니다. 현실 세계는 무질서하고 예측 불가능합니다. 표적과 배경 사이의 관계에 집중하고, 그 관계를 이해하기 위해 곡선 수학 지도를 사용함으로써, HyTBE는 훨씬 더 견고한 탐지기를 만들어냅니다.

저자들은 데이터의 다양화, 관계 측정을 위한 쌍곡 기하학의 활용, 그리고 적응을 위한 전문가 팀의 사용이라는 이 접근 방식이 앞으로 나아갈 수 있는 확실한 경로를 제공한다고 결론짓습니다. 이는 단순히 하나의 특정 숲에 대한 문제를 해결하는 것이 아니라, 한 번도 본 적 없는 숲이라 할지라도 대응할 수 있는 탐정을 길러내는 것입니다.