Decoupled Pipeline with Proposal Reranking and Score Fusion for Positive-Unlabeled Marine Species Detection

당신이 거대하고 탁한 수중 도시에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신의 임무는 특정 해양 생물을 찾아 이름을 붙이는 것입니다. 하지만 함정이 있습니다. 당신에게 주어진 지도는 구멍이 숭숭 뚫려 있습니다. 지도를 그린 사람들은 자신들이 확실히 알고 있는 동물들만 기록했을 뿐, 수천 마리의 다른 물고기, 성게, 해파리들은 표시하지 않았습니다. 컴퓨터 과학에서는 이를 "양의 미표시 학습(positive-unlabeled learning)"이라고 부릅니다. 이는 누군가 명시적으로 개를 가리킨 사진만을 통해 '개'가 어떻게 생겼는지 배우는 것과 같습니다. 그 사진 속에 고양이나 다람쥐가 있을지라도 말이죠. 만약 컴퓨터가 고양이를 보고도 별도의 지침이 없다는 이유로 "저건 개야!"라고 판단한다면, 컴퓨터는 혼란에 빠질 것입니다.

상황을 더 까다롭게 만드는 것은, 이 수중 도시가 마치 변화하는 꿈처럼 움직인다는 점입니다. 당신이 공부하는 사진들은 바다의 한 구역에서 촬영된 것이지만, 당신이 풀어야 할 '테스트' 사진들은 카메라와 조명이 완전히 다른 전혀 다른 대양에서 촬영되었습니다. 이것은 "도메인 시프트(domain shift)"라고 불립니다. 이는 흑백 사진으로 친구의 얼굴을 익힌 뒤, 고화질 컬러 영상 속에서 그 친구를 식별해야 하는 상황과 같습니다. 이 연구의 목표는 지도가 불완도하고 조명이 이상하더라도, 컴퓨터 시스템이 이 해양 생물들을 정확히 찾아내고 이름을 붙일 수 있도록 구축하는 것입니다.

---

탐정의 새로운 전략: 업무 분담

조지아 공과대학교(Georgia Tech)의 팀인 DS@GT ARC는 모든 것을 한꺼번에 하려고 시도하는 것이 재앙의 지름길이라는 것을 깨달았습니다. 한 사람에게 동물을 포착하는 눈, 이름을 붙이는 뇌, 그리고 추측이 적절한지 결정하는 판사 역할까지 모두 맡기는 것을 상상해 보세요. 그들의 실험에서 이러한 "올인원(all-in-one)" 방식은 한계에 부딪혔습니다. 컴퓨터는 표시되지 않은 동물들을 오류라고 생각하며 계속해서 혼란을 겪었습니다.

그래서 그들은 각자 한 가지 일을 아주 잘 수행하는 세 명의 주자가 참여하는 계주 방식으로 업무를 나누기로 결정했습니다.

주자 1: 눈이 밝은 정찰병 (검출기 - The Detector)
먼저, 해저 전체를 스캔하여 "헤이, 저기에 무언가 있어요!"라고 외칠 사람이 필요했습니다. 그들은 "메갈로돈(Megalodon)"이라는 사전 학습된 로봇(YOLO 검출기의 일종)을 사용했습니다. 메갈로돈에게 복잡한 경쟁 데이터를 통해 새로운 것을 배우도록 가르치는 대신, 이미 형태를 포착하는 법을 알고 있는 베테랑 정찰병처럼 그 상태를 그대로 유지(frozen)했습니다.

• 타일링 기법 (The Tiling Trick): 해저는 매우 넓고, 어떤 해양 생물들은 아주 작습니다. 전체 사진을 찡그려 보면 작은 성게는 먼지 한 점처럼 보일 수 있습니다. 이를 해결하기 위해 팀은 단순히 전체 사진을 보는 대신, 모자이크처럼 겹쳐진 작은 타일들로 이미지를 조각냈습니다. 이를 통해 정찰병은 아주 작은 세부 사항까지 확대해서 볼 수 있었습니다.
• 에지 필터 (The Edge Filter): 때때로 생물이 타일의 가장자리에 의해 잘릴 수 있습니다. 팀은 "만약 감지된 형태가 타일 가장면에 의해 잘렸다면 버려라"라는 규칙을 추가했습니다. 이는 팀이 반쪽짜리 성게를 온전한 성게로 착각하여 세는 것을 방지했습니다.

주자 2: 전문 생물학자 (분류기 - The Classifier)
정찰병이 "무언가"를 찾아내면, 그 위치를 크롭(crop)한 사진을 두 번째 주자인 초스마트 AI, DINOv3에게 전달합니다. 이 주자의 유일한 임무는 생물을 보고 "저건 성게다" 또는 "저건 뼈가 있는 물고기다"라고 말하는 것입니다.

• 비법 소스 (The Secret Sauce): 이 로봇을 처음부터 가르친 것이 아닙니다. 대신 그들은 "LoRA(Low-Rank Adaptation)"라는 기술을 사용했습니다. 이것은 로봇에게 전체 뇌를 다시 쓰는 대신, 이번 대회의 32가지 해양 생물에 대한 특정 규칙을 적어 넣을 수 있는 작고 전문적인 노트를 주는 것과 같습니다. 이를 통해 로봇은 매우 유사한 두 종류의 물고기를 구별하는 것과 같은 미세한 디테일을 마스터할 수 있었습니다.

주자 3: 의심 많은 판사 (재순위 지정기 - The Reranker)
최고의 생물학자라도 과하게 확신할 때가 있습니다. 때로는 이상한 바위가 물고기와 너무 비슷하게 보여서 생물학자가 "99% 확신한다, 저건 물고기다!"라고 말할 수도 있습니다. 팀은 확신도를 확인하기 위해 "튜링 테스트(Turing Test, 기계가 인간을 속일 수 있는지 테스트하는 시험)"에서 영감을 받은 "유효성 헤드(validity head)"를 구축하여 세 번째 단계를 추가했습니다. 이 판사는 "이 후보가 실제로 해당 클래스의 다른 구성원들과 닮았는가?"라고 묻습니다.

• 결과: 이 판사는 부드러운 자극제 역할을 했습니다. 단순히 추측을 버리는 것이 아니라, 순위를 약간 조정했습니다. 만약 추측이 이상하다면 리스트 아래로 밀어냈고, 견고해 보인다면 리스트 상단에 머물게 했습니다.

최종 점수: 모두 합치기

팀은 세 명의 주자가 단순히 답을 외치게 두지 않았습니다. 그들은 "가중 기하 결합(weighted geometric fusion)"이라는 특별한 수학적 트릭을 사용하여 점수를 결합했습니다. 정찰병이 무언가 있는지에 대한 확신 점수를 주고, 생물학자가 이름에 대한 확신 점수를 주며, 판사가 추측의 일관성에 대한 점수를 준다고 상상해 보세요. 최종 점수는 이 세 가지의 혼합물입니다. 만약 어느 하나라도 약하면 최종 점수가 낮아지도록 하여, 가장 강력하고 일관된 추측만이 상위권에 오르게 했습니다.

무엇을 발견했고, 무엇을 버렸는가

팀은 수백 번의 실험을 수행했으며, 그 결과는 "아하!" 하는 순간과 "앗!" 하는 교훈의 혼합이었습니다.

• 얼어붙은 정찰병이 승리했다: 그들은 정찰병(메갈로돈)이 복잡한 데이터로부터 학습하여 더 나아지기를 바라며 가르치려 노력했습니다. 하지만 효과가 없었습니다. 기존의 지식을 그대로 사용하는 "고정된(frozen)" 정찰병이 실제 경주에서 더 좋은 성과를 냈습니다. 팀은 노이즈가 섞인 불완전한 데이터로 검출기를 미세 조정하려는 시도가 오히려 전체 시스템을 악화시킨다는 것을 배웠습니다.
• "엄격함" vs "실제"의 함정: 그들은 알려진 라벨과 완벽하게 일치하는 추측만 받아들이는 매우 엄격한 방식을 시도했습니다. 하지만 실제 세상(숨겨진 테스트 세트)에서는 많은 실제 생물들이 훈련 데이터에 라벨링되어 있지 않았습니다. 너무 공격적으로 필터링하면, 단지 표시되지 않았을 뿐인 실제 동물들을 실수로 버리게 됩니다. 교훈은 이것입니다: 의심스러운 것을 삭제하기보다는, 넓은 그물을 유지하고 순위 시스템이 좋은 것과 나쁜 것을 분류하게 하는 것이 더 낫습니다.
• 공개 vs 비공개 분리: 팀은 두 가지 버전의 시스템을 가졌습니다. "의심 많은 판사"(TTN에서 영감을 받은 재순위 지정기)를 포함한 버전은 공개 리더보드와 자체 외부 테스트에서 훌륭한 성적을 거두었습니다. 그러나 최종적인 비밀 비공개 리더보드에서는 판사가 없는 더 단순한 버전이 아주 근소한 차이로 승리했습니다. 이는 한 테스트에서 도움이 되는 신호가 최종의 알 수 없는 도전에는 충분히 견고하지 않을 수 있음을 가르쳐 주었습니다.

큰 그림

결국, 팀의 시스템은 102개 팀 중 12위를 차지했으며 점수는 0.1757이었습니다. 그들의 가장 큰 발견은 새로운 슈퍼 알고리즘이 아니라, 하나의 전략이었습니다: 지저분한 데이터를 고치려 하지 말고, 그것을 우회하라.

그들은 "찾는 것"과 "이름을 붙이는 것"을 분리하고, 고정된 검출기를 사용하며, 스마트한 순위 시스템에 의존하는 것이 단일 모델에게 모든 것을 강제로 학습시키는 것보다 더 강력하다는 것을 발견했습니다. 또한, 불완전한 지도 속에서 "의심스러운" 추측을 걸러내는 것이 지나치게 공격적이면 위험하다는 것도 배웠습니다. 때로는 당신이 실수라고 생각하는 것이 사실은 표시되지 않은 진짜 보물일 수도 있습니다.

이 논문은 "학생-교사(student-teacher)" 방식(똑똑한 모델이 약한 모델을 가르치는 방식)과 가짜 데이터를 만드는 방법이 유망하지만, 매우 주의해서 다뤄야 한다고 제안합니다. 만약 교사가 완벽하지 않다면, 학생은 교사의 실수까지 배워버리기 때문입니다. 현재로서는 검출기를 단순하게 유지하고, 분류기가 이름 붙이는 데 집중하게 하며, 마지막 순위를 매길 때 부드러운 손길을 사용하는 것이 가장 안전한 방법입니다.