Do Open-Vocabulary Detectors Transfer to Aerial Imagery? A Comparative Evaluation

당신에게 거리의 사람들을 찍은 영상을 평생 동안 봐온 아주 똑똑한 보안 요원이 있다고 상상해 보세요. 이 요원은 옆모습을 통해 "자동차", "개", "자전거" 같은 것들을 찾아내는 데 매우 뛰어납니다. 당신은 이 요원을 고용하여 지구를 수직으로 내려다보는 위성 라이브 피드를 감시하게 합니다.

이 논문은 단순한 질문을 던집니다: 이 거리에서 훈련받은 요원이 새로운 훈련 없이 갑자기 하늘에서 물체를 찾아내는 전문가가 될 수 있을까?

연구진의 답변은 다음과 같습니다: "아니요, 사실상 불가능합니다." 연구 결과의 핵심 내용을 쉬운 비유를 통해 정리했습니다.

1. "거리와 하늘"의 불일치 (The "Sky vs. Street" Mismatch)

요원(AI 모델)은 "거리 수준"의 사진으로 훈련되었습니다. 그들은 자동차의 옆모습(바퀴, 문, 헤드라이트)이 어떻게 생겼는지 알고 있습니다. 하지만 위성에서 아래를 내려다볼 때, 자동차는 바퀴가 없는 작은 직사각형처럼 보입니다.

• 문제점: AI는 존재하지 않는 "옆모습"을 찾으려고 시도하고 있습니다. 이는 마치 고양이의 얼굴만 보고 고양이를 인식하도록 배운 사람에게 고양이의 정수리만 보고 고양이를 식별하라고 요구하는 것과 같습니다. 시각적 특징이 완전히 다릅니다.

2. "혼란에 빠진 사서" (The "Confused Librarian")

연구진은 AI가 찾아내야 할 80가지의 서로 다른 항목(자동차, 배, 비행기, 굴뚝 등) 목록을 테스트했습니다.

• 실험 내용: 두 가지 시나리오를 시도했습니다.
  • 시나리오 A (카오스 모드): AI에게 80개의 전체 목록을 한꺼번에 주었습니다.
  • 시나리오 B (집중 모드): AI에게 "이 사진에서 딱 이 특정 물건 하나만 찾아라"라고 지시했습니다.
• 결과: 카오스 모드에서 AI는 엉망이었습니다. 많은 항목이 서로 비슷하게 들리기 때문에(예: "선박" vs "배" vs "유조선") 혼란을 겪었습니다. AI는 존재하지 않는 것을 보고 있다고 판단하기 시작했습니다.
• 마법 같은 해결책: AI에게 80개가 아닌 3~4개의 항목만 보여주는 집중 모드로 전환했을 때, AI의 성능은 15배나 더 높게 뛰었습니다.
• 교훈: AI는 "눈이 먼" 것이 아니라, 단지 압도된 것이었습니다. 이는 마치 비슷한 제목의 책 80권이 있는 방에서 특정 책을 찾으려는 사서와 같습니다. 검색 범위를 단 3권으로 좁히면 쉽게 찾을 수 있습니다. 주요 문제는 물체를 보는 능력이 아니라, 너무 많은 선택지 사이에서 발생하는 소음 속에서 분류하는 문제였습니다.

3. "서툰 번역가" (The "Bad Translator")

연구진은 물체를 설명하는 단어를 바꾸어 AI를 도와주려 노력했습니다. "자동차의 항공 뷰(Aerial view of a car)"라는 문구를 추가하거나, "ship" 대신 "vessel" 같은 유의어를 사용하는 등의 시도를 했습니다.

• 결과: 도움이 되지 않았습니다. 오히려 상황을 악화시키는 경우가 많았습니다.
• 비유: AI를 "거리 언어"만 구사하는 번역가라고 상상해 보세요. 당신은 새로운 단어 사전으로 그들에게 "하늘 언어"를 가르치려 합니다. 하지만 번역가는 여전히 거리에서 훈련받은 눈으로 세상을 봅니다. 아무리 새로운 어휘를 준다 해도, 그들의 눈이 잘못된 시각적 단서를 찾고 있다는 사실을 바꿀 수는 없습니다. 텍스트를 바꾼다고 해서 AI가 "하늘"이라는 맥락을 이해할 수는 없었습니다.

4. "두 가지 극단적인 성격" (The "Two Extreme Personalities")

연구진은 서로 다른 AI 모델들이 어떻게 행동하는지 살펴보았고, 그들은 두 진영으로 나뉘었습니다.

• "편집증적인" 요원 (보수적인 모델): 이 모델들은 매우 신중했습니다. 100% 확신이 들 때만 "무언가를 발견했다!"라고 외쳤습니다. 그 결과, 실수는 거의 없었지만, 거의 모든 것(객체의 97%)을 놓쳤습니다. 추측하기를 너무 두려워했습니다.
• "양치기 소년" 요원 (공격적인 모델): 이 모델들은 끊임없이 "무언가를 발견했다!"라고 외쳤습니다. 실제 객체는 거의 다 찾아냈지만, 수천 개의 가짜 객체까지 만들어냈습니다(환각 현상). 실제 자동차 한 대를 찾을 때마다 2대의 가짜 자동차를 만들어냈습니다.
• 현실: 두 방식 모두 실제 드론이나 위성 임무에는 적합하지 않습니다. 모든 것을 놓치는 요원도 원치 않고, 유령을 쫓느라 시간을 낭비하는 요원도 원치 않기 때문입니다.

5. "깨지기 쉬운 유리" (The "Fragile Glass")

연구진은 다양한 종류의 항공 이미지(맑은 이미지, 붐비는 이미지, 매우 멀리서 찍은 이미지 등)로 AI를 테스트했습니다.

• 결과: AI는 "깨끗한" 이미지(예: 주차장)에서는 괜찮게 작동했습니다. 하지만 이미지가 아주 작은 물체들로 붐비거나 각도가 이상해지자마자 성능이 급락했습니다.
• 비유: 이는 명확하고 큰 글자로 된 연습 시험에서는 'A'를 받지만, 시험지에 작고 흐릿한 글씨가 등장하자마자 바로 낙제하는 학생과 같습니다. AI는 "취약(brittle)"합니다. 조건이 변하면 쉽게 무너집니다.

결론 (The Bottom Line)

이 논문은 현재의 "오픈 보캐블러리(Open-Vocabulary)" AI 모델들(거리 사진에서 새로운 것을 찾는 데 뛰어난 모델들)은 항공 용도로 사용할 준비가 되어 있지 않다고 결론짓습니다.

그들이 실패하는 이유는 텍스트 프롬프트를 "읽지" 못해서가 아니라, 다음의 이유 때문입니다:

1. 잘못된 시각적 특징(옆모습 vs 탑다운 뷰)을 찾고 있기 때문입니다.
2. 한 번에 너무 많은 카테고리를 주면 혼란을 느낍니다.
3. 복잡하고 붐비는 실제 위성 데이터를 처리하기에는 너무 취약합니다.

미래에 이를 성공시키려면 단순히 입력하는 단어를 수정하는 것만으로는 부족합니다. 우리는 AI가 하늘에서 보는 세상이 어떤 모습인지 이해할 수 있도록 근본적으로 재훈련하거나 재설계해야 합니다.