From Open Vocabulary to Open World: Teaching Vision Language Models to Detect Novel Objects

이 논문은 오픈 보카불러리 검출 모델이 알려진 클래스와 유사한 근접 분포 외 (NOOD) 객체를 오분류하거나 원거리 분포 외 (FOOD) 객체를 무시하는 한계를 극복하기 위해, 의사 미지 임베딩과 멀티 스케일 대비 앵커 학습을 통해 미지 객체를 식별하고 점진적으로 학습하는 오픈 월드 객체 검출 프레임워크를 제안하여 자율 주행 및 표준 벤치마크에서 최첨단 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"시각 언어 모델 (Vision Language Model)"**이라는 똑똑한 AI 에게, 세상 모든 사물을 알아차리고 배우는 능력을 가르치는 방법에 대한 연구입니다.

기존의 AI 는 학교에서 배운 것만 알았지만, 이 연구는 AI 가 학교 밖에서 처음 보는 낯선 사물도 "아, 이건 내가 아는 게 아니야. 새로운 거구나!"라고 깨닫고, 그걸 기억해 내는 방법을 개발했습니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "알고 있는 것"만 보는 AI 의 한계

전통적인 물체 탐지 AI 는 마치 고정된 메뉴판을 가진 식당 주인과 같습니다.

• 메뉴판에 '햄버거', '피자', '콜라'만 적혀 있다면, 주인은 손님이 '초밥'을 시켜도 "저건 메뉴에 없으니 못 드시겠어요"라고 하거나, 억지로 "아, 이건 햄버거네요"라고 잘못 말해버립니다.
• 특히 자율주행차처럼 위험한 상황에서는, 길가에 있는 낯선 장애물 (예: 공사 중인 특수 차량) 을 못 보거나 잘못 인식하면 큰 사고로 이어질 수 있습니다.

2. 해결책: "열린 세상 (Open World)"을 위한 두 가지 전략

연구진은 이 문제를 해결하기 위해 AI 에게 두 가지 새로운 능력을 심어주었습니다.

전략 1: "가상의 미스터리 탐정" (Pseudo Unknown Embedding)

• 비유: AI 가 "모든 사물"이라는 거대한 개념을 가지고 있다고 상상해 보세요. 하지만 이미 알고 있는 '햄버거', '피자'가 이 개념을 다 차지하고 있습니다.
• 방법: 연구진은 "알고 있는 것들의 평균을 빼서" 새로운 공간을 만들었습니다.
  • "사물 (Object)"이라는 단어의 의미를 가져와서, "햄버거, 피자, 콜라"의 의미를 모두 뺀 나머지 공간을 **"미스터리 (Unknown)"**라고 이름 붙였습니다.
  • 이제 AI 는 새로운 사물을 볼 때, "이건 햄버거랑 비슷해?"라고 묻고, 비슷하지 않으면 바로 **"아! 이건 내가 아는 게 아니라, 미스터리 공간에 있는 새로운 사물이구나!"**라고 판단합니다.
  • 마치 미스터리 소설을 읽을 때, 등장인물들이 모두 알고 있는 범인 목록에 없는 사람이 나오면 "아, 이 사람은 범인 목록에 없으니 새로운 범인일 수도 있겠다"라고 추리하는 것과 같습니다.

전략 2: "멀티스케일 비교대" (Multi-Scale Contrastive Anchor Learning)

• 비유: AI 가 사물을 볼 때, 멀리서 보면 '개'인지 '고양이'인지 헷갈릴 수 있고, 가까이서 보면 털 색깔까지 다 보입니다. 기존 AI 는 이 거리 (스케일) 에 따라 판단이 흔들려서, 낯선 사물을 아는 사물로 잘못 분류하는 경우가 많았습니다.
• 방법: 연구진은 **각 사물마다 '기준점 (Anchor)'**을 세워주었습니다.
  • '개'라는 기준점 주위로 '개' 사진들을 아주 빽빽하게 모으고, '고양이'나 '낯선 사물'들은 그 기준점에서 멀리 떨어뜨려 놓습니다.
  • 이제 AI 는 새로운 사물이 들어오면, "이건 '개' 기준점에서 너무 멀리 떨어져 있네? 아니면 '고양이' 기준점에서도 멀어? 그럼 이건 낯선 사물이야!"라고 정확히 구별해냅니다.
  • 마치 학교 운동회에서 각 반 (클래스) 이 자기 자리 (기준점) 에 모여 있는데, 낯선 사람이 들어오면 어느 반 자리에도 속하지 않아서 바로 "저 사람은 우리 반이 아니야!"라고 알아차리는 것과 같습니다.

3. 결과: 잊지 않고 배우는 AI

기존 방법들은 새로운 것을 배우면 예전에 배운 것을 잊어버리는 (망각) 문제가 있었습니다. 하지만 이 연구의 방법은 기존의 지식을 건드리지 않고, 새로운 '기준점'과 '미스터리 공간'만 추가하는 방식으로 학습합니다.

• 자율주행 시나리오: AI 는 처음에는 '차'와 '사람'만 알고 있었습니다. 그런데 갑자기 '자전거'가 나타나면, "이건 내가 아는 '차'도 '사람'도 아니야. 새로운 사물이네!"라고 발견하고, 다음엔 '자전거'를 알 수 있게 됩니다.
• 성능: 이 방법은 기존에 가장 잘하던 방법들보다 **낯선 사물을 찾아내는 능력 (Recall)**이 훨씬 뛰어나면서도, 이미 알고 있는 사물을 잘못 분류하는 실수는 크게 줄였습니다.

요약

이 논문은 **"AI 가 세상 모든 것을 다 알 수는 없지만, '내가 모르는 것'을 정확히 알아차리고, 그것을 새로운 지식으로 받아들일 수 있는 방법"**을 제안했습니다.

• 핵심 아이디어: "모르는 것"을 찾기 위해 가상의 '미스터리 공간'을 만들고, 각 사물마다 '기준점'을 세워 헷갈리지 않게 했다.
• 실제 효과: 자율주행차처럼 실생활에서 중요한 분야에서, AI 가 낯선 장애물을 놓치지 않고 안전하게 대처할 수 있게 되었습니다.

이 기술은 AI 가 단순히 정해진 답만 찾는 기계가 아니라, 실제 세상처럼 복잡하고 예측 불가능한 환경에서도 유연하게 적응하는 지능으로 발전하는 중요한 디딤돌이 될 것입니다.

기술 요약

논문 요약: Open Vocabulary 에서 Open World 로의 확장

이 논문은 기존의 Open Vocabulary Object Detection (OVD, 오픈 보카불러리 객체 탐지) 모델이 가진 한계를 극복하고, 실제 환경 (예: 자율주행) 에서 발생할 수 있는 미지의 객체를 탐지하고 점진적으로 학습할 수 있는 Open World Object Detection (OWOD, 오픈 월드 객체 탐지) 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

• Closed-set 의 한계: 전통적인 객체 탐지 모델은 훈련 세트에 정의된 고정된 클래스만 탐지할 수 있습니다.
• OVD 의 한계: 최근 OVD 모델은 텍스트 프롬프트를 통해 무한한 클래스를 탐지할 수 있지만, 'Oracle(정답)'이 제공하는 정확한 프롬프트에 의존합니다.
  • NOOD (Near-Out-Of-Distribution): 알려진 클래스와 유사한 특징을 가진 미지의 객체는 잘못된 클래스로 오분류됩니다.
  • FOOD (Far-Out-Of-Distribution): 알려진 클래스와 완전히 다른 미지의 객체는 아예 탐지되지 않거나 무시됩니다.
• 실제 적용의 어려움: 자율주행과 같은 중요한 응용 분야에서는 사전에 모든 객체 타입을 텍스트 프롬프트로 정의할 수 없으므로, OVD 모델은 OOD(분포 이탈) 객체를 처리할 때 실패합니다.
• 기존 OWOD 의 문제점: 기존 OWOD 방법들은 종종 이전 작업의 데이터를 재사용 (Replay) 하여 점진적 학습을 수행하는데, 이는 계산 자원과 저장 공간을 비효율적으로 소모하며, 미지 객체 탐지 성능 (Recall) 이 낮습니다.

2. 제안 방법 (Methodology)

저자들은 OVD 모델 (YOLO-World 기반) 을 Open World 환경에서 작동하도록 하는 통합 프레임워크를 제안하며, 두 가지 핵심 모듈을 도입했습니다.

A. Open World Embedding Learning (OWEL)

• 목적: 새로운 클래스를 학습하고 FOOD(완전히 미지의) 객체를 탐지하기 위함.
• 메커니즘:
  • 전체 모델을 미세 조정 (Fine-tuning) 하는 대신, 파라미터화된 클래스 임베딩 (Text Embeddings) 만을 최적화하여 점진적 학습을 수행합니다. 이는 'Catastrophic Forgetting(과거 지식 망각)'을 방지합니다.
  • Pseudo Unknown Embedding (가짜 미지 임베딩) 도입: 알려진 클래스들의 평균 임베딩 ($\bar{w}$) 과 일반적인 '객체성 (Objectness)'을 나타내는 임베딩 ($w_0$, 예: "object") 을 결합하여 미지 클래스를 탐지할 수 있는 가상의 임베딩 ($w_U$) 을 생성합니다.
  • 수식: $w_U = w_0 - \alpha \frac{\bar{w}}{||\bar{w}||}$
  • 이 임베딩은 알려진 클래스와 겹치지 않으면서도 미지 객체 (FOOD) 를 탐지할 수 있도록 설계되었습니다.

B. Multi-Scale Contrastive Anchor Learning (MSCAL)

• 목적: NOOD(유사한 특징의 미지) 객체를 식별하고 알려진 클래스와 미지 클래스의 혼동을 줄이기 위함.
• 메커니즘:
  • 각 클래스 $i$에 대해 비선형 프로젝터 (Non-linear Projector) 를 사용하여 특징 피라미드를 클래스별 표현 공간으로 매핑합니다.
  • Contrastive Learning: 해당 클래스의 앵커 (Anchor) 와의 유사도를 최대화하고, 다른 클래스 및 배경과의 유사도를 최소화합니다.
  • Multi-Scale: 다양한 스케일 (Feature Pyramid) 에서 일관성을 유지하도록 학습합니다.
  • OOD Score: 추론 시, 공간 위치 $z$가 알려진 클래스 앵커와 얼마나 먼지 (내적곱이 작은지) 를 계산하여 OOD 점수 ($S(z)$) 를 산출합니다. 높은 점수는 미지 객체로 간주됩니다.

C. 점진적 학습 (Incremental Learning)

• 새로운 클래스가 추가될 때, 기존 클래스의 임베딩과 MSCAL 모듈을 고정 (Freeze) 하고 새로운 클래스에 대한 모듈만 학습합니다.
• Exemplar Replay 불필요: 이전 작업의 데이터 샘플을 저장하거나 재학습할 필요가 없어 저장 공간과 계산 비용을 절감합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: OVD 의 제로샷 (Zero-shot) 능력과 OWOD 의 미지 객체 탐지/학습 능력을 하나의 프레임워크로 통합했습니다.
2. OWEL 및 MSCAL 제안: 전체 모델 재학습 없이 임베딩 최적화와 다중 스케일 대비 학습을 통해 미지 객체를 효과적으로 탐지하고 점진적 학습을 가능하게 했습니다.
3. 새로운 벤치마크 (nu-OWODB): 자율주행 시나리오를 시뮬레이션하기 위해 nuScenes 데이터셋을 기반으로 한 새로운 OWOD 벤치마크를 제안했습니다. 이는 다양한 환경, 불균형한 클래스 분포, 복잡한 상호작용을 포함합니다.
4. 성능 달성: 기존 SOTA 방법들을 능가하는 성능을 달성하면서도 OVD 의 제로샷 능력을 유지했습니다.

4. 실험 결과 (Results)

• 벤치마크 (M-OWODB, S-OWODB):
  • 알려진 클래스의 평균 정밀도 (mAP) 와 미지 클래스의 재현율 (U-Recall) 모두에서 기존 방법들 (ORE, OW-DETR, PROB 등) 보다 월등히 높은 성능을 보였습니다.
  • 특히 U-Recall이 기존 방법 대비 크게 향상되었습니다 (예: M-OWODB Task 1 에서 73.5% 달성).
  • Wilderness Impact (WI) 및 Absolute Open-Set Error (A-OSE) 가 낮아, 알려진 클래스에 대한 오분류가 크게 감소했습니다.
• 자율주행 벤치마크 (nu-OWODB):
  • 도메인 격차 (Vision-Language Pre-training 데이터 vs 실제 주행 데이터) 가 큰 환경에서도 U-Recall 에서 SOTA 대비 최대 40% 향상된 성능을 보였습니다.
  • 기존 방법들은 재학습 (Fine-tuning with exemplars) 을 통해 성능을 높였으나, 제안된 방법은 재학습 없이도 우수한 성능을 유지했습니다.
• OVD 성능 유지:
  • LVIS minival 벤치마크에서 제로샷 OVD 성능을 평가한 결과, YOLO-World 와 동등한 성능을 유지하여 제안된 프레임워크가 OVD 능력을 해치지 않음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 Vision-Language Models (VLM) 을 실제 오픈 월드 환경에 적용할 수 있는 중요한 전환점을 제시합니다.

• 실용성: 자율주행과 같이 예측 불가능한 미지 객체가 존재하는 환경에서 모델이 안전하게 작동할 수 있도록 합니다.
• 효율성: 과거 데이터를 저장할 필요 없이 임베딩만 업데이트하여 점진적 학습이 가능하므로, 리소스 제약이 있는 시스템에 적합합니다.
• 일관성: OVD 의 유연성 (새로운 텍스트 프롬프트) 과 OWOD 의 견고성 (미지 객체 탐지) 을 동시에 만족시키는 통일된 아키텍처를 제시했습니다.

결론적으로, 이 논문은 OVD 모델이 단순히 알려진 클래스를 탐지하는 것을 넘어, 실제 세계의 복잡하고 변화하는 환경에서 미지 객체를 발견하고 학습할 수 있는 능력을 갖추도록 하는 효과적인 해결책을 제시합니다.