Unlocking ImageNet's Multi-Object Nature: Automated Large-Scale Multilabel Annotation

이 논문은 자기지도 학습 비전 트랜스포머를 활용한 자동 파이프라인을 통해 ImageNet 학습 데이터를 단일 레이블에서 다중 레이블로 변환함으로써, 인간 판단과 높은 일치도를 보이며 분류 정확도와 전이 학습 성능을 모두 향상시켰습니다.

핵심

이 논문은 컴퓨터 비전 분야의 거인인 **'이미지넷 (ImageNet)'**이라는 거대한 사진 데이터베이스를 더 똑똑하게 만들기 위한 혁신적인 방법을 소개합니다.

간단히 말해, **"하나의 사진에 여러 가지 사물이 그려져 있는데, 컴퓨터에게 '이건 개야'라고 딱 하나만 가르쳤던 과거의 방식을 버리고, '이건 개고, 옆엔 공도 있고, 배경엔 나무도 있어'라고 모두 가르쳐주자!"**는 이야기입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "한 장의 사진, 하나의 정답"이라는 착각

과거의 이미지넷은 마치 초등학교 시험지와 같았습니다.

• 상황: 사진에 강아지, 공, 그리고 나무가 함께 찍혀 있습니다.
• 과거의 방식: 선생님 (데이터 라벨러) 은 "정답은 강아지 하나뿐이야!"라고만 적어주었습니다.
• 문제점: 컴퓨터 (AI) 는 공이나 나무를 무시하게 됩니다. 심지어 AI 가 "저기 공도 있네요!"라고 말하면, "아니, 정답은 강아지야. 틀렸어!"라고 감점해 버립니다.
• 결과: AI 는 세상을 단순하게만 보게 되고, 실제 복잡한 현실을 이해하는 데 한계가 생깁니다.

2. 해결책: "자동 라벨링 공장"을 세우다

이 논문은 128 만 장이나 되는 사진을 사람이 하나하나 다시 확인하는 것은 너무 비싸고 힘들기 때문에, **AI 가 스스로 사진을 분석해서 모든 사물을 찾아내는 '자동 공장'**을 만들었습니다.

이 공장의 작동 원리는 다음과 같은 3 단계 요리 과정과 같습니다.

1 단계: 재료 찾기 (사물 발견)

• 비유: 요리사가 식탁 위에 놓인 모든 재료를 눈으로 쫓아다니며 "여기 고기 있네, 여기 야채 있네"라고 찾아내는 과정입니다.
• 기술: AI 는 사람의 도움 없이 스스로 사진 속의 '강한 부분'을 찾아내어 사물의 윤곽 (마스크) 을 그립니다. 이때 강아지, 공, 나무를 각각 따로 떼어냅니다.

2 단계: 맛보기 테스트 (정확한 이름 붙이기)

• 비유: 찾아낸 재료를 하나씩 접시에 담아 "이건 정말 고기야?", "이건 고기가 아니야?"라고 확인하는 과정입니다.
• 기술: 원래 사진에 적힌 정답 (예: 강아지) 과 일치하는 부분만 골라내어, AI 가 "이런 모양이면 '강아지'라고 부르는구나"라고 학습시킵니다. 이렇게 하면 AI 는 배경이나 잡다한 것까지 다 강아지로 착각하는 실수를 줄입니다.

3 단계: 메뉴판 완성 (다중 라벨 생성)

• 비유: 이제 완성된 요리의 메뉴판을 만듭니다. "이 사진에는 강아지, 공, 나무가 모두 들어갑니다"라고 적어줍니다.
• 기술: 찾아낸 모든 사물 영역에 대해 AI 가 이름을 붙이고, 그 이름을 사진 전체의 정답 목록에 추가합니다. 이제 한 장의 사진에 여러 개의 정답이 생기게 됩니다.

3. 왜 이게 중요할까요? (기대 효과)

이 새로운 방식을 적용하자 AI 는 놀라운 변화를 겪었습니다.

• 더 똑똑한 학생: 이제 AI 는 사진 속의 모든 것을 이해하게 되어, 시험 문제 (실제 세상) 를 풀 때 훨씬 더 정확해졌습니다.
• 유연한 사고: "강아지"만 보는 게 아니라 "강아지가 공을 물고 있다"는 상황을 이해하게 되어, 다른 일을 시켜도 (예: 자동차 찾기, 사람 찾기) 훨씬 잘 해냅니다.
• 인간의 도움 없이도 가능: 사람이 일일이 사진에 태그를 달지 않아도, AI 가 스스로 학습해서 더 좋은 데이터를 만들어냈습니다.

4. 결론: 세상을 더 넓게 보는 눈

이 연구는 **"세상은 복잡하고 다양한데, 우리는 너무 단순하게만 가르치고 있었다"**는 사실을 깨우쳐 주었습니다.

마치 한 장의 사진을 볼 때, 단순히 '주인공'만 보는 것이 아니라 주변의 모든 요소를 함께 이해해야 진짜 그림을 알 수 있듯이, 이 기술은 AI 가 세상을 더 풍부하고 정확하게 이해하도록 돕는 중요한 발걸음입니다.

한 줄 요약:

"하나만 정답이라고 가르치던 구식 방식을 버리고, AI 가 스스로 사진 속 모든 사물을 찾아내어 '다중 정답'으로 가르쳐주니, AI 가 훨씬 더 똑똑하고 유연해졌습니다!"

기술 요약

1. 문제 정의 (Problem)

• ImageNet 의 단일 레이블 가정: ImageNet-1K 는 컴퓨터 비전 연구의 핵심 데이터셋이지만, 각 이미지에 단 하나의 카테고리만 할당하는 단일 레이블 (Single-label) 가정을 따릅니다.
• 실제 장면과의 불일치: 실제 세계의 시각적 장면에는 여러 객체가 공존하는 경우가 많습니다. 연구에 따르면 ImageNet 이미지의 약 15% 가 최소 두 개 이상의 관련 카테고리를 포함하고 있음이 확인되었습니다.
• 학습 신호의 한계: 단일 레이블은 이미지 내의 다른 객체를 '배경'이나 '노이즈'로 간주하게 만들어, 모델이 풍부한 시각적 표현을 학습하는 것을 방해합니다. 또한, 평가 단계에서 모델이 2 차 객체를 정확히 예측해도 정답으로 인정받지 못해 불공정한 패널티를 받거나 벤치마킹이 왜곡되는 문제가 발생합니다.
• 기존 연구의 한계: 검증 세트 (Validation Set) 에 대해서는 ReaL[4] 과 같은 인간 검증 다중 레이블 데이터셋이 존재하지만, 128 만 장의 훈련 세트 (Training Set) 에 대해 자동화된 고품질 다중 레이블 주석이 존재하지 않았습니다. 기존 자동화 방법 (ReLabel 등) 은 부드러운 (soft) 레이블을 제공하거나 단일 객체만 인식하는 데 그쳐, 명시적이고 공간적으로 정렬된 (spatially grounded) 다중 객체 레이블을 제공하지 못했습니다.

2. 방법론 (Methodology)

저자들은 인간 주석 없이 ImageNet 훈련 세트를 다중 레이블 데이터셋으로 변환하는 완전 자동화 파이프라인을 제안합니다. 이 파이프라인은 크게 세 단계로 구성됩니다.

1 단계: 비지도 객체 발견 (Unsupervised Object Discovery)

• MaskCut 활용: DINOv3 와 같은 자기지도 학습 (Self-Supervised Learning, SSL) 비전 트랜스포머 (ViT) 의 특징을 활용하여 MaskCut 알고리즘을 적용합니다.
• 객체 제안 (Proposals): 이미지 내에서 중요한 객체 영역을 식별하는 이진 마스크 (Binary Masks) 를 생성합니다. CutLER 의 MaskCut 을 사용하여 여러 객체를 반복적으로 발견하고, CRF(Conditional Random Field) 를 통해 마스크를 정제합니다.
• SAM 과의 비교: Segment Anything Model (SAM) 과 같은 일반 분할 도구보다 MaskCut 이 일관된 객체 수준의 제안 (Object-level proposals) 을 제공하여 대규모 데이터셋에 더 적합함을 확인했습니다.

2 단계: 지역화 분류기 학습 (Localized Labeler Training)

• 과적합 방지 전략: 단순히 생성된 모든 마스크에 원본 이미지 레이블을 할당하면 배경이나 관련 없는 영역까지 학습하는 과적합 (Overfitting) 이 발생합니다.
• ReLabel 을 활용한 필터링: ReLabel[37] 이 생성한 패치 기반의 부드러운 레이블 맵을 사용하여, 원본 레이블과 높은 일치도를 보이는 제안 (Proposals) 만 선별합니다.
• 경량 분류기 학습: 선별된 제안 (Region) 과 해당 영역의 특징을 입력받아, ImageNet 클래스를 예측하는 경량 분류기 (2 층 MLP + Frozen ViT 백본) 를 학습시킵니다. 이는 모델이 배경 맥락이 아닌 실제 객체 영역을 기반으로 클래스를 학습하도록 유도합니다.

3 단계: 다중 레이블 추론 (Multi-Label Inference)

• 마스크 집계: 학습된 분류기를 모든 발견된 객체 제안에 적용하여 각 영역별 클래스 확률을 예측합니다.
• 이미지 수준 레이블 생성: 각 마스크의 최상위 예측 (Top-1) 을 집계하여 이미지의 최종 다중 레이블 세트를 생성합니다. 중복되는 클래스는 제거하거나 신뢰도가 높은 것을 선택합니다.
• 결과: 128 만 장의 ImageNet 훈련 이미지에 대해 객체 수준 (Object-level) 의 공간적 정렬이 된 명시적인 다중 레이블을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 자동화 다중 레이블 주석: 인간 개입 없이 ImageNet-1K 훈련 세트 전체 (128 만 장) 에 대해 명시적이고 공간적으로 정렬된 다중 레이블을 생성한 최초의 작업입니다.
2. 향상된 레이블 품질 및 인스턴스 귀속: 기존 ReaL 이 놓친 누락된 클래스를 복구하고, 각 레이블을 특정 객체 영역 (Spatial Mask) 에 연결하여 해석 가능성과 정확도를 높였습니다.
3. 강화된 지도 학습 및 전이 학습: 생성된 다중 레이블로 학습된 모델은 단일 레이블 학습 및 기존 단일 긍정 (Single-positive) 학습 방법보다 우수한 성능을 보이며, 하위 작업 (COCO, VOC) 으로 전이될 때도 뛰어난 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• ImageNet 벤치마크 성능 향상:
  • ReaL (다중 레이블 검증 세트): Top-1 정확도 +2.0%p 향상.
  • ImageNet-V2: Top-1 정확도 +1.5%p 향상.
  • mAP (평균 정밀도): ReaL 에서 +1.1, IN-Seg 에서 +1.0 이상 향상.
• 하위 작업 전이 학습 (Transfer Learning):
  • COCO: mAP +4.2 향상.
  • VOC: mAP +2.3 향상.
  • ResNet-50/101 및 ViT (Small/Base/Large) 등 다양한 아키텍처에서 일관된 성능 개선을 보였습니다.
• 비교 분석:
  • 기존 단일 레이블 학습이나 ReLabel[37] 과 같은 소프트 레이블 방법보다 명시적인 다중 레이블 학습이 더 강력한 표현 학습을 유도함을 확인했습니다.
  • ImageNet-21K 로 사전 학습된 MIIL[23] 과 비교했을 때, ImageNet-1K 만으로 학습된 본 방법의 다중 레이블 모델이 하위 작업 전이 성능에서 더 우수한 결과를 보였습니다.

5. 의의 및 결론 (Significance)

• 데이터셋의 진화: 레거시 데이터셋 (ImageNet) 이 고정된 것이 아니라, 자동화된 파이프라인을 통해 지속적으로 주석의 품질을 개선하고 다중 객체 특성을 반영할 수 있음을 입증했습니다.
• 표현 학습의 풍부함: 다중 레이블 지도는 모델이 더 다양하고 풍부한 특징 (Feature Diversity) 을 학습하도록 유도하여, 신경망 붕괴 (Neural Collapse) 를 줄이고 분산 외 (Out-of-Distribution) 일반화 능력을 향상시킵니다.
• 미래 연구 방향: 이 작업은 검출 (Detection), 멀티모달 그라운딩 (Multimodal Grounding), 그리고 차세대 기초 모델 (Foundation Models) 의 학습을 위한 고품질 데이터 구축의 새로운 패러다임을 제시합니다.

이 논문은 ImageNet 의 단일 레이블 한계를 극복하고, 실제 세계의 복잡한 시각적 장면을 더 정확하게 반영하는 자동화된 다중 레이블 데이터셋 구축을 통해 컴퓨터 비전 모델의 성능과 일반화 능력을 획기적으로 향상시켰다는 점에서 중요한 의의를 가집니다.