Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes

이 논문은 컴퓨터 비전 및 그래픽스 분야에서 신경 암시적 함수 연구의 한계를 극복하기 위해 2D 이미지와 3D 장면을 포괄하는 대규모 데이터셋 'Implicit-Zoo'를 소개하고, 이를 통해 토큰 위치 학습 및 3D 카메라 자세 추정 등 다양한 작업의 성능을 향상시키는 새로운 연구 방향을 제시합니다.

핵심

1. 문제: "요리 레시피"는 있는데, "완성된 요리"가 부족해요

기존의 인공지능 (AI) 은 보통 사진 파일 (JPG, PNG) 을 그대로 학습합니다. 하지만 이 논문은 **"이미지를 수학적 함수 (공식) 로 변환한 것"**을 학습합니다.

• 비유: 일반적인 AI 학습은 사진첩을 보는 것입니다. 하지만 이 연구는 요리 레시피를 학습합니다.
  • 기존 방식: "이 사진은 고양이입니다"라고 외우는 것.
  • 이 연구의 방식: "고양이 눈의 위치, 털의 색, 귀의 모양을 만드는 수식"을 만드는 것.
  • 장점: 이 수식 (함수) 은 아주 작은 데이터만으로도 고화질의 이미지를 무한히 확대하거나 변형할 수 있습니다. 마치 레시피 하나면 어떤 크기의 케이크도 만들 수 있는 것과 같습니다.

하지만 문제점이 있었습니다.
이런 '수학적 레시피'를 만드는 데는 **엄청난 시간과 컴퓨터 자원 (GPU)**이 필요했습니다. 그래서 연구자들이 이걸 많이 만들어서 AI 가 학습할 수 있는 '재료'가 부족했던 것입니다.

2. 해결책: "Implicit-Zoo(임플리시트-주)"라는 거대한 식자재 창고

연구진은 1,000 일 이상의 GPU 가동 시간을 투자하여, 2D 이미지 (사진) 와 3D 장면 (입체 공간) 에 대한 **150 만 개 이상의 '수학적 레시피 (함수)'**를 만들어냈습니다. 이를 Implicit-Zoo라고 이름 붙였습니다.

• 비유: 이제 연구자들은 비싼 식자재를 직접 구할 필요 없이, 이 거대한 **식자재 창고 (Zoo)**에서 필요한 재료 (고양이, 자동차, 도시 풍경 등) 를 가져와서 AI 를 훈련시킬 수 있게 되었습니다.
• 품질 관리: 단순히 많이 만든 게 아니라, "이 레시피로 만든 요리가 너무 맛없으면 (화질이 낮으면) 버리고 다시 만든다"는 식으로 30 점 만점에 30 점 (PSNR 30dB) 이상의 고화질만 남겼습니다.

3. 새로운 발견: "학습 가능한 토큰 (Learnable Tokenizer)"

이제 이 식자재 (데이터) 를 이용해 AI 를 훈련시키는데, 연구진은 AI 가 스스로 '재료 손질법'을 배우게 했습니다.

• 기존 방식 (고정된 패치): 사진을 10x10 크기의 작은 사각형으로 잘라서 학습합니다. 마치 규칙적인 격자무늬로 사진을 자르는 것과 같습니다. 중요한 부분 (예: 고양이의 눈) 이 격자 선에 걸쳐 잘리면 정보가 손실될 수 있습니다.
• 새로운 방식 (학습 가능한 토큰): AI 가 "어디를 자르는 게 가장 좋은지" 스스로 결정하게 합니다.
  • 비유: 요리사가 재료의 모양에 맞춰 칼질하는 것과 같습니다.
  • 고양이의 귀가 있는 곳은 작게, 넓은 하늘 부분은 크게, 중요한 부분은 집중해서 잘라냅니다.
  • 결과: AI 가 스스로 최적의 '자르는 위치'를 찾아내니, 분류 (무엇인지 맞추기) 나 segmentation (어디까지가 고양이인지 나누기) 성능이 훨씬 좋아졌습니다.

4. 3D 응용: "사진 한 장으로 3D 공간의 위치 찾기"

이 데이터는 3D 공간 (NeRF) 에도 적용됩니다.

• 상황: 로봇이나 드론이 2D 사진 한 장을 보고 "내가 이 3D 공간의 어디에 있는가?"를 알아내야 합니다.
• 기존: 위치를 추정하는 데 많은 계산이 필요하거나, 미리 정해진 규칙에 의존했습니다.
• 이 연구: Implicit-Zoo 의 3D 데이터를 바탕으로, **Transformer(최신 AI 모델)**를 훈련시켜 사진 한 장만 보고도 3D 공간에서의 정확한 위치 (자세) 를 찾아내게 했습니다.
• 성공: 훈련되지 않은 새로운 공간에서도 80% 이상의 확률로 30 도 이내의 오차로 위치를 찾아냈습니다.

5. 요약: 왜 이것이 중요한가요?

1. 데이터의 부재 해결: 수학적 이미지 표현 (INR) 연구에 필요한 거대한 '식자재 창고'를 제공했습니다.
2. AI 의 유연성 향상: AI 가 데이터를 '잘게 썰어보는 방식 (토큰화)'을 스스로 배워, 기존 고정된 방식보다 훨씬 똑똑해졌습니다.
3. 새로운 가능성: 2D 이미지 분류, 3D 공간 인식 등 다양한 분야에서 AI 의 성능을 끌어올리는 열쇠가 되었습니다.

한 줄 요약:

"이 연구는 AI 가 이미지를 이해하는 방식을 '고정된 격자'에서 '스스로 조절하는 유연한 칼질'로 바꾸었고, 이를 위해 150 만 개의 고화질 '수학적 레시피'를 담은 거대한 도서관을 지어주었습니다."

기술 요약

1. 문제 정의 (Problem Statement)

신경 암시적 함수 (Neural Implicit Functions, INRs) 는 Multi-Layer Perceptrons (MLP) 를 사용하여 입력 좌표를 해당 값 (예: 이미지의 RGB 값, 3D 장면의 밀도 및 색상) 에 매핑하는 연속 함수를 학습하는 기술입니다. INR 은 복잡한 형상 표현, 부드러운 보간 능력, 임의의 해상도 지원, 미분 가능성 등의 장점을 가지고 있습니다.

그러나 INR 연구의 발전은 다음과 같은 주요 장애물에 직면해 있었습니다:

• 대규모 데이터셋의 부재: 기존 데이터셋은 규모가 작거나 (수천 개 수준), 특정 응용 분야에 국한되어 있었습니다.
• 높은 계산 비용: INR 을 생성하고 평가하는 데는 막대한 GPU 자원이 필요하여, 대규모 데이터셋 구축이 어려웠습니다.
• 표준화된 벤치마크 부재: INR 을 활용한 다양한 컴퓨터 비전 태스크 (분류, 세그멘테이션, 포즈 회귀 등) 를 체계적으로 평가할 수 있는 표준 데이터셋이 없었습니다.

이러한 문제를 해결하기 위해 저자들은 Implicit-Zoo라는 대규모 데이터셋을 제안합니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축 (Implicit-Zoo Dataset)

• 규모: 150 만 개 이상의 INR 로 구성된 대규모 데이터셋으로, 약 1,000 GPU 일 (RTX-2080 기준) 의 훈련 시간을 소모했습니다.
• 구성:
  • 2D 이미지: CIFAR-10 (6 만 개), ImageNet-1K (143 만 개), Cityscapes (2.3 만 개) 를 기반으로 생성.
  • 3D 장면: OmniObject3D (5,914 개 객체) 를 기반으로 생성.
• 모델 아키텍처:
  • 2D 작업: SIREN (주기적 활성화 함수 사용) 모델 사용.
  • 3D 작업: NeRF (Neural Radiance Fields) 구현체 사용.
• 품질 관리 (Quality Control):
  • 모든 데이터가 PSNR 30dB (인간이 눈으로 구분하기 어려운 수준의 오차) 이상을 달성할 때까지 엄격한 품질 검사를 수행했습니다.
  • 기본 훈련 후 PSNR 이 미달되는 데이터에 대해 확장 훈련 (Extended Training) 을 수행하여 필터링 및 정제 과정을 거쳤습니다.

2.2 학습 가능한 토크나이저 (Learnable Tokenizer)

기존의 Vision Transformer (ViT) 는 고정된 패치 (Patch) 나 볼륨을 입력으로 사용하지만, Implicit-Zoo 는 미분 가능성 (Differentiability) 을 활용하여 토큰의 위치를 학습할 수 있게 합니다.

• 핵심 아이디어: INR 은 좌표 $x$를 입력받아 값 $v_x$를 출력하므로, 토큰을 구성하는 좌표 $x$ 자체를 학습 가능한 파라미터로 설정할 수 있습니다.
• 구현 전략:
  • Learnable Scaling: 패치 크기를 학습.
  • Learnable Centers: 패치 중심 좌표를 학습.
  • Learnable Pixels: 모든 픽셀 좌표를 학습 (규제 Term 을 통해 과도한 수렴 방지).
• 미분 가능한 증강 (Differentiable Augmentation): 가중치 공간 (Weight-space) 에서 기하학적 변환을 수행하여 INR 에 직접 적용함으로써, 데이터 증강 과정에서도 그래디언트가 역전파되도록 설계했습니다.

2.3 벤치마크 태스크

제안된 데이터셋을 활용하여 다음 세 가지 태스크를 수행했습니다:

1. 이미지 분류 (Classification): CIFAR-10 및 ImageNet-100 INR 데이터로 ViT 모델 훈련.
2. 시맨틱 세그멘테이션 (Semantic Segmentation): Cityscapes INR 데이터로 픽셀 단위 분류 수행.
3. 3D 포즈 회귀 (3D Pose Regression): 훈련된 3D INR (NeRF) 과 2D 이미지를 입력받아 카메라의 6DoF 포즈를 직접 회귀 (Regression) 하는 새로운 태스크.

3. 주요 기여 (Key Contributions)

1. Implicit-Zoo 데이터셋 공개: 1,000 GPU 일의 투자를 통해 생성된 150 만 개 이상의 고품질 INR 데이터셋을 공개했습니다. 이는 현재까지 가장 대규모인 INR 데이터셋 중 하나입니다.
2. 학습 가능한 토크나이저 제안: 고정된 패치 방식 대신, INR 의 미분 가능성을 활용하여 토큰의 위치와 크기를 데이터에 최적화되도록 학습하는 새로운 방법을 제시했습니다.
3. 새로운 벤치마크 및 태스크:
   • 2D 이미지 분류 및 세그멘테이션에 대한 표준 벤치마크를 확립했습니다.
   • 3D 포즈 회귀를 위한 새로운 벤치마크를 제안하고, Transformer 기반의 포즈 회귀 모델을 통해 unseen 장면에서도 높은 정확도를 달성했습니다.
4. 성능 향상: 학습 가능한 토크나이저를 적용함으로써 기존 SOTA 모델 (ViT, Segformer 등) 의 성능을 여러 태스크에서 유의미하게 향상시켰습니다.

4. 실험 결과 (Results)

• 분류 (Classification):
  • CIFAR-10-INR 에서 Learnable Centers (LC) 및 Learnable Pixels + Regularization (LP+Reg) 방법이 기존 고정 패치 ViT 보다 정확도가 0.51% ~ 0.75% 향상되었습니다.
  • ImageNet-100 에서도 미세 조정 (Fine-tuning) 후 유사한 성능 향상을 보였습니다.
• 세그멘테이션 (Segmentation):
  • Cityscapes-INR 에서 학습 가능한 토크나이저를 적용한 MiT-B0 모델이 mIOU (Mean Intersection over Union) 에서 0.38% ~ 0.62% 향상된 결과를 보였습니다. 이는 픽셀 단위 작업에서도 토큰 정렬이 중요함을 시사합니다.
• 3D 포즈 회귀 (Pose Regression):
  • OmniObject3D 데이터셋에서 제안된 방법은 Seen Scenes에서 회전 오차 (RE) 가 약 14.17°, Unseen Scenes에서 약 **20.02°**의 오차를 보였습니다.
  • 사전 훈련된 볼륨 인코더 (Pre-trained Volume Encoder) 와 학습 가능한 토크나이저를 결합했을 때 가장 좋은 성능을 달성했습니다.
  • 광학적 오차 (Photometric Error) 를 최소화하는 추가 정제 단계를 통해 오차를 더욱 줄일 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 연구의 새로운 방향 제시: INR 데이터셋의 부재로 인해 제한적이었던 연구 영역을 개방하여, 대규모 데이터 기반의 INR 연구와 Transformer 아키텍처와의 결합을 가능하게 했습니다.
• 학습 가능한 표현 (Learnable Representation): 고정된 데이터 전처리 (패치화 등) 대신, 모델이 데이터의 특성에 맞춰 토큰의 위치를 학습할 수 있음을 증명했습니다. 이는 컴퓨터 비전 및 그래픽스 분야에서 효율적인 표현 학습의 새로운 패러다임을 제시합니다.
• 실용적 응용: 3D 포즈 회귀와 같은 복잡한 3D 비전 태스크에 INR 을 효과적으로 적용할 수 있는 방법을 제시하여, 로봇 공학 및 증강현실 (AR) 분야에서의 활용 가능성을 높였습니다.

한계점:

• INR 쿼리의 비효율성으로 인해 배치 크기와 모델 크기에 제한이 있어, 복잡한 모델을 처음부터 훈련 (From-scratch) 하는 데 어려움이 있습니다.
• 반복적인 배경 (Repetitive backgrounds) 에서 PSNR 30dB 임계값이 아티팩트를 유발할 수 있으며, 대칭적인 객체 (Symmetric objects) 에 대한 포즈 회귀는 여전히 어렵습니다.

이 논문은 Implicit-Zoo 데이터셋과 이를 활용한 학습 가능한 토크나이저 기법을 통해, 신경 암시적 표현의 연구와 응용을 크게 확장시켰다는 점에서 중요한 의의를 가집니다.