MRD: Using Physically Based Differentiable Rendering to Probe Vision Models for 3D Scene Understanding

이 논문은 물리 기반 미분 가능 렌더링을 활용하여 3D 장면 파라미터를 최적화함으로써 비전 모델이 2D 입력을 통해 내재적으로 이해하는 3D 장면 속성 (기하학적 형태 및 재질 등) 을 탐구하는 MRD 라는 새로운 접근법을 제안합니다.

핵심

🎨 핵심 아이디어: "AI 의 눈으로 세상을 다시 그리기"

상상해 보세요. AI 가 어떤 물체 (예: 용) 의 사진을 보고 "이건 용이야!"라고 판단했다고 칩시다. 우리는 AI 가 왜 그렇게 생각했는지 궁금합니다. AI 는 용의 '모양'을 보고 판단했을까요, 아니면 용의 '비늘 질감'을 보고 판단했을까요?

이 논문은 "AI 가 똑같은 반응을 보이게 하는, 하지만 완전히 다른 모양의 물체를 찾아내는" 실험을 합니다.

1. 메타머 (Metamer) 란 무엇일까요?

• 비유: 두 개의 완전히 다른 그림을 그려서, 어떤 사람의 눈에는 똑같이 보이게 만드는 상황을 생각해 보세요.
  • 그림 A: 실제 용.
  • 그림 B: 용처럼 생긴 이상한 구슬 덩어리.
  • 만약 AI 가 이 두 그림을 보고 "둘 다 용이야!"라고 똑같이 반응한다면, 이 두 그림은 AI 에게 **'메타머'**가 됩니다.
• 의미: AI 가 물체의 '진짜 모양'을 이해하는지, 아니면 '표면적인 질감'만 보고 판단하는지 구별할 수 있는 열쇠입니다.

2. MRD(가시적으로 렌더링된 메타머) 는 어떻게 작동할까요?

이 연구는 컴퓨터 그래픽스의 '물리 기반 렌더링 (PBDR)' 기술을 사용합니다. 이는 빛이 물체에 부딪혀 반사되는 과정을 수학적으로 정밀하게 시뮬레이션하는 기술입니다.

• 과정:
  1. 시작: AI 가 본 '진짜 용' 사진을 준비합니다.
  2. 초기화: AI 에게 다른 물체 (예: 공) 를 보여줍니다.
  3. 조작 (마법 같은 과정): 컴퓨터는 AI 가 "이 공이 진짜 용과 똑같은 반응 (용이라고 인식)"을 하도록, 공의 모양, 재질, 빛의 방향을 미세하게 조정합니다.
  4. 결과: AI 가 "이건 용이야!"라고 외칠 때까지 공을 변형시킵니다.
  5. 발견: 만약 공이 변형되어 모양은 완전히 다르지만 AI 가 용이라고 인식한다면, 우리는 "아, 이 AI 는 모양보다는 빛과 질감에 더 민감하게 반응하는구나!"라고 알 수 있습니다.

---

🔍 실험 결과: AI 는 무엇을 더 잘 이해할까요?

연구진은 다양한 AI 모델 (ResNet, CLIP 등) 을 대상으로 실험했습니다. 결과는 매우 흥미로웠습니다.

🌟 재질 (Material) 재현: "AI 는 질감 마법사"

• 결과: AI 가 물체의 **재질 (금속, 유리, 천 등)**을 재현하는 데는 매우 성공적이었습니다.
• 비유: AI 가 "금속처럼 반짝이는 것"을 이해하는 것은 쉽습니다. 빛이 어떻게 반사되는지 (질감) 를 조정하면 AI 가 만족합니다. 마치 조리된 스테이크의 질감을 재현하는 것은 쉽지만, 스테이크의 정확한 육질 구조를 재현하는 것은 어렵다는 것과 비슷합니다.
• 의미: 대부분의 AI 는 물체의 '표면 질감'과 '빛의 반사'를 매우 잘 이해하고 있습니다.

🗿 모양 (Shape) 재현: "AI 는 모양에 약하다"

• 결과: 물체의 **3 차원 모양 (기하학적 구조)**을 재현하는 것은 훨씬 어려웠습니다.
• 비유: AI 가 "용"이라고 인식하게 하려고 공을 변형시켰을 때, AI 는 용이라고 인식했지만, 사람이 보기엔 용이 아니라 이상한 뾰족한 덩어리로 보였습니다.
• 의미: AI 는 "용"이라는 개념을 생각할 때, 우리가 생각하는 '날개와 꼬리가 달린 용'의 모양보다는, 질감이나 명암 같은 표면적인 특징에 더 의존하고 있다는 뜻입니다. AI 는 "용처럼 보이는 덩어리"라면 모양이 뭐든 상관없이 용으로 인식하는 경향이 있습니다.

---

💡 이 연구가 왜 중요한가요?

이 연구는 AI 의 '머릿속'을 들여다보는 X-ray와 같습니다.

1. AI 의 약점 찾기: AI 가 모양을 잘 모르고 질감만 보고 판단한다는 것을 발견했습니다. 이는 AI 가 실제 세계를 인간처럼 깊이 이해하지 못하고 있음을 보여줍니다.
2. 더 나은 AI 만들기: AI 가 무엇을 잘못 이해하고 있는지 알면, 우리는 모양을 더 잘 이해하도록 훈련시킬 수 있습니다.
3. 인간과 AI 의 차이: 인간은 모양을 보고 사물을 인식하지만, AI 는 질감과 빛의 패턴에 더 민감할 수 있다는 것을 밝혀냈습니다.

📝 한 줄 요약

"이 연구는 AI 가 물체의 '모양'보다 '질감'에 더 혹하는 경향이 있음을, 물리 법칙을 이용해 AI 가 인식하는 '가짜 물체'를 만들어내는 실험을 통해 밝혀냈습니다."

이 기술은 앞으로 AI 가 어떻게 세상을 보고 있는지, 그리고 우리가 AI 를 어떻게 더 똑똑하게 만들 수 있을지 이해하는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

• 모델 해석의 한계: 딥러닝 기반 비전 모델은 2D 이미지 입력으로 훈련되지만, 종종 3D 장면의 구조 (깊이, 가려짐, 재질 등) 를 암묵적으로 이해한다고 가정됩니다. 그러나 이러한 모델이 실제로 3D 속성을 어떻게 표현하고 결정하는지 설명하기 어렵습니다.
• 기존 방법의 부족: 기존 모델 해석 기법 (예: 픽셀 기반 그라디언트 상승, 특징 시각화) 은 주로 픽셀 공간에서 작동하거나 노이즈가 많은 이미지를 생성합니다. 이는 물리적인 장면 속성 (기하학, 재질, 조명) 과 명확하게 연결되지 않아, 모델이 어떤 물리적 원인에 반응하는지 분리하여 분석하는 데 한계가 있습니다.
• 목표: 모델의 활성화 (latent representation) 를 유지하면서 물리적으로 다른 3D 장면 (메타머, Metamer) 을 찾아냄으로써, 모델이 어떤 3D 속성에 민감하고 어떤 속성에 불변 (invariant) 인지를 규명하는 것입니다.

2. 방법론 (Methodology: MRD)

저자들은 물리 기반 가분산 렌더링 (PBDR) 을 사용하여 모델의 은닉 공간 (latent space) 에 기반한 3D 장면 파라미터를 최적화하는 MRD 프레임워크를 제안합니다.

• 핵심 개념:

  • 모델 메타머 (Model Metamers): 서로 다른 물리적 3D 파라미터 (예: 다른 모양이나 재질) 를 가지지만, 특정 비전 모델의 은닉 표현 (latent activation) 을 동일하게 만드는 장면들.
  • 최적화 루프:
    1. 초기화: 알려진 파라미터 $\pi$로 구성된 초기 장면을 렌더링하여 기준 이미지 $I$와 모델 활성화 $y_i$를 얻습니다.
    2. 목표 설정: 다른 초기 상태 $\pi'$ (예: 용 대신 구) 에서 시작합니다.
    3. 손실 함수 계산: 렌더링된 이미지 $I$와 기준 이미지 간의 손실 $L$을 계산합니다. 이때 손실은 픽셀 차이가 아닌, 목표 모델의 은닉 표현 (latent representation) 간의 차이로 정의됩니다.
    4. 역전파 (Backpropagation): 렌더링 파이프라인 (Mitsuba 3 등) 을 통해 가중치를 역전파하여 3D 장면 파라미터 (형상, 재질, 조명 등) 를 업데이트합니다.
    5. 제약 조건: 특정 파라미터 (예: 조명) 는 고정하고 다른 파라미터 (예: 형상) 만 최적화하여 특정 속성에 대한 모델의 민감도를 분리하여 측정합니다.

• 기술적 세부 사항:

  • 렌더러: Mitsuba 3 를 사용하여 경로 추적 (Path Tracing) 기반의 물리 기반 렌더링을 수행합니다. 이는 빛의 물리적 전달을 정확히 모사하며, 가시성 불연속성 (visibility discontinuities) 을 처리하기 위해 Zhang et al. 의 프로젝트 샘플링 기법을 적용합니다.
  • 평가 모델: ResNet-50, ResNet-50-SIN (형태 편향 강화), VGG, LPIPS, CLIP, DINOv2 등 6 가지 모델을 사용하여 다양한 표현 공간 (CNN, Perceptual Metric, Vision Transformer) 을 테스트합니다.
  • 성공 기준: 최적화된 장면이 기준 (Ground Truth) 장면과 은닉 공간에서의 유사도 (Hyperspherical Similarity) 가 기준 실험 (Ground Truth 재구성) 과 동일하거나 더 높을 때, 해당 장면을 '모델 메타머'로 간주합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 해석 도구 (MRD): 모델의 은닉 표현을 물리적 3D 장면 파라미터와 직접 연결하여, 모델이 학습한 표현의 물리적 인과관계를 규명하는 새로운 방법론을 제안했습니다.
2. 물리적 기반의 메타머 생성: 픽셀 기반이 아닌 물리 법칙 (빛의 전달) 에 기반한 3D 장면 재구성을 통해, 모델이 어떤 물리적 속성 (재질 vs 형태) 에 대해 불변성을 가지는지 정량적으로 분석할 수 있게 했습니다.
3. 광범위한 실험 평가: 다양한 현대 비전 모델 (CNN, Transformer, Perceptual Metric) 을 대상으로 재질 (BRDF) 과 형태 (Geometry) 복원 능력을 평가하고, 그 결과를 체계적으로 보고했습니다.

4. 실험 결과 (Results)

A. 재질 복원 (Material Reconstruction)

• 성공률: 대부분의 네트워크에서 재질 (BRDF) 파라미터를 성공적으로 복원하여 메타머를 생성했습니다.
• 모델별 차이:
  • LPIPS 와 VGG: 재질 복원에 매우 강력하며, 거의 모든 재질 클래스에서 기준 유사도에 도달했습니다.
  • ResNet-SIN: 재질 표현과 매우 잘 정렬되어 높은 유사도를 보였습니다.
  • CLIP 및 DINO: 일부 재질에서 변동성이 있었으나 전반적으로 양호했습니다.
• 특징: 재질 변화는 이미지 전체에 걸쳐 부드러운 그라디언트를 제공하므로 최적화가 비교적 안정적이고 수렴 속도가 빠릅니다.

B. 형태 복원 (Shape Reconstruction)

• 성공률: 재질 복원에 비해 형태 복원은 훨씬 어려웠으며, 많은 실험에서 메타머 기준을 충족하지 못했습니다.
• 모델별 차이:
  • LPIPS 와 VGG: 형태 복원에서도 상대적으로 좋은 성능을 보였습니다.
  • ResNet 및 ResNet-SIN: 높은 은닉 유사도 (0.97 이상) 를 달성했지만, 시각적으로는 용 (Dragon) 이 아닌 "날카로운 덩어리"처럼 보이는 비정형적인 형태를 생성했습니다. 이는 ResNet 이 3D 형태에 대해 매우 넓은 동치 클래스 (equivalence class) 를 가짐을 시사합니다 (즉, 형태가 달라도 모델은 '용'으로 인식함).
  • CLIP: 형태 복원에 있어 상대적으로 낮은 성능을 보였습니다.
• RSA (Representational Similarity Analysis): 일부 실험에서 점대점 (pointwise) 유사도는 낮았으나, 표현 공간의 기하학적 구조 (pairwise geometry) 는 보존되는 경우가 있었습니다. 이는 모델이 정확한 모양을 복원하지는 못했지만, 개념적 관계는 유지하고 있음을 의미합니다.

C. 재질 vs 형태 복원 성능 차이

• 재질 복원이 형태 복원보다 훨씬 성공적이었습니다. 그 이유는:
  1. 재질 파라미터 공간이 형태 공간보다 차원이 낮고 구조화되어 있습니다.
  2. 재질 변화는 전역적인 그라디언트를 제공하지만, 형태 변화는 가시성 경계 (silhouette) 에서 불연속적인 그라디언트를 유발하여 최적화를 어렵게 만듭니다.
  3. 현대 비전 네트워크는 질감 (texture) 과 조명 통계에 형태 정보보다 더 민감하게 반응하는 경향이 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 이해의 심화: MRD 는 모델이 단순히 2D 픽셀 패턴을 매칭하는 것이 아니라, 물리적 3D 속성에 대한 어떤 수준의 이해를 가지고 있는지, 혹은 어떤 속성에 대해 무관심한지 (불변성) 를 구체적으로 보여줍니다.
• 인간 시각과의 비교: 인간은 '용'을 볼 때 형태적 특징에 기반하여 범주화하지만, ResNet 같은 모델은 질감이나 특정 조명 패턴에 기반하여 범주화할 수 있음을 발견했습니다. 이는 모델이 인간과 다른 방식으로 3D 세계를 이해하고 있음을 시사합니다.
• 미래 전망: 이 방법은 컴퓨터 비전 모델의 해석 가능성 (interpretability) 을 높일 뿐만 아니라, 인간의 시각 처리 메커니즘을 이해하는 데에도 기여할 수 있습니다. 향후 더 복잡한 장면, 카메라 위치, 조명 조건 등을 포함한 확장 연구가 필요합니다.

요약하자면, MRD 는 물리 기반 렌더링을 통해 비전 모델이 '어떤 3D 세계'를 보고 있는지, 그리고 그 세계가 실제 물리 세계와 얼마나 다른지 (또는 같은지) 를 탐구하는 강력한 도구입니다.