Weight Space Representation Learning on Diverse NeRF Architectures

이 논문은 MLP, 트리플레인, 해시 테이블 등 다양한 아키텍처와 훈련 시 보지 못한 아키텍처까지 처리할 수 있는 최초의 그래프 메타 네트워크 프레임워크를 제안하여, NeRF 의 가중치를 아키텍처에 구애받지 않는 잠재 공간으로 변환하고 분류, 검색, 언어 태스크에서 기존 단일 아키텍처 기반 방법론을 능가하는 성능을 입증합니다.

핵심

🎨 1. 배경: "3D 물체를 그리는 AI"는 무엇일까요?

과거에는 3D 물체를 저장할 때 수많은 사진이나 복잡한 3D 모델 파일을 필요로 했습니다. 하지만 최근 등장한 **NeRF(신경 방사선장)**라는 기술은, 3D 물체의 모양과 색깔을 **인공지능 (신경망) 의 '가중치 (Weights)'**라는 숫자 덩어리 안에 압축해 저장합니다.

• 비유: 마치 거대한 3D 조각상을 레고 블록으로 만드는 것과 같습니다. NeRF 는 이 레고 블록을 어떻게 조립해야 물체가 완성되는지에 대한 '설계도 (가중치)'만 저장해 둡니다.

🚧 2. 문제점: "서로 다른 설계도"를 이해할 수 없다

문제는 NeRF 를 만드는 **설계 방식 (아키텍처)**이 다양하다는 것입니다.

• 어떤 AI 는 MLP(기본적인 레고 조립법) 를 쓰고,
• 어떤 AI 는 Tri-plane(세 개의 평면을 활용하는 조립법) 을 쓰고,
• 또 어떤 AI 는 Hash Table(효율적인 인덱싱을 쓰는 조립법) 을 씁니다.

기존의 연구들은 **"오직 하나의 설계도 방식 (예: MLP) 만 이해할 수 있는 번역기"**만 만들었습니다. 만약 MLP 로 만든 3D 물체를 MLP 번역기에 넣으면 잘 작동하지만, Hash Table 로 만든 3D 물체를 넣으면 번역기는 "이건 뭐야? 난 모르겠어!"라고 외칩니다.

💡 3. 이 논문의 해결책: "모든 설계도를 이해하는 만능 번역기"

이 논문은 어떤 설계도 방식 (MLP, Tri-plane, Hash Table) 으로 만들어졌든 상관없이, 그 3D 물체의 '본질'을 이해하는 첫 번째 프레임워크를 개발했습니다.

핵심 아이디어 1: 레고 구조를 '그래프'로 바꾸기

이 연구팀은 NeRF 의 복잡한 설계도를 **그래프 (노드와 선으로 연결된 도표)**로 변환했습니다.

• 비유: 서로 다른 언어 (설계도) 로 쓰인 레고 설명서를 모두 **하나의 공통된 도면 (그래프)**으로 번역한 것입니다. 이제 AI 는 설계 방식이 달라도, "아, 이건 '자동차'를 만드는 레고구나"라고 알 수 있게 되었습니다.

핵심 아이디어 2: "비교 학습"으로 같은 물체를 묶기

서로 다른 설계도로 만든 '같은 자동차'를 AI 가 알아볼 수 있도록 훈련시켰습니다.

• 비유: "MLP 로 만든 노란 픽업트럭"과 "Hash Table 로 만든 노란 픽업트럭"은 설계 방식은 다르지만, '차'라는 본질은 같다는 것을 AI 에게 가르친 것입니다.
• 이를 위해 **대조 학습 (Contrastive Learning)**이라는 기법을 썼습니다. 비슷한 물체는 가까이, 다른 물체는 멀리 떨어뜨리도록 AI 의 뇌 (잠재 공간) 를 훈련시켰습니다.

🚀 4. 왜 이것이 중요한가요? (실제 효과)

이 "만능 번역기"를 통해 다음과 같은 일들이 가능해졌습니다.

1. 分类 (분류): 3D 물체가 '자동차'인지 '의자'인지 구분할 때, 설계 방식이 달라도 90% 이상 정확하게 맞춥니다.
2. 검색 (Retrieval): "노란 픽업트럭"을 검색하면, MLP 로 만든 것이든 Hash Table 로 만든 것이든 상관없이 모두 찾아냅니다.
3. 언어 이해 (Captioning): 3D 물체를 보고 "이것은 노란색 트럭이다"라고 설명하는 AI 와 대화할 수 있습니다.

🌟 5. 결론: 3D AI 의 '바벨탑'을 무너뜨리다

이 논문의 가장 큰 공헌은 NeRF 의 다양한 설계 방식 (MLP, Tri-plane, Hash Table) 을 모두 아우르는 첫 번째 시스템을 만들었다는 점입니다.

• 과거: "너희는 서로 다른 언어를 쓰니까 서로 대화할 수 없어. 각자 따로 공부해야 해."
• 이제 (이 논문): "서로 다른 설계 방식이든 상관없이, 우리는 3D 물체의 본질을 이해하는 공통된 언어를 만들었어. 이제 모든 3D AI 들이 서로 소통하고, 함께 학습할 수 있게 되었어!"

이 기술은 3D 데이터를 다루는 AI 의 미래를 열며, 앞으로 나올 새로운 3D 설계 방식들도 쉽게 받아들일 수 있는 **탄탄한 기초 (Foundation Model)**가 될 것으로 기대됩니다.

기술 요약

논문 요약: WEIGHT SPACE REPRESENTATION LEARNING ON DIVERSE NERF ARCHITECTURES (ICLR 2026)

이 논문은 신경 방사선장 (NeRF) 의 가중치 (weights) 를 직접 처리하여 다양한 아키텍처에 구애받지 않는 표현 학습 (Representation Learning) 프레임워크를 제안합니다. 기존 연구들은 특정 NeRF 구조 (예: MLP 만 또는 Tri-plane 만) 에만 적용 가능했으나, 본 연구는 MLP, Tri-plane, Hash Table 등 다양한 아키텍처를 통합적으로 처리하고, 훈련 시 보지 못한 아키텍처에서도 추론이 가능한 최초의 프레임워크를 제시합니다.

---

1. 문제 정의 (Problem)

• NeRF 의 데이터 형식화: NeRF 는 3D 장면의 모양과 외관을 신경망 가중치로 인코딩하는 혁신적인 데이터 형식입니다. 최근 NeRF 데이터셋이 늘어나면서, 이러한 가중치를 입력으로 받아 분류, 검색, 언어 작업 등의 딥러닝 태스크를 수행하려는 시도가 늘고 있습니다.
• 기존 방법의 한계: 기존 연구 (nf2vec, Cardace et al.) 는 NeRF 가중치를 처리하는 표현 학습 프레임워크를 제안했으나, 특정 아키텍처 (예: 고정된 크기의 MLP 나 Tri-plane) 에만 국한되었습니다.
• 핵심 과제: NeRF 연구 분야에서는 새로운 아키텍처 (예: Hash Table 기반) 가 끊임없이 등장하고 있습니다. 따라서 어떤 NeRF 아키텍처라도 입력으로 받아, 훈련 시 보지 못한 아키텍처에서도 일반화될 수 있는 범용적인 (Architecture-agnostic) 표현 학습 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 **그래프 메타 네트워크 (Graph Meta-Network, GMN)**를 기반으로 한 인코더와 대비 학습 (Contrastive Learning) 을 결합한 프레임워크를 제안합니다.

2.1 NeRF 를 그래프로 변환 (From NeRFs to Graphs)

• 파라미터 그래프 (Parameter Graph): 기존 계산 그래프 (Computation Graph) 는 가중치 공유가 있는 네트워크에서 확장성이 떨어집니다. 이를 해결하기 위해 Lim et al. (2024) 의 '파라미터 그래프' 방식을 차용하여 각 가중치를 그래프의 엣지로 매핑합니다.
• 새로운 변환 기법: 기존에는 MLP 와 Tri-plane 만 변환이 가능했으나, 저자는 Multi-resolution Hash Table을 그래프로 변환하는 새로운 방법을 제안합니다.
  • Hash Table 의 각 엔트리를 노드로, 각 특징 벡터 차원을 노드로 표현하고, 이를 엣지로 연결하여 메모리 효율성을 유지하면서 그래프를 구성합니다.

2.2 인코더 및 디코더 구조

• 인코더 (Encoder): 변환된 파라미터 그래프를 입력받아 잠재 공간 (Latent Space) 벡터로 매핑하는 **GMN(Graph Meta-Network)**을 사용합니다. GMN 은 그래프 구조에 따라 입력 네트워크의 아키텍처를 유연하게 처리할 수 있습니다.
• 디코더 (Decoder): nf2vec 에서 사용된 디코더를 활용하여, 인코더의 임베딩과 3D 좌표 (주파수 인코딩됨) 를 입력받아 해당 점의 색상 및 밀도 값을 복원합니다. 이는 NeRF 가중치를 통한 렌더링 손실 (Rendering Loss) 계산을 가능하게 합니다.

2.3 학습 전략: 렌더링 손실 + 대비 학습 (Rendering + Contrastive Loss)

단순히 렌더링 손실만 사용하면, 동일한 객체라도 아키텍처가 다르면 잠재 공간에서 서로 다른 클러스터로 뭉치는 문제가 발생합니다. 이를 해결하기 위해 두 가지 손실 함수를 결합합니다.

1. 렌더링 손실 ($L_R$): 인코더와 디코더가 원래 NeRF 와 유사한 장면을 렌더링하도록 하여, 객체의 기하학적/외관적 정보를 보존합니다.
2. 대비 손실 ($L_C$, SigLIP): 동일한 객체를 나타내는 서로 다른 아키텍처의 NeRF 쌍을 잠재 공간에서 가깝게, 다른 객체는 멀리 떨어지도록 학습합니다.
   • 최종 손실 함수: $L_{R+C} = L_R + \lambda L_C$
   • 이 조합을 통해 아키텍처에 무관한 (Architecture-agnostic) 잠재 공간이 형성되어, 객체 내용 (Content) 만으로 유사도가 결정되도록 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 범용 NeRF 처리 프레임워크: MLP, Tri-plane, 그리고 Hash Table을 포함한 다양한 NeRF 아키텍처의 가중치를 처리할 수 있는 첫 번째 프레임워크를 제시했습니다.
2. 대비 학습을 통한 잠재 공간 정렬: 서로 다른 아키텍처로 표현된 동일한 객체가 잠재 공간에서 가깝게 위치하도록 하는 대비 학습 목적함수를 도입했습니다.
3. Hash Table 기반 NeRF 처리: 기존에 처리되지 않았던 Hash Table 기반 NeRF 에 대한 하류 작업 (Downstream tasks) 을 최초로 수행했습니다.
4. 강력한 일반화 능력: 훈련 시 보지 못한 아키텍처 (Unseen architectures) 와 훈련 시 보지 못한 데이터 (Unseen datasets, e.g., Objaverse) 에 대해서도 뛰어난 성능을 입증했습니다.
5. 기존 방법 대비 우수한 성능: 단일 아키텍처에 국한된 기존 방법들 (nf2vec, Cardace et al.) 과 비교하여 동등하거나 더 나은 성능을 달성했습니다.

4. 실험 결과 (Results)

실험은 ShapenetRender 와 Objaverse 데이터를 기반으로 3 가지 아키텍처 패밀리 (MLP, Tri-plane, Hash Table) 의 총 13 가지 다양한 아키텍처를 대상으로 수행되었습니다.

• 잠재 공간 분석 (t-SNE):
  • 렌더링 손실만 사용 ($L_R$) 시: 아키텍처별로 클러스터가 분리됨 (객체 유사성보다 구조적 유사성이 우선).
  • 대비 손실만 사용 ($L_C$) 시: 아키텍처 간 거리는 줄었으나 클래스 간 분리가 모호함.
  • 결합 ($L_{R+C}$): 클래스 간 분리와 아키텍처 불변성 (Invariance) 사이의 최적 균형을 이룸.
• 분류 (Classification):
  • 다중 아키텍처 설정: 훈련 데이터 (ALL) 로 학습된 모델은 훈련 시 보지 못한 아키텍처 (Unseen) 에서도 높은 정확도를 보임. 특히 $L_{R+C}$가 다른 아키텍처 간 전이 학습에 효과적임.
  • 단일 아키텍처 설정: MLP 나 Tri-plane 만을 다룰 때도 기존 방법 (nf2vec, Cardace et al.) 보다 우수한 성능을 기록.
• 검색 (Retrieval):
  • K-NN 검색에서 $L_{R+C}$가 랜덤 베이스라인 대비 압도적으로 높은 Recall@k 를 기록.
  • 특히 다른 아키텍처 간 검색 (예: MLP 쿼리 vs Hash Table 갤러리) 에서도 성공적인 결과를 보여 아키텍처 불변성을 입증.
  • Objaverse 데이터로 일반화 테스트 시에도 ShapenetRender 기반 모델이 잘 작동함.
• 언어 작업 (Captioning & Q&A):
  • LLaNA (Large Language and NeRF Assistant) 파이프라인에 본 프레임워크의 인코더를 적용.
  • 다양한 아키텍처에서 생성된 텍스트의 품질 (S-BERT, SimCSE 점수) 이 기존 방법과 비교해 동등하거나 우수함을 확인.

5. 의의 및 결론 (Significance)

• NeRF 표현 학습의 패러다임 전환: NeRF 를 단순히 렌더링된 이미지로 변환하지 않고, 가중치 자체를 직접 처리하여 3D 정보를 추출하는 새로운 접근법을 정립했습니다.
• 미래 지향적 확장성: NeRF 아키텍처는 계속 발전하고 있으므로, 특정 구조에 종속되지 않는 이 프레임워크는 향후 다양한 NeRF 변형에 적용 가능한 **기초 모델 (Foundational Model)**의 가능성을 제시합니다.
• 실용성: 3D 데이터의 분류, 검색, 언어 이해 등 다양한 다운스트림 태스크에 효율적으로 적용 가능하며, Hash Table 과 같은 최신 고효율 아키텍처까지 지원한다는 점에서 실용성이 매우 높습니다.

이 연구는 NeRF 가 단순한 렌더링 도구를 넘어, 구조에 구애받지 않는 3D 데이터 표현 형식으로 자리 잡는 데 중요한 이정표가 될 것으로 기대됩니다.