NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code

NERFIFY 는 대형 언어 모델을 네RF 도메인 특화 설계 (문맥 자유 문법, 그래프 기반 사고, 시각 피드백 등) 와 결합하여 학술 논문을 실행 가능한 Nerfstudio 플러그인으로 자동 변환함으로써, 기존 방법론의 한계를 극복하고 복잡한 비전 연구의 재현성을 획기적으로 가속화하는 다중 에이전트 프레임워크입니다.

핵심

🏗️ 1. 문제: "레시피는 있는데, 요리사가 없다"

최근 'NeRF(신경 방사선 필드)'라는 기술이 엄청나게 발전하고 있습니다. 논문이 1,000 개 넘게 쏟아져 나오는데, 문제는 대부분의 논문에는 '요리법 (코드)'이 없다는 것입니다.

• 기존 상황: 연구자들이 논문을 보고 직접 코드를 짜려면, 수주 (몇 주) 에서 수개월이 걸립니다. 마치 외국어로 된 복잡한 요리 레시피를 보고, 재료를 구하고, 냄비를 사서 직접 요리를 만들어야 하는 것과 같습니다.
• 기존 AI 의 한계: 최근의 똑똑한 AI(GPT-5 등) 가 논문을 보고 코드를 짜달라고 하면, 문법만 맞을 뿐 실제로 작동하지 않는 '허수아비' 코드를 만들어냅니다. 마치 레시피를 보고 "음, 소금과 설탕을 넣으라니..."라고 말만 할 뿐, 실제 요리는 못 하는 상황입니다.

🤖 2. 해결책: NERFIFY (너피파이)

이때 등장한 NERFIFY는 단순히 코드를 짜주는 게 아니라, 전문 요리사 팀처럼 일하는 '다중 에이전트 (Multi-Agent)' 시스템입니다. 논문을 보고 몇 분 만에 실제로 작동하는 코드를 만들어냅니다.

이 시스템이 어떻게 그렇게 똑똑할 수 있을까요? 6 가지 핵심 비법이 있습니다.

① 📜 "엄격한 요리 규칙 (CFG)"

NERFIFY 는 'Nerfstudio'라는 특정 요리 도구 (프레임워크) 의 **엄격한 규칙 (문법)**을 먼저 학습합니다.

• 비유: 마치 "이 주방에서는 반드시 칼을 왼쪽에 두고, 불은 약불로 시작해야 한다"는 규칙을 먼저 정해두는 것입니다. 그래서 AI 가 아무리 엉뚱한 짓을 해도, 규칙에 맞지 않는 코드는 아예 만들지 못하게 막습니다.

② 🕸️ "생각의 그물망 (Graph-of-Thought)"

코드는 파일들이 서로 연결되어 있어야 합니다. NERFIFY 는 이 연결 관계를 **지도 (그래프)**로 그려서 순서대로 작업합니다.

• 비유: 건물을 지을 때, 기초 공사를 먼저 하고 그다음 벽을 세우는 식으로 순서대로 팀원들이 일합니다. "벽을 먼저 세우면 기초가 없어서 무너진다"는 걸 미리 알고, 파일 A 를 만들고 나서 파일 B 를 만드는 식으로 실수를 방지합니다.

③ 🔗 "숨겨진 재료 찾기 (Citation Recovery)"

논문에는 "A 라는 기법을 사용했다"라고만 적혀 있고, A 가 무엇인지 구체적인 코드는 다른 논문에 있는 경우가 많습니다.

• 비유: 레시피에 "마법의 소스"라고만 적혀 있고, 그 소스 만드는 법은 다른 책에 있는 경우, NERFIFY 는 그 책을 찾아서 소스 만드는 법까지 가져와서 전체 레시피를 완성합니다. 논문이 인용한 다른 논문들을 쫓아다니며 필요한 모든 부품을 찾아옵니다.

④ 👁️ "눈으로 확인하는 맛보기 (Visual Feedback)"

코드가 실행된 후, 생성된 이미지를 보고 "여기가 어색하네?"라고 진단합니다.

• 비유: 요리를 다 하고 맛을 보거나 사진을 찍어서 "이건 너무 짜다", "이건 모양이 망가졌다"라고 시각적으로 문제를 찾아냅니다. AI 가 "아, 이 부분을 수정해야겠다"라고 스스로 고쳐 나갑니다.

⑤ 🚀 "단순 복제가 아닌 업그레이드"

단순히 논문을 그대로 따라 하는 것을 넘어, 더 좋은 방법을 찾아내기도 합니다.

• 비유: 레시피를 그대로 따라 하되, "이건 더 맛있게 만들 수 있겠다"라고 생각해서 최적의 버전으로 만들어냅니다.

⑥ 🏆 "시험 평가"

만들어진 코드가 30 개의 다양한 논문에서 얼마나 잘 작동하는지 철저히 테스트합니다.

---

📊 3. 결과: 얼마나 잘할까요?

• 속도: 연구자가 몇 주 걸리던 일을 몇 분 만에 끝냅니다.
• 품질: 전문가가 직접 쓴 코드와 비교했을 때, 화질 (PSNR) 차이가 거의 없습니다 (0.5dB 차이). 거의 똑같은 수준입니다.
• 성공률: 기존 AI 들은 95% 의 경우 실패하거나 작동하지 않는 코드를 만들지만, NERFIFY 는 100% 작동하는 코드를 만들어냅니다.

💡 4. 결론: 왜 중요한가요?

이 기술은 "복잡한 과학을 누구나 쉽게 재현할 수 있게" 만들어줍니다.
예전에는 논문을 보고 코드를 짜려면 천재적인 연구자만 가능했지만, 이제는 NERFIFY 가 그 일을 대신해 줍니다. 이는 과학 연구의 속도를 획기적으로 높이고, 누구나 최신 기술을 쉽게 쓸 수 있게 하는 **'민주화'**의 시작입니다.

한 줄 요약:

"NERFIFY 는 복잡한 과학 논문을 읽어서, 규칙을 지키고, 숨겨진 재료를 찾고, 직접 맛을 보며 고쳐서, 몇 분 만에 전문가 수준의 작동 코드를 만들어내는 '초고속 요리 로봇'입니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 2020 년 NeRF(신경 방사선장) 논문 발표 이후 1,000 개 이상의 후속 연구가 쏟아졌으나, 대부분의 논문에는 공개된 코드가 없거나 표준화된 구현체가 부재합니다.
• 현황: 연구자들은 기존 논문을 기반으로 새로운 연구를 수행하기 위해 수주 (weeks) 에 걸쳐 수동으로 코드를 재구현해야 합니다. 이는 전문적인 지식 (볼륨 렌더링, 컴퓨터 비전, 신경 최적화) 을 요구하며, 단순한 코드 오류부터 수학적 오해까지 다양한 실패 요인이 존재합니다.
• 기존 방법의 한계: 일반적인 논문-to-코드 (Paper-to-Code) 시스템 (예: Paper2Code, AutoP2C) 이나 최신 LLM(예: GPT-5) 은 NeRF 의 복잡한 도메인 지식과 의존성 (citation dependencies) 을 해결하지 못해 실행 가능한 코드나 학습 가능한 모델을 생성하지 못합니다. (실패율 95% 이상)
• 목표: NeRF 연구 논문을 입력받아 학습 가능 (trainable), 실행 가능 (executable), 그리고 전문가 수준의 시각적 품질을 가진 Nerfstudio 플러그인을 자동으로 생성하는 프레임워크 개발.

2. 방법론 (Methodology)

NERFIFY 는 4 단계로 구성된 멀티 에이전트 프레임워크입니다.

Stage 1: CFG 형식화 및 인-컨텍스트 학습 (CFG Formalization)

• 도메인 지식 베이스 구축: Nerfstudio 아키텍처를 **문맥 자유 문법 (Context-Free Grammar, CFG)**으로 형식화합니다. 이는 생성된 코드가 아키텍처 불변성 (architectural invariants) 을 만족하도록 제약합니다.
• 데이터 전처리: MinerU 를 활용하여 PDF 를 구조화된 마크다운으로 변환하고, 불필요한 부분을 제거하여 핵심 수식, 알고리즘, 인용 관계를 보존합니다.
• 인-컨텍스트 예제: 기존 NeRF 논문과 그 구현체 쌍을 지식 베이스에 저장하여 에이전트의 생성 가이드로 활용합니다.

Stage 2: 구성적 인용 복구 (Compositional Citation Recovery)

• 의존성 그래프 탐색: NeRF 논문은 다른 논문들의 구성 요소 (예: Mip-NeRF 360 의 제안 네트워크, Instant-NGP 의 해시 인코더 등) 에 의존합니다.
• 재귀적 검색: 대상 논문의 인용 그래프를 재귀적으로 탐색하여 명시적/암시적 의존성을 모두 식별하고, 필요한 컴포넌트 (샘플러, 인코더, 손실 함수 등) 를 자동으로 검색 및 통합합니다.

Stage 3: 문법 기반 저장소 생성 (Grammar-Guided Repository Generation)

• Graph-of-Thought (GoT) 코딩: 단일 에이전트가 아닌, 특화된 파일 에이전트들이 위상적 순서 (topological order) 에 따라 코드를 생성합니다.
• 4 단계 프로세스:
  1. DAG 구성: 논문을 Nerfstudio 구성 요소 의존성 그래프로 매핑.
  2. 인터페이스 고정 (Freeze): 위상 순서대로 최소한의 공개 API(시그니처) 를 정의.
  3. 구현: 각 노드에서 로컬 계약 (contracts) 을 검증하며 실행 가능한 코드 생성.
  4. 통합 테스트: 엔드 - 투 - 엔드 스모크 테스트 (smoke test) 를 수행하여 실패 시 자동 수정 (patching) 을 수행.

Stage 4: 시각 기반 피드백 (Visual-Driven Feedback)

• 순환적 개선: 생성된 코드로 3k 회 학습 (smoke training) 을 수행한 후, 생성된 이미지를 분석하여 품질을 개선합니다.
• 3 가지 분석 브랜치:
  1. 메트릭 브랜치: PSNR/SSIM 맵을 분석하여 오차가 큰 영역 (ROI) 식별.
  2. 기하학 브랜치: 교차 뷰 (cross-view) 일관성을 확인하여 유령 (ghosting) 이나 부유 물체 (floaters) 감지.
  3. 시맨틱 브랜치: VLM(비전 - 언어 모델) 을 활용하여 아티팩트를 진단하고 패치 제안.
• 피드백 루프: 진단 결과를 바탕으로 코드를 수정하고, 목표 품질 (원래 논문 수준의 PSNR) 에 도달할 때까지 반복합니다.

3. 주요 기여 (Key Contributions)

1. NERFIFY 프레임워크: NeRF 논문을 실행 가능한 Nerfstudio 플러그인으로 변환하는 최초의 멀티 에이전트 시스템.
2. 도메인 특화 아키텍처:
   • CFG 제약: Nerfstudio 아키텍처를 문법으로 정의하여 구조적 오류를 방지.
   • 구성적 인용 복구: 복잡한 논문 간 의존성 그래프를 자동으로 해결.
   • 시각적 피드백 루프: 학습 결과의 시각적 결함을 진단하고 수정하는 폐쇄 루프 (closed-loop) 시스템.
3. NERFIFY-BENCH 벤치마크: 30 개의 다양한 NeRF 논문 (구현체 유무, Nerfstudio 통합 여부, 신규성 등) 으로 구성된 최초의 전문 평가 벤치마크.
4. 성능 증명: 기존 일반적 방법론들이 실패하는 환경에서도 100% 실행 가능 코드를 생성하며, 전문가 구현체와 시각적 품질이 거의 동일한 수준을 달성.

4. 실험 결과 (Results)

• 벤치마크 (NERFIFY-BENCH): 30 개 논문 평가.
  • 실행 가능성: NERFIFY 는 100% 학습 가능한 코드를 생성한 반면, 기존 Baseline(Paper2Code, GPT-5 등) 은 95% 이상 실패 (학습 불가 또는 구문 오류).
  • 시각적 품질: 공개 코드가 없는 10 개 논문 (Set 1) 에서 전문가 구현체 대비 PSNR ±0.5dB, SSIM ±0.2 이내의 품질을 달성.
  • 신규성 보존 (Novelty Coverage): 논문의 핵심 혁신 요소 (손실 함수, 아키텍처 등) 를 100% 정확하게 구현 (C=1.00). 반면 일반 LLM 은 핵심 요소 누락이 빈번함.
• 시간 효율성: 수주 (weeks) 가 걸리던 구현 시간을 **수 분 (minutes)**으로 단축.
• Ablation Study:
  • 인-컨텍스트 예제 제거 시 점수 하락 (0.98 → 0.71).
  • 인용 복구 제거 시 신규 기술 구현 실패율 증가 (35%).
  • GoT(그래프 오브 씽킹) 전략이 단일 샷 (One-shot) 생성보다 아키텍처 통합과 학습 안정성에서 월등히 우수함.

5. 의의 및 결론 (Significance)

• 재현성 가속화: NeRF 연구의 재현성을 획기적으로 높여, 이론적 논문을 즉시 실험 가능한 형태로 전환합니다.
• 민주화: 복잡한 NeRF 기술을 구현할 수 있는 진입 장벽을 낮추어 더 많은 연구자가 최신 기법에 접근할 수 있게 합니다.
• 도메인 특화의 중요성: 단순히 모델의 규모 (Scale) 를 키우는 것보다, 도메인 지식 (CFG, Citation Graph, Visual Feedback) 을 프레임워크에 통합하는 것이 복잡한 과학적 논문을 코드로 변환하는 데 더 중요함을 입증했습니다.
• 확장성: 이 접근법은 컴퓨터 비전뿐만 아니라 다른 과학 연구 커뮤니티의 논문-to-코드 변환에도 적용 가능한 템플릿을 제시합니다.

요약: NERFIFY 는 NeRF 연구의 재현성 위기를 해결하기 위해, 도메인 특화된 문법과 멀티 에이전트 협업을 통해 논문을 자동으로 실행 가능한 고품질 코드로 변환하는 혁신적인 시스템입니다.