💻 computer science

Assessing the Feasibility of Real-Time Neural FluidRendering Using NVIDIA RTX Neural Shaders

이 논문은 실시간 유체 렌더링을 위한 NVIDIA RTX 뉴럴 셰이더의 타당성을 평가하며, 신경망이 높은 프레임 레이트에서 픽셀 수준의 BSDF를 성공적으로 근사화하는 반면, 현재는 상당한 프레임워크의 한계로 인해 버텍스 변위 작업에 효과적으로 배치하는 데 어려움이 있음을 입증한다.

원저자: Srihari Acharya, Thotreithem Hongray

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Srihari Acharya, Thotreithem Hongray

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비디오 게임 세계를 구축하고 있고, 바다가 진짜처럼 보이기를 원한다고 상상해 보세요. 과거에 아티스트들은 컴퓨터에게 물이 어떻게 출렁이고, 빛을 반사하며, 젖어 보이게 할지를 알려주기 위해 복잡한 수학적 레시피를 한 줄 한 줄 직접 작성해야 했습니다. 그것은 마치 모든 빗방울 하나하나에 대한 매뉴얼을 쓰는 것과 같았습니다. 하지만 최근, 새로운 아이디어가 등장했습니다. 규칙을 직접 쓰는 대신, 컴퓨터가 그 규칙을 '학습'하게 만드는 것은 어떨까요? 이것이 바로 "뉴럴 렌더링(neural rendering)"의 세계입니다. 이것은 당신의 그래픽 카드 안에 아주 작고 빠른 두뇌를 훈련시키는 것과 같습니다. 엄격한 레시피를 따르는 대신, 이 두뇌는 물이 어떻게 움직이는지에 대한 사례들을 보고 스스로 패턴을 찾아내는 것입니다. 연구자들이 던지는 핵심 질문은 이것입니다. 우리가 이 작은 학습된 두뇌들을 사용하여, 게임 속도를 늦추지 않으면서도 물을 놀랍도록 멋지게 만들기 위해 저 오래된 수동 수학 레시피들을 모두 대체할 수 있을까?

이 논문은 NVIDIA의 새로운 도구인 "RTX 뉴럴 셰이더(RTX Neural Shaders)"를 사용하여 이 질문을 깊이 있게 파고듭니다. 연구자들은 물 셰이더의 두 가지 주요 부분, 즉 물을 움직이는 부분(파도를 만드는 것)과 물을 빛나게 하는 부분(빛을 반사하는 것)을 교체할 수 있는지 확인하고 싶었습니다. 그들은 신경망이 완벽한 수학적 물 셰이더의 동작을 모방하도록 시도하는 훈련 시스템을 구축했습니다.

결과는 매우 대조적인 두 가지 이야기였습니다. "광택" 측면에서 실험은 엄청난 성공이었습니다. 신경망은 물, 기름, 그리고 걸쭉한 유체의 표면에서 빛이 어떻게 튀어 오르는지를 거의 즉각적으로 학습했습니다. 이 기술은 깊은 푸른색의 대양부터 자동차 엔진 오일의 매끄러운 광택에 이르기까지 사실적인 반사를 만들어낼 수 있었으며, RTX 4060 그래픽 카드에서 초당 100프레임으로 매끄럽게 실행되었습니다. 컴퓨터는 모든 픽셀의 색상을 결정하는 데 약 60~70 마이크로초가 걸렸으며, 이는 무언가를 '보기에 적절하게' 만드는 데 있어 이 작은 두뇌들이 실시간으로 사용 가능한 선택지임을 입증했습니다.

하지만 그들이 신경망을 사용하여 물을 '움직이게' 하려고 했을 때, 이야기는 급격히 반전되었습니다. 연구진은 뇌에게 영화에서 보는 것과 같은 거스트너 파도(Gerstner waves, 구르는 파도)를 만들기 위해 메쉬 정점(mesh vertices)을 위아래로 밀어 올리는 법을 학습하도록 요청했습니다. 이 부분은 처참하게 실패했습니다. 움직이는 파도의 복잡한 수학을 처리하기 위해 네트워크를 약간 더 크게 만들려고 하자, 애플리케이션 전체가 멈추거나 충돌했습니다. 충돌하지 않더라도, 물은 왜곡되어 진동하는 엉망진창인 모습이 되거나 단순히 사라져 버렸습니다. 연구자들은 현재의 프레임워크에 이러한 움직이는 네트워크의 크기를 제한하는 엄격하고 숨겨진 한계가 있으며, 움직이는 물의 복잡한 기하학적 구조를 처리하는 데 어려움을 겪고 있다는 것을 발견했습니다. 또한 다른 컴퓨터에서 네트워크를 훈련시킨 뒤 그 "두뇌"를 옮기려고 시도했지만, 파일 형식이 호환되지 않아 마치 열 수 없는 잠긴 문처럼 가로막혔습니다.

그렇다면 결론은 무엇일까요? 이 논문은 뉴럴 셰이더가 물을 아름답고 사실적으로 '보이게' 만드는 직업을 맡을 준비는 되어 있지만, 물을 복잡한 방식으로 '움직이게' 하는 직업을 맡을 준비는 아직 되지 않았음을 시사합니다. 이 기술은 시각 효과 측면에서는 유망하지만, "근육" 측면의 방정식은 여전히 보조 바퀴를 달고 있는 단계에 머물러 있으며, 현재의 하드웨어 및 소프트웨어의 한계에 가로막혀 있습니다. 저자들은 우리가 올바른 길을 가고 있지만, 실시간 유체 시뮬레이션의 전체 춤을 소화하기 위해서는 프레임워크에 더 많은 도구와 더 나은 문서화가 필요하다고 결론지었습니다.

기술 요약: NVIDIA RTX Neural Shaders를 이용한 실시간 뉴럴 유체 렌더링의 타당성 평가

문제 정의
실시간 유체 렌더링은 전통적으로 시각적 사실성과 계산 효율성 사이의 균형을 맞추기 위해 수작업으로 제작된 수학적 셰이더에 의존해 왔다. 버텍스 변위(vertex displacement)를 위한 Gerstner wave나 픽셀 셰이딩을 위한 해석적 BSDF와 같은 방식들은 매우 최적화되어 있지만 경직되어 있으며, 다양한 재질과 조명 조건에 맞춰 광범위한 수동 튜닝을 요구한다. 2025년 초 NVIDIA의 RTX Neural Shaders (RTXNS) 프레임워크가 도입되면서, 이는 텐서 코어(Tensor Cores)를 통해 작은 신경망이 GPU 파이프라인 내에서 직접 실행될 수 있게 되었으며, 이에 따라 중요한 질문이 제기되었다. 과연 뉴럴 셰이더가 유체 렌더링의 복잡한 기하학적 변형(버텍스)과 광학적 셰이딩(픽셀) 로직을 모두 효과적으로 대체할 수 있는가? 본 연구는 단순히 기존의 해석적 방법보다 성능을 높이는 것이 아니라, 이 프레임워크의 역량과 현재의 구조적 한계를 이해하는 것을 목표로, 이러한 복잡한 함수들을 근사하기 위한 RTXNS의 활용 가능성을 조사한다.

방법론
저자들은 전통적인 셰이더 로직을 학습된 다층 퍼셉트론(MLP)으로 대체하기 위해 RTXNS 프레임워크 내에서 이중 파이프라인 학습 시스템을 구현하였다. 이 시스템은 NVIDIA RTX 4060 GPU에서 1080p 해상도로 테스트되었다.

이중 파이프라인 구조:
- 픽셀 셰이더 파이프라인: 해석적 유체 BSDF(Bidirectional Scattering Distribution Function)를 신경망으로 교체하였다. 그라운드 트루스(Ground Truth)는 마이크로패싯 기반 BRDF 코어(Fresnel, GGX 분포, 기하학적 항 계산)와 유체 특유의 광학적 후처리(투과성, 깊이 흡수)로 구성된 2단계 아키텍처를 활용하였다. 신경 MLP는 6개의 입력(기하학적 내적, 거칠기, IOR)을 받아 4개의 채널(스펙큘러 항, 뷰 의존적 혼합, 산란, Fresnel)을 출력하며 코어 BRDF 단계를 근사하였다.
- 버텍스 셰이더 파이프라인: 절차적 Gerstner wave 변위를 신경망으로 대체하려고 시도하였다. 그라운드 트루스는 점성( $\mu$ )과 탄성( $\eta$ )을 사용하여 파형, 시간적 포락선(temporal envelopes), 주파수를 조절하는 일반화된 재질 의존적 파동 모델을 포함하였다. 신경 MLP는 8개의 입력(위치, 시간 및 재질 파라미터)을 받아 3D 변위 벡터를 예측한다.
학습 및 추론:
- 학습은 호스트 측의 rtxns::HostNetwork 클래스를 사용하여 GPU에서 실시간으로 수행되었으며, 컴퓨트 셰이더를 통해 순전파(forward)/역전파(backward) 패스 및 옵티마이저 단계(Adam)를 디스패치하였다.
- 픽셀 파이프라인은 입력 차원을 확장하기 위해 주파수 인코딩(frequency encoding)을 활용하였고, 버텍스 파이프라인은 전용 .ns.bin 형식으로의 변환을 시도하기 전 PyTorch에서 다양한 아키텍처(V1–V5)를 탐색하였다.

주요 기여

이중 뉴럴 파이프라인 구현: 본 연구는 통합된 RTXNS 파이프라인 내에서 버텍스 변위와 픽셀 셰이딩에 대한 뉴럴 근사를 성공적으로 설계하고 구현하였다.
경험적 타당성 평가: 본 연구는 RTXNS가 성공하는 지점과 실패하는 지점에 대한 구체적인 평가를 제공한다. 매끄럽고 유계된 반사 함수(픽셀 단계)의 뉴럴 근사는 실행 가능하지만, 기하학적 변위(버텍스 단계)는 상당한 난관에 봉착해 있음을 입증하였다.
프레임워크 한계 식별: 논문은 다음과 같은 구체적인 구조적 장벽을 기록하였다:
- 워프 정렬 제약(Warp Alignment Constraints): 프레임워크는 이진 실패 임계값(예: 32개 뉴런은 작동하지만, 64개 뉴런은 즉각적인 행 중단(hang)을 유발함)을 보이며, 이는 텐서 코어 실행 시의 협력적 벡터 워프 정렬 문제로 추정된다.
- 직렬화 및 툴링 격차: 불투명한 .ns. bin 형식으로 인해 외부에서 학습된 PyTorch 가중치를 가져올 수 없으며, 바이너리 검증을 위한 진단 툴링이 부족하다.
- 의존성 문제: 내부 NVIDIA 패키지와의 해결 불가능한 의존성 충돌로 인해 외부 환경에서 SlangPy 학습 경로를 현재 사용할 수 없다.

결과

픽셀 셰이더 성공: 뉴럴 픽셀 셰이더는 수 초 내에 성공적으로 수렴하였다. 이는 다양한 재질에 대해 시각적으로 정확한 유체 외형(물, 오일, 점성 유체)을 생성하며 100 FPS로 작동하였다. 픽셀당 추론 시간은 60–70 µs로, 해석적 베이스라인(20–30 µs)보다는 약간 높지만 인터랙티브 애플리케이션에 충분한 수준이다. 네트워크는 BSDF의 복잡하고 비선형적인 관계를 성공적으로 학습하였다.
버텍스 셰이더 실패: 버텍스 파이프라인은 체계적인 실패를 겪었다.
- 불안정성: 32개 뉴런 네트워크는 왜곡되고 진동하는 메쉬를 생성한 후 결국 붕괴하거나 사라졌다.
- 용량 제한: 네트워크를 64개 뉴런으로 늘리자 에러 메시지 없이 즉각적이고 재현 가능한 애플리케이션 행 중단 현상이 발생하였으며, 이는 현재 RTXNS 스케줄러나 메모리 관리의 하드 리밋을 시사한다.
- 배포 실패: PyTorch에서 모델을 오프라인으로 학습시키고 .ns.bin으로 변-환하려는 시도는 직렬화 불일치와 무음 런타임 크래시로 인해 실패하였으며, 이로 인해 더 견고한 아키텍처의 배포가 차단되었다.

의의 및 주장
본 논문은 RTXNS를 사용하는 뉴럴 BSDF 근사가 실시간 애플리케이션을 위한 실행 가능한 기술임을 입증한다는 점에서 겸허한 주장을 펼치며, 컴팩트한 MLP가 복잡한 광학적 동작을 효과적으로 학습할 수 있음을 증명하였다. 그러나 뉴럴 버텍스 셰이더 배포는 현재 프레임워크의 구조적 장벽에 의해 제한적임을 명시적으로 밝히고 있다.

본 연구의 의의는 탐구되지 않은 응용 영역에 대한 "타당성 베이스라인" 역할을 한다는 데 있다. 이는 하드웨어(텐서 코어)와 프레임워크(RTXNS)가 학습된 렌더링을 향한 경로를 제공하지만, 현재의 소프트웨어 스택은 복잡한 기하학적 학습을 지원하기 위한 필수적인 문서화, 검증 툴링 및 유연성이 부족함을 강조한다. 저자들은 전통적인 셰이더 프로그래밍과 학습된 표현(learned representation) 사이의 경계가 모호해지고 있으나, 뉴럴 유체 렌더링의 잠재력을 완전히 실현하기 위해서는 프레임워크 내부의 제약 조건과 툴링의 추가적인 개선이 필요하다고 결론지었다.

유사한 논문