ENTIRE: 학습 기반 볼륨 렌더링 시간 예측 기술 요약

본 논문은 ENTIRE(rEnderiNg TIme pREdiction network) 라는 새로운 딥러닝 기반 접근법을 제안하여, 볼륨 렌더링 시간을 빠르고 정확하게 예측하는 방법을 소개합니다. 고해상도 볼륨 데이터 (수백만~수십억 개의 셀) 를 렌더링할 때 발생하는 높은 계산 비용으로 인해, 인터랙티브한 시각화나 대규모 분산 렌더링 환경에서 렌더링 시간을 정확히 예측하는 것이 필수적이지만 매우 어렵습니다.

1. 문제 정의 (Problem)

볼륨 렌더링 시간은 다음과 같은 다양한 요인들에 의해 복잡하게 결정됩니다:

• 볼륨 데이터의 특성: 데이터 구조, 불투명도 분포 등.
• 이미지 해상도: 렌더링할 픽셀의 수.
• 카메라 설정: 위치, 각도, 줌 레벨 (레이의 통과 거리 결정).
• **전송 함수 **(Transfer Function) 스칼라 값을 색상과 불투명도로 매핑하는 설정.
• 하드웨어 및 렌더링 알고리즘: CPU/GPU 차이, 레이 캐스팅 가속 기법 (조기 레이 종료 등) 적용 여부.

기존 연구들은 수동 모델링에 의존하거나 특정 하드웨어/알고리즘에 종속적이었으며, 실시간 인터랙션이나 동적 파라미터 변화에 유연하게 대응하기 어려웠습니다. 특히, 사용자가 전송 함수를 변경하거나 카메라를 빠르게 움직일 때 렌더링 시간이 급격히 변할 수 있어, 기존 프레임의 평균값만으로는 정확한 예측이 불가능했습니다.

2. 방법론 (Methodology)

ENTIRE 는 렌더링 시간 예측을 **두 단계 **(Two-stage)로 나누어 처리하는 엔드-투-엔드 (End-to-End) 딥러닝 모델입니다.

2.1. 아키텍처 설계

1. **1 단계: 특징 추출 **(VolumeNet)

   • 볼륨 데이터에서 렌더링 성능과 관련된 구조적 특징을 인코딩하는 **특징 벡터 **(Feature Vector)를 생성합니다.
   • 대칭형 오토인코더 (Autoencoder) 구조를 사용하며, 인코더는 3D 합성곱 레이어를 통해 볼륨을 압축된 특징 벡터로 변환하고, 디코더는 학습 목적으로 볼륨을 재구성합니다.
   • 이 단계는 볼륨이 고정된 경우 한 번만 수행하면 되므로, 이후 카메라나 전송 함수 변경 시 계산 오버헤드를 크게 줄입니다.

2. **2 단계: 렌더링 시간 예측 **(PredNet)

   • 추출된 볼륨 특징 벡터와 렌더링 파라미터 (카메라 포즈, 전송 함수 파라미터, 이미지 해상도 등) 를 결합하여 최종 렌더링 시간을 예측합니다.
   • 완전 연결 레이어 (Fully Connected Layers) 로 구성된 다층 퍼셉트론 (MLP) 구조를 사용합니다.
   • 입력 벡터를 확장하여 새로운 파라미터 (예: 레이 스텝 크기, 조명 설정 등) 를 쉽게 추가할 수 있도록 설계되었습니다.

2.2. 학습 및 손실 함수

• VolumeNet: 볼륨 재구성 오차 (MSE) 를 최소화하여 특징 벡터가 볼륨의 핵심 정보를 잘 보존하도록 학습합니다.
• PredNet: 예측된 렌더링 시간과 실제 측정된 렌더링 시간 간의 평균 제곱 오차 (MSE) 를 최소화하여 학습합니다.

3. 주요 기여 (Key Contributions)

• 새로운 엔드-투-엔드 모델: 볼륨 특징 추출 (VolumeNet) 과 시간 예측 (PredNet) 을 분리하여 효율성을 극대화했습니다.
• 범용성: 특정 렌더링 방법, 데이터셋 특성, 또는 하드웨어에 대한 가정을 두지 않아 다양한 볼륨 시각화 시나리오에 적용 가능합니다.
• 유연한 확장성: 입력 벡터를 확장함으로써 레이 스텝 크기, 조명, 샘플링률 등 추가 파라미터를 쉽게 통합할 수 있습니다.
• **소량 데이터로 인한 미세 조정 **(Fine-tuning) 사전 학습된 모델을 소수의 샘플로 미세 조정하여 새로운 시나리오에 빠르게 적응할 수 있습니다.

4. 실험 결과 (Results)

연구진은 MAESTROeX, Nyx, Castro 등 다양한 천체물리 및 유체 역학 시뮬레이션 데이터셋과 CT 스캔 데이터를 사용하여 모델을 평가했습니다.

• 정확도 및 속도: ENTIRE 는 CPU 기반 (yt) 과 GPU 기반 (CUDA raycaster) 렌더러 모두에서 높은 예측 정확도 (낮은 RMSE) 를 보였으며, 추론 속도는 매우 빨랐습니다 (평균 0.27ms 미만).
• 기존 방법 대비 우월성:
  • Bruder et al. [BLE∗22] 방법: 샘플링된 평균 시간을 사용하는 기존 방법은 프레임 간 급격한 변화 (예: 전송 함수 변경) 를 따라가지 못해 오차가 컸습니다.
  • **LVRP **(저해상도 기반 예측) 볼륨을 다운샘플링하는 방식은 미세한 구조적 특징을 잃어 예측 정확도가 떨어졌습니다.
  • OLP 및 PID 제어: 과거 프레임에 의존하는 방식은 급격한 변화에 대응이 느리고 (1 프레임 이상 지연), 수동 튜닝이 필요했습니다.
• **미세 조정 **(Fine-tuning) 사전 학습된 모델을 새로운 렌더러 (ParaView), 하드웨어 (V100 클러스터), 또는 데이터셋 (도마뱀 CT) 에 적용할 때, 전체 데이터의 **0.1% ~ 0.45%**만으로도 수용 가능한 정확도를 달성했으며, 약 **11.25%**의 데이터로 완전 학습 수준에 근접했습니다.

5. 활용 사례 (Use Cases)

1. 인터랙티브 프레임 레이트 유지를 위한 레이 스텝 크기 제어:

   • 목표 프레임 레이트 (예: 40 FPS) 를 유지하기 위해 ENTIRE 가 예측한 시간을 바탕으로 레이 스텝 크기를 동적으로 조정합니다.
   • 전송 함수 변경 시 발생하는 급격한 렌더링 시간 변화에도 OLP 나 PID 제어기보다 안정적으로 목표 시간을 유지하며, 이미지 품질 (PSNR) 은 거의 저하되지 않았습니다.

2. **분산 렌더링을 위한 부하 균형 **(Load Balancing)

   • 여러 컴퓨팅 노드에 렌더링 작업을 분배할 때, ENTIRE 가 예측한 시간을 기준으로 작업을 할당합니다.
   • 완전한 예측 (Ground Truth) 과 비교했을 때 최대 4% 미만의 추가 비용만 발생하여, 균일한 작업 분배 (Uniform) 방식보다 훨씬 효율적인 자원 활용을 가능하게 했습니다.

6. 의의 및 결론

ENTIRE 는 볼륨 렌더링 시간 예측 분야에서 수동 모델링 없이 다양한 환경에 적용 가능한 최초의 딥러닝 기반 솔루션입니다. 이 모델은 실시간 인터랙티브 시각화에서 프레임 레이트 안정성을 보장하고, 대규모 클러스터 환경에서 분산 렌더링의 효율성을 극대화함으로써 과학적 시각화의 성능 최적화에 중요한 기여를 합니다. 또한, 소량의 데이터로 새로운 환경에 빠르게 적응할 수 있는 능력은 실제 적용 장벽을 크게 낮춥니다.