HoRAMA: Holistic Reconstruction with Automated Material Assignment for Ray Tracing using NYURay

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 차세대 무선 네트워크 (5G/6G) 는 6GHz 이상의 중대역 (Upper Mid-band) 및 밀리미터파 (mmWave) 주파수 대역을 활용하여 높은 데이터 속도와 낮은 지연 시간을 달성하려 합니다. 이러한 고주파수 대역에서는 전파 특성이 건물 자재와 물체의 상호작용에 매우 민감하므로, 사이트별 (Site-specific) 전파 예측이 필수적입니다.
• 핵심 문제:
  • 레이 트레이싱 (Ray Tracing, RT) 의 정확도 요구: RT 시뮬레이션의 정확도는 3D 환경 모델의 기하학적 정밀도와 자재의 전자기적 특성 (유전율, 전도도) 에 직접적으로 의존합니다.
  • 기존 방식의 한계:
    • 수동 모델링: 정밀한 3D 모델을 수동으로 제작하는 것은 전문가가 몇 주에서 몇 달 (본 연구에서는 약 2 개월) 을 소요해야 하며, 확장성 (Scalability) 이 매우 낮습니다.
    • 기존 자동화 기법: 기존 비전 기반 3D 재구성 기술은 기하학적 결함이 있거나 자재 속성이 누락되어 있어, 무선 RT 에 직접 적용하기 어렵습니다.
    • 신경장 (Neural Field) 방법의 한계: NeRF 등 ML 기반 방법은 직접 채널을 예측하지만, 새로운 환경에 대한 예측을 위해선 해당 환경의 측정 데이터가 먼저 필요하므로 네트워크 계획 단계에서는 사용이 제한적입니다.
• 목표: 스마트폰이나 저비용 카메라로 촬영한 RGB 비디오만으로, 기하학적 정밀도와 자동화된 자재 할당이 모두 포함된 RT 호환 3D 모델을 생성하여 확장 가능한 디지털 트윈을 구축하는 것입니다.

2. 제안된 방법론: HoRAMA (Methodology)

HoRAMA 는 RGB 비디오를 입력받아 무선 레이 트레이싱 (NYURay) 에 직접 사용할 수 있는 3D 모델을 자동 생성하는 파이프라인입니다. 주요 단계는 다음과 같습니다.

1. 밀집 포인트 클라우드 생성 (Dense Point Cloud Generation):

   • MASt3R-SLAM: 보정되지 않은 모노큘러 (단안) 비디오를 입력받아 실시간으로 밀집된 3D 포인트 클라우드와 카메라 자세를 생성합니다. 깊이 센서나 사전 보정이 필요하지 않아 일반 스마트폰 촬영에 적합합니다.
   • 아웃라이어 필터링 (Outlier Filtering): 일시적 물체, 반사, 매칭 오류로 인한 노이즈를 제거하기 위해 신뢰도 가중치를 적용한 Huber 가중치 및 기하학적 거리 필터링을 수행하여 정제된 포인트 클라우드를 만듭니다.

2. 시맨틱 분할 및 객체 인스턴스화 (Segmentation):

   • PTv3 모델: S3DIS 데이터셋으로 학습된 딥러닝 모델을 사용하여 포인트 클라우드를 '벽', '바닥', '테이블', '의자' 등 의미 있는 객체 단위로 분할합니다.

3. 비전 언어 모델 (VLM) 기반 자재 분류 (Material Classification):

   • Qwen3-VL 활용: 분할된 각 객체 인스턴스에 해당하는 비디오 프레임 영역을 잘라내어 VLM 에 입력합니다.
   • 자재 식별: VLM 은 ITU-R P.2040 표준에 정의된 자재 (콘크리트, 목재, 금속, 유리 등) 를 분류합니다.
   • 다수결 투표 (Majority Voting): 동일한 객체가 여러 프레임에서 관찰될 때, 모든 프레임의 분류 결과를 종합하여 최종 자재 라벨을 결정함으로써 조명 변화나 가려짐에 대한 강건성을 확보합니다.

4. 표면 재구성 및 매끄러운 메쉬 생성 (Surface Reconstruction):

   • PLANA3R: 벽, 바닥 등 평면 객체는 평면 원시 (Planar Primitives) 로 추출하여 평탄도를 보장합니다.
   • Poisson 표면 재구성: 가구 등 비평면 객체는 물리적으로 밀폐된 (Watertight) 매니폴드 메쉬를 생성합니다.
   • 최종 출력: 각 메쉬 면에 자재 라벨이 부착된 Mitsuba XML 형식의 3D 모델을 생성하여 NYURay 에 입력합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 RT 호환 3D 재구성: 수동 CAD 모델링이나 반자동 과정을 제거하고, 스마트폰 비디오만으로 RT 엔진이 바로 사용할 수 있는 기하학적으로 정확한 3D 모델을 생성합니다.
2. VLM 기반 자동 자재 할당: 시맨틱 분할과 VLM 을 결합하여 자재 특성을 자동으로 식별하고 ITU-R 표준 전자기 특성과 매핑합니다. 이는 기존 자동화 기법의 가장 큰 약점이었던 '자재 속성 누락' 문제를 해결합니다.
3. 이중 대역 검증 (Dual-Band Validation): 6.75 GHz 와 16.95 GHz 두 주파수 대역에서 실제 현장 측정 데이터와 비교하여 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 실험 환경: 뉴욕대학교 (NYU) MakerSpace 공장 (약 700m²). 12 개의 송수신 (TX-RX) 위치에서 6.75 GHz 및 16.95 GHz 대역의 채널 측정을 수행했습니다.
• 비교 대상:
  • 수동 기준 (Baseline): 레이 거리계, Blender, 전문가의 수동 자재 할당 (소요 시간: 약 2 개월).
  • HoRAMA: 자동화 파이프라인 (소요 시간: 약 16 시간).
• 성능 지표: 정합된 다중 경로 성분 (Matched MPC) 의 수신 전력에 대한 RMSE (Root Mean Square Error).
• 결과:
  • 전체 RMSE: 수동 모델은 2.18 dB, HoRAMA 는 2.28 dB를 기록하여 두 방법 간의 오차 차이가 불과 0.10 dB에 불과했습니다.
  • 시나리오별:
    • LOS (가시선): 수동 0.48 dB vs HoRAMA 1.14 dB
    • NLOS (비가시선): 수동 3.46 dB vs HoRAMA 4.06 dB
  • 주파수 영향: 16.95 GHz(파장 17.7mm) 에서 HoRAMA 의 오차가 6.75 GHz 보다 약간 더 증가했으나, 이는 고주파수에서 미세한 기하학적 구조에 대한 민감도 증가 때문이며 여전히 실용적인 수준입니다.
• 효율성: 재구성 시간을 2 개월에서 16 시간으로 단축하여 약 30 배 이상의 시간 효율성을 달성했습니다.

5. 의의 및 결론 (Significance)

• 확장 가능한 디지털 트윈: HoRAMA 는 대규모 실내/외부 환경에 대한 무선 디지털 트윈 구축을 현실화하여, 5G/6G 네트워크 계획, 인프라 배치, 빔 관리 (Beam Management) 에 필수적인 도구로 자리 잡을 수 있습니다.
• 실시간 및 엣지 구현 가능성: 저비용 장비와 자동화 파이프라인을 통해 향후 엣지 컴퓨팅 환경에서의 실시간 전파 예측 구현의 토대를 마련했습니다.
• 기술적 혁신: 단순한 3D 형상 복원을 넘어, 무선 전파 특성을 결정하는 '자재'까지 자동 분류하여 레이 트레이싱의 정확도를 유지하면서 비용을 획기적으로 절감한 최초의 시도 중 하나로 평가됩니다.

이 논문은 무선 통신 분야에서 AI 기반 컴퓨터 비전 기술과 레이 트레이싱 시뮬레이션을 성공적으로 융합하여, 고비용·고시간이 소요되던 환경 모델링 문제를 해결한 획기적인 연구로 평가됩니다.