DefenseSplat: Enhancing the Robustness of 3D Gaussian Splatting via Frequency-Aware Filtering

이 논문은 웨이블릿 변환을 활용한 주파수 인식 필터링 기법을 통해 적대적 공격에 취약한 3D 가우스 스플래팅 (3DGS) 의 복원 품질과 보안성을 향상시키는 'DefenseSplat'을 제안합니다.

핵심

🎨 1. 배경: 3D Gaussian Splatting 이란 무엇인가요?

상상해 보세요. 우리가 보는 3D 장면을 만드는 방식이 두 가지가 있습니다.

1. 기존 방식 (NeRF): 장면을 마치 점토로 빚어낸 조각처럼, 아주 정교하지만 무겁고 느리게 만듭니다.
2. 새로운 방식 (3D Gaussian Splatting): 장면을 **수백만 개의 반짝이는 '작은 구슬'**로 채워 넣는 방식입니다. 이 구슬들은 공처럼 둥글기도 하고, 납작하거나 길쭉하기도 합니다. 이 구슬들을 카메라가 비추는 대로 겹쳐서 3D 이미지를 만듭니다.

이 방식은 매우 빠르고 선명해서, 로봇이나 자율주행, 의료 분야에서 각광받고 있습니다. 마치 레고 블록으로 빠르게 성을 쌓는 것과 비슷하죠.

⚠️ 2. 문제: 해커가 구슬에 '보이지 않는 독'을 넣었습니다.

하지만 이 기술에는 치명적인 약점이 있었습니다. 해커가 입력된 사진에 **사람 눈에는 보이지 않는 아주 미세한 노이즈 (소음)**를 섞어 넣으면, 3D 모델이 완전히 망가집니다.

• 비유: 해커가 구슬을 쌓는 작업자에게 "이 구슬은 빨간색이야, 저 구슬은 파란색이야"라고 속여주는 것입니다.
• 결과:
  • 3D 장치가 엉망이 되어 화면이 깨집니다.
  • 구슬 (데이터) 수가 불필요하게 폭증하여 서버 메모리가 터집니다.
  • 심하면 서버가 아예 멈추는 '서비스 거부 (DoS)' 공격이 일어납니다.

🔍 3. 발견: 해커의 노리는 곳은 '고주파수'였습니다.

연구팀은 이 해킹이 어떻게 작동하는지 분석했습니다. 여기서 **'주파수'**를 이해해야 합니다.

• 저주파수 (Low Frequency): 사진의 큰 그림, 전체적인 모양, 부드러운 배경. (예: 사람의 얼굴 윤곽, 벽의 전체 색)
• 고주파수 (High Frequency): 사진의 디테일, 날카로운 가장자리, 미세한 질감. (예: 머리카락 하나하나, 벽돌의 틈새, 나뭇잎의 살)

연구팀의 발견:
해커가 넣은 '독'은 대부분 고주파수 (미세한 디테일) 영역에 집중되어 있었습니다. 마치 거친 모래를 구슬 사이사이에 끼워 넣는 것과 같았습니다. 반면, 저주파수 (큰 그림) 는 비교적 깨끗하게 유지되었습니다.

🛡️ 4. 해결책: DefenseSplat (디펜스 스플래팅)

이 문제를 해결하기 위해 연구팀은 **'DefenseSplat'**이라는 방어 기법을 개발했습니다.

핵심 아이디어: "고주파수 필터링"

비유: 해커가 보낸 사진이 거친 모래가 섞인 물이라면, DefenseSplat 은 여과기를 통해 모래 (고주파수 노이즈) 만 걸러내고 맑은 물 (저주파수 정보) 만 남기는 것입니다.

작동 원리:

1. 웨이브릿 변환 (Wavelet Transform): 사진을 주파수별로 쪼개서 분석합니다. (소리를 고음과 저음으로 나누는 것과 비슷합니다.)
2. 노이즈 제거: 해커가 넣은 미세한 고주파수 노이즈를 0 으로 만들어 버립니다.
3. 재구성: 남은 깨끗한 저주파수 정보만 가지고 다시 3D 장면을 만듭니다.

이 과정에서 3D 모델은 "아, 이 부분은 여러 각도에서 봤을 때 일관성이 없네? (노이즈 때문)"라고 판단하고, 자연스럽게 그 부분을 흐릿하게 처리하거나 무시하게 됩니다.

🌟 5. 왜 이 방법이 특별한가요?

기존의 방어 방법들은 3DGS 에는 맞지 않았습니다.

• 기존 방법의 한계: "원본이 깨끗한 사진이다"라고 알려주는 정답 (Ground Truth) 이 없기 때문에, 무엇을 지워야 할지 모릅니다. 또한, 디테일을 다 지워버리면 3D 모델이 너무 뭉개져서 쓸모가 없어집니다.

DefenseSplat 의 장점:

• 정답 없이도 방어 가능: 해커의 노이즈가 주로 '고주파수'에 있다는 사실을 이용했기 때문에, 정답 사진이 없어도 노이즈만 골라낼 수 있습니다.
• 원본의 맛을 살립니다: 중요한 '큰 그림 (저주파수)'은 그대로 두기 때문에, 해킹당하지 않은 깨끗한 사진으로 훈련할 때도 화질이 거의 떨어지지 않습니다.
• 서버를 구합니다: 불필요한 구슬 (데이터) 수를 줄여서 서버가 과부하로 터지는 것을 막아줍니다.

📝 6. 결론

이 논문은 **"3D Gaussian Splatting 이라는 최신 기술이 해킹에 얼마나 취약한지"**를 처음부터 끝까지 분석하고, **"고주파수 필터링"**이라는 간단한 비법으로 이를 막아내는 방법을 제시했습니다.

한 줄 요약:

"해커가 3D 구슬에 섞어 넣은 미세한 독 (노이즈) 을, 고주파수 필터로만 골라내서 제거함으로써, 3D 장면을 빠르고 안전하게 지킬 수 있다!"

이 기술은 앞으로 클라우드 서버에서 3D 콘텐츠를 제공하는 서비스들이 해킹으로부터 안전해지도록 돕는 중요한 첫걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS) 은 실시간 고품질 3D 재구성을 가능하게 하는 획기적인 기술이지만, 최근 연구에서 적대적 공격 (Adversarial Attacks) 에 매우 취약한 것으로 드러났습니다.

• 취약점: 입력 이미지에 인간의 눈으로 식별하기 어려운 미세한 교란 (perturbations) 을 가하면, 3DGS 의 렌더링 품질이 급격히 저하되고, 학습 및 렌더링 시간이 증가하며, 메모리 사용량이 폭증합니다. 심한 경우 서버의 서비스 거부 (DoS) 를 유발할 수 있습니다.
• 기존 방어 기법의 한계:
  1. 표준 방어 프레임워크 부재: 3DGS 는 고정된 네트워크 구조가 없는 자기지도학습 (self-supervised) 방식이므로, 기존 분류 모델에 적용되는 적대적 훈련 (Adversarial Training) 등의 기법을 직접 적용하기 어렵습니다.
  2. 비가역적 공격 목표: 공격 목표가 이미지의 통계적 특성 (예: 총 변동성 증가) 에 맞춰져 있어, 이를 역으로 제거하려 하면 이미지 흐림이나 왜곡이 발생하여 재구성이 더 나빠집니다.
  3. 정답 데이터 (Ground Truth) 부재: 학습 시 깨끗한 원본 데이터가 없으므로, 공격된 이미지와 정상 이미지를 구분하기 어렵습니다.
  4. 2D 이미지 방어 기법의 부적합: 기존 2D 이미지 기반의 필터링 (가우시안 블러 등) 은 3D 재구성에 필수적인 세부 정보를 손상시키거나, 3D 구조를 고려하지 않아 효과가 미미합니다.

2. 방법론 (Methodology)

저자들은 DefenseSplat이라는 새로운 방어 전략을 제안하며, 이는 입력 멀티뷰 (multi-view) 이미지를 직접 처리하는 주파수 인식 필터링 (Frequency-Aware Filtering) 에 기반합니다.

가. 핵심 관찰 (Key Observations)

파동변환 (Wavelet Transform) 을 통해 입력 이미지의 주파수 성분을 분석한 결과 두 가지 중요한 사실을 발견했습니다:

1. 적대적 교란은 고주파수 영역에 집중됨: 공격은 주로 고주파수 노이즈를 주입하여 3D 일관성을 해칩니다.
2. 저주파수 성분은 장면의 핵심 내용을 유지함: 저주파수 대역 (LL) 은 이미지의 에너지 대부분을 차지하며 장면의 구조와 주요 콘텐츠를 담고 있습니다.

나. DefenseSplat 의 작동 원리

1. 이산 파동변환 (DWT) 적용: 입력된 적대적 이미지를 DWT 를 통해 저주파 (LL) 와 고주파 (LH, HL, HH) 서브밴드로 분해합니다.
2. 고주파수 필터링: 적대적 노이즈가 집중된 고주파수 서브밴드 (LH, HL, HH) 를 0 으로 설정 (필터링) 하고, 저주파수 성분 (LL) 만 유지합니다.
3. 역변환 및 재구성: 필터링된 성분을 역파동변환 (iDWT) 하여 공간 도메인의 정제된 이미지를 생성합니다.
4. 스케일 정규화 손실 (Scale Regularization Loss):
   • 고주파수 필터링만으로는 일관성이 높은 인공 텍스처가 남을 수 있습니다. 이를 해결하기 위해 가우시안 타원체의 비정규화 분산 (normalized variance) 을 기반으로 한 ReLU 기반 손실 함수를 도입합니다.
   • 이 손실 함수는 과도하게 길쭉한 (elongated) 가우시안을 억제하여 메모리 사용량을 줄이고, 구형이나 평평한 가우시안 (세부 정보 및 매끄러운 영역 재구성에 필수적) 은 보존합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 3DGS 방어 연구: 3D 가우시안 스플래팅에 대한 적대적 공격에 대응하는 포괄적인 방어 메커니즘을 최초로 제안했습니다.
2. 주파수 기반 분석 및 전략: 파동변환을 활용하여 적대적 공격이 고주파수 영역을 표적한다는 점을 규명하고, 이를 기반으로 한 효과적인 필터링 전략을 설계했습니다.
3. Ground Truth 불필요: 깨끗한 정답 데이터 없이도 적대적 입력을 정제할 수 있어, 실제 배포 환경에 적용 가능합니다.
4. 성능과 견고성의 균형: 공격을 막아내면서도 깨끗한 데이터에서의 재구성 품질을 크게 훼손하지 않는 최적의 균형을 달성했습니다.

4. 실험 결과 (Results)

Mip-NeRF 360, Tanks-and-Temples, LLFF 등 다양한 데이터셋과 공격 강도 ($\epsilon = 16/255, 32/255, 64/255$) 에 대한 실험을 수행했습니다.

• 견고성 향상: 제안된 방법은 기존 3DGS 및 CompactGS, Difix3D+ 등 기존 베이스라인 대비 학습 시간 단축, GPU 메모리 사용량 감소, 렌더링 속도 향상을 보여주었습니다. 특히 메모리 사용량이 크게 줄어들어 DoS 공격을 효과적으로 방어합니다.
• 재구성 품질: PSNR, SSIM, LPIPS 등 이미지 품질 지표에서 기존 방법들보다 우수한 성능을 기록했습니다. 특히 적대적 아티팩트를 제거하면서도 원본 장면의 텍스처와 디테일을 잘 보존했습니다.
• 클린 데이터 성능: 공격이 없는 깨끗한 입력 데이터에서도 성능 저하가 미미하여 (PSNR 약 1.75% 감소), 방어 기법 자체의 부작용이 적음을 입증했습니다.
• 확장성: 다양한 공격 강도에서도 고주파수 필터링이 효과적으로 작동하여 견고성을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 3DGS 기술이 클라우드 서버나 자율주행, 의료 등 중요한 분야에서 상용화될 때 발생할 수 있는 보안 위협을 해결하는 중요한 이정표입니다.

• 실용성: 별도의 복잡한 학습 과정 없이 입력 전처리 단계에서 적용 가능한 '플러그 앤 플레이 (plug-and-play)' 모듈로 활용 가능합니다.
• 미래 지향성: 3DGS 의 취약점을 주파수 관점에서 규명함으로써, 향후 발생할 수 있는 새로운 형태의 3D 적대적 공격에 대한 방어 연구의 기초를 마련했습니다.
• 핵심 메시지: "3DGS 의 취약점을 해결하기 위해 복잡한 모델 변경이 아닌, 입력 데이터의 주파수 특성을 이해하고 필터링하는 단순하지만 효과적인 접근이 가능하다."

요약하자면, DefenseSplat은 3D Gaussian Splatting 의 보안 취약점을 주파수 분석을 통해 해결하고, 높은 재구성 품질과 효율성을 유지하면서 견고한 3D 재구성을 가능하게 하는 획기적인 방어 프레임워크입니다.