💻 computer science

AdvSplat: Adversarial Attacks on Feed-Forward Gaussian Splatting Models

이 논문은 대규모 사전 학습을 통해 실시간 3D 재구성을 가능하게 하는 피드포워드 3D 가우스 스플래팅 모델의 취약점을 최초로 체계적으로 분석하고, 입력 이미지에 거의 보이지 않는 교란을 가해 재구성을 왜곡하는 적대적 공격 기법인 'AdvSplat'을 제안합니다.

원저자: Yiran Qiao, Yiren Lu, Yunlai Zhou, Rui Yang, Linlin Hou, Yu Yin, Jing Ma

게시일 2026-03-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiran Qiao, Yiren Lu, Yunlai Zhou, Rui Yang, Linlin Hou, Yu Yin, Jing Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'AdvSplat(어드밴스플랫)'**이라는 새로운 연구 결과를 소개합니다. 쉽게 말해, **"최근 화제가 되고 있는 3D 이미지 생성 기술이 아주 작은 해킹으로 얼마나 쉽게 망가질 수 있는지"**를 밝혀낸 연구입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 배경: 3D 사진을 만드는 '신속한 요리사' (Feed-Forward 3DGS)

과거에 3D 장면을 만들려면, 각 장면마다 수시간씩 걸려서 천천히 요리 (최적화) 를 해야 했습니다. 하지만 최근 등장한 **'Feed-Forward 3DGS'**라는 기술은 마치 숙련된 요리사처럼, 몇 장의 사진만 보고도 순식간에 3D 장면을 만들어냅니다. 이 기술은 로봇, 자율주행, 게임 등에서 매우 유용하게 쓰일 것으로 기대받고 있습니다.

2. 문제: 보이지 않는 '미세한 독' (Adversarial Attack)

이 논문은 이 '신속한 요리사'가 아주 치명적인 약점을 가지고 있다는 것을 발견했습니다.

비유: imagine 하세요. 요리사가 아주 맛있는 요리를 만들 수 있는데, **눈에 보이지 않을 정도로 아주 미세한 독 (소금 1 알 정도)**을 재료에 섞으면, 요리사는 그 독을 감지하지 못한 채 완전히 망가진 요리를 만들어냅니다.
현실: 연구자들은 입력된 2D 사진에 사람이 눈으로 알아차릴 수 없는 아주 작은 노이즈 (변형) 를 섞었습니다. 그런데 이 '독'이 섞인 사진을 3D 생성기에 넣으니, 완벽했던 3D 장면이 엉망이 되거나, 아예 검은색/흰색 덩어리로 변해버렸습니다.

3. 해결책: 요리사의 비밀을 몰라도 해킹 가능 (Black-Box Attack)

보통 해킹을 하려면 요리사의 레시피 (모델 내부 구조) 를 알아야 합니다. 하지만 이 논문은 레시피를 전혀 모르는 상태에서도 해킹할 수 있는 방법을 개발했습니다.

비유: 요리사의 비밀 레시피를 몰라도, "이 재료를 넣으면 맛이 이상해지나?"를 계속 물어보며 (질문) 정답을 찾아내는 방식입니다.
핵심 기술 (DCT): 질문을 너무 많이 하면 비용이 많이 듭니다. 그래서 연구자들은 **'주파수 영역'**이라는 개념을 썼습니다.
- 비유: 사진은 '세부적인 점들'과 '큰 그림 (구조)'으로 나뉩니다. 연구자들은 작은 점들 (고주파) 에 독을 넣는 대신, 큰 그림 (저주파) 에만 아주 조금씩 독을 넣었습니다. 이렇게 하면 적은 질문으로도 요리사를 완전히 혼란스럽게 만들 수 있었습니다.

4. 실험 결과: 얼마나 무서운가?

연구진은 여러 최신 3D 생성 모델 (DepthSplat, NoPoSplat 등) 을 대상으로 실험했습니다.

결과: 아주 작은 독 (이미지 왜곡) 만으로도 3D 이미지의 품질이 50~60% 이상 급격히 떨어졌습니다.
시각적 효과: 깨끗해야 할 3D 공간이 뭉개지거나, 색이 뒤죽박죽이 되거나, 아예 검은 구멍이 생기는 등 완전히 파괴되었습니다.

5. 결론: 왜 중요한가?

이 연구는 **"새로운 3D 기술이 아직 보안이 약하다"**는 것을 경고합니다.

경고: 만약 누군가 이 기술을 악용해서 인터넷에 '독이 섞인 3D 데이터'를 올린다면, 다운로드한 사람들은 모르고 엉망진창인 3D 모델을 사용하게 될 것입니다. 이는 자율주행차나 로봇의 안전을 위협할 수 있습니다.
기대: 이 연구를 통해 개발자들이 이 '약점'을 인지하고, 더 튼튼하고 안전한 3D 기술을 만들기를 바라는 마음에서 발표되었습니다.

한 줄 요약:

"눈에 보이지 않는 아주 작은 변형만으로도, 순식간에 3D 장면을 만드는 최신 AI 기술이 완전히 망가질 수 있다는 것을 밝혀냈습니다. 이제 우리는 이 기술이 얼마나 취약한지 알았으니, 더 단단하게 보호해야 합니다."

1. 문제 정의 (Problem)

배경: 3D 가우스 스플래팅 (3DGS) 은 실시간 렌더링과 높은 충실도 (high-fidelity) 로 인해 3D 재구성의 새로운 표준으로 자리 잡았습니다. 최근에는 장면별 최적화 (per-scene optimization) 의 한계를 극복하고 대규모 사전 학습을 통해 소수의 입력 뷰에서 빠르게 재구성하는 Feed-Forward 3DGS 모델이 등장했습니다.
문제점: 이러한 Feed-Forward 3DGS 모델은 신경망을 백본으로 사용하므로, 기존 분류 모델과 마찬가지로 **적대적 공격 (Adversarial Attacks)**에 취약할 수 있습니다. 그러나 현재까지 Feed-Forward 3DGS 모델의 보안 취약성에 대한 체계적인 연구는 전무한 상태입니다.
도전 과제:
1. 블랙박스 환경: 실제 상업적 모델은 내부 가중치를 알 수 없으며, 오직 API 를 통한 입력/출력만 관찰 가능합니다.
2. 높은 계산 비용: 3D 재구성은 고해상도 픽셀 공간에서 이루어지므로, 기존 블랙박스 공격 방식 (전송 기반 또는 무작위 탐색) 은 비효율적이거나 효과적이지 않습니다. 특히 쿼리 비용이 매우 높습니다.

2. 제안 방법 (Methodology: AdvSplat)

저자들은 Feed-Forward 3DGS 모델을 공격하기 위한 첫 번째 체계적인 연구인 AdvSplat을 제안했습니다. 이는 블랙박스 설정에서 작동하며, 두 가지 주요 전략을 사용합니다.

가. 취약성 분석 (White-box Attack)

먼저 모델의 내부 가중치를 알고 있다고 가정하고 PGD (Projected Gradient Descent) 공격을 수행했습니다.
분류 작업과 달리 재구성은 이산적인 레이블이 없으므로, **재구성 손실 (Photometric Loss + LPIPS Loss)**을 최대화하는 방향으로 입력 이미지에 미세한 교란 (perturbation) 을 추가했습니다.
결과: 눈에 띄지 않는 교란만으로도 재구성 품질이 극적으로 저하됨을 확인하여 모델의 근본적인 취약성을 입증했습니다.

나. 효율적인 블랙박스 공격 알고리즘

실제 적용을 위해 내부 가중치 없이 작동하는 두 가지 알고리즘을 개발했습니다. 핵심은 주파수 영역 (Frequency Domain) 파라미터화를 통한 쿼리 효율성 향상입니다.

주파수 영역 파라미터화 (Frequency-domain Parameterization):
- 입력 이미지를 블록 (block) 단위로 나누고 **이산 코사인 변환 (DCT)**을 적용합니다.
- 이미지의 구조적 정보 대부분을 담고 있는 **저주파 성분 (low-frequency components)**만을 선택적으로 교란합니다.
- 이는 픽셀 공간의 차원을 대폭 축소하여, 공격에 필요한 쿼리 횟수를 줄이고 계산 비용을 절감합니다.
두 가지 공격 변형:
- Gradient-Based (기반): 자연 진화 전략 (NES) 을 활용하여 손실 함수의 기울기를 추정합니다. DCT 계수에 노이즈를 샘플링하여 기울기를 근사한 후, PGD 와 유사하게 교란을 최적화합니다.
- Gradient-Free (기반): 기울기 추정이 불가능하거나 모델이 노이즈에 둔감한 경우를 대비하여 **CMA-ES (Covariance Matrix Adaptation Evolution Strategy)**를 사용합니다. 다변량 가우시안 분포에서 후보 교란을 샘플링하고, 성능이 좋은 샘플들을 기반으로 평균과 공분산 행렬을 적응시켜 최적해를 탐색합니다.

3. 주요 기여 (Key Contributions)

최초의 연구: Feed-Forward 3DGS 모델의 보안 취약성을 체계적으로 조사한 최초의 논문입니다.
효율적인 블랙박스 공격 프레임워크: 모델 내부 정보 없이 입력/출력만 사용하여 작동하는 두 가지 알고리즘 (기울기 기반 및 기울기 프리) 을 제안했습니다.
주파수 기반 최적화: DCT 를 활용한 저주파 교란 기법을 도입하여 고차원 픽셀 공간에서의 공격 효율성을 획기적으로 개선했습니다.
광범위한 실험 검증: 여러 최신 모델 (DepthSplat, NoPoSplat, AnySplat) 과 데이터셋 (RE10K, DL3DV) 에서 일관되게 성공적인 공격을 증명했습니다.

4. 실험 결과 (Results)

공격 효과성: 제안된 방법 (AdvSplat) 은 모든 대상 모델에서 재구성 품질을 심각하게 저하시켰습니다.
- PSNR: DepthSplat 의 경우 21.09 에서 7.57 로 64.1% 감소.
- SSIM: 0.710 에서 0.289 로 59.3% 감소.
- LPIPS: 0.228 에서 0.581 로 154.8% 증가 (품질 저하).
- 시각적 결과: 입력 이미지는 인간이 눈으로 구분할 수 없을 정도로 깨끗하지만, 생성된 3D 장면은 심하게 왜곡되거나 완전히 붕괴되었습니다.
효율성 (DCT 의 효과): DCT 를 사용하지 않고 픽셀 공간 전체에서 노이즈를 샘플링하는 경우보다, 저주파 성분을 대상으로 할 때 동일한 쿼리 횟수에서 더 높은 손실 (더 큰 공격 성공) 을 달성했습니다.
공격 강도: 교란 크기 ( $\epsilon$ ) 가 커질수록 재구성 품질이 지속적으로 악화되었습니다.

5. 의의 및 결론 (Significance)

보안 경각심 고취: Feed-Forward 3DGS 모델이 상업적으로 배포되기 전, 적대적 공격에 얼마나 취약한지를 경고했습니다. 악의적인 사용자가 교란된 이미지를 인터넷에 업로드하면 사용자의 신뢰와 기업의 평판에 치명적인 타격을 줄 수 있음을 지적했습니다.
향후 연구 방향: 이 연구는 3D 재구성의 보안과 견고성 (robustness) 에 대한 커뮤니티의 관심을 불러일으키고, 향후 방어 메커니즘 개발 및 모델 강화 연구의 기초를 마련했습니다.

요약: AdvSplat 은 Feed-Forward 3DGS 모델의 취약점을 최초로 규명하고, 주파수 영역 기반의 효율적인 블랙박스 공격 기법을 통해 미세한 교란으로도 3D 재구성을 완전히 무력화할 수 있음을 증명했습니다. 이는 3D 생성 AI 의 안전성 확보가 시급한 과제임을 시사합니다.