💻 computer science

Privacy-Preserving Object Detection for Vision Transformer-Based Models

이 논문은 민감한 시각 정보를 보호하면서도 보호되지 않은 모델과 대등한 정확도를 유지하기 위해 키를 이용한 지각적 암호화 및 도메인 적응을 활용하는, 비전 트랜스포머 기반 모델을 위한 새로운 개인정보 보호 객체 탐지 방법을 소개한다.

원저자: Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 사회에서 컴퓨터는 보는 법을 배웠습니다. 컴퓨터는 사진을 스캔하여 개, 자동차, 또는 사람을 즉각적으로 식별할 수 있으며, 이러한 능력은 자율주행 자동차부터 보안 시스템에 이르기까지 모든 분야를 뒷받침합니다. 이 능력은 비전 트랜스포머(Vision Transformer)라고 불리는 일종의 인공지능에 의존하는데, 이는 이미지를 작은 조각들로 나누고 이 조각들이 전체 장면을 이해하기 위해 어떻게 서로 맞물리는지를 분석합니다. 하지만 이 강력한 힘에는 위험이 따릅니다. 이러한 시스템을 사용하기 위해 사람들은 종종 자신의 개인적인 사진을 클라우드에 있는 원격 서버로 전송해야 합니다. 만약 그 서버가 해킹당하거나 운영자가 신뢰할 수 없는 사람이라면, 민감한 시각 정보가 노출될 수 있습니다. 과학자들의 과제는 소유자 외에는 누구에게도 실제 이미지를 드러내지 않으면서도, 컴퓨터가 임무를 수행할 수 있을 만큼 충분히 볼 수 있게 하는 방법을 찾는 것입니다.

도쿄 도립 대학교의 연구진은 사물 탐지를 위해 이미지를 분석하는 동안 이미지를 보호하는 새로운 방법을 개발함으로써 이 문제를 해결했습니다. 그들의 연구는 사진 속의 사물을 포착하는 데 특히 뛰어난 특정 유형의 인공지능 모델에 초점을 맞추고 있습니다. 컴퓨터를 혼란스럽게 만드는 복잡하고 느린 암호화를 통해 이미지를 숨히려 노력하는 대신, 그들은 컴퓨터가 이미지를 처리하는 방식과 관련된 영리한 트릭을 고안했습니다. 그들은 원래의 사진을 가져와 비밀 키를 사용하여 시각적 세부 사항을 뒤섞어, 인간의 눈에는 알아볼 수 없는 엉망진창인 상태로 만듭니다. 동시에, 컴퓨터 자체의 내부 지침에도 그와 일치하는 뒤섞기(scramble)를 적용합니다. 이 두 가지 뒤섞인 버전이 만나면, 컴퓨터는 여전히 높은 정확도로 작업을 수행할 수 있지만, 데이터를 보유한 서버는 오직 노이즈만을 보게 됩니다.

연구진은 이미지 내의 객체를 찾고 위치를 파악하도록 설계된 ViTdet이라는 강력한 모델을 사용하여 이 아이디어를 테스트했습니다. 표준 설정에서는, 만약 뒤섞인 이미지를 이를 위해 조정되지 않은 컴퓨터로 보낸다면, 시스템은 완전히 실패하게 됩니다. 실험에서 연구진이 사진을 암호화했지만 컴퓨터 모델을 변경하지 않은 채로 두었을 때, 사물 탐지 능력은 거의 제로에 가깝게 떨어졌습니다. 컴퓨터는 단순히 뒤섞인 데이터를 이해할 수 없었습니다. 이는 단순히 이미지를 숨기는 것만으로는 충분하지 않으며, 이미지를 읽는 도구 또한 그에 맞춰 변경되어야 한다는 것을 증명했습니다.

이를 해결하기 위해 연구진은 모델 자체가 클라우드로 전송되기 전에 암호화되는 시스템을 만들었습니다. 그들은 마치 고유한 셔플 코드와 같은 무작위 패턴을 생성했고, 이를 사용하여 컴퓨터가 이미지의 작은 조각들을 이해하는 방식을 재배열했습니다. 그런 다음 분석을 위해 전송하기 전에 사진에도 정확히 동일한 셔플링 패턴을 적용했습니다. 셔플링이 특정한 수학적 방식으로 이루어졌기 때문에, 두 뒤섞인 요소는 컴퓨터의 뇌 내부에서 서로를 상쇄했습니다. 컴퓨터는 실제로는 선명한 원본 사진을 보고 있지 않음에도 불구하고, 마치 원래의 사진을 보고 있는 것처럼 데이터를 처리했습니다.

그들의 테스트 결과는 놀라웠습니다. 80가지의 서로 다른 객체 범주를 포함하는 대규모 이미지 모음에 이 이중 암호화 방법을 사용했을 때, 시스템은 암호화를 사용하지 않았을 때와 거의 비슷하게 작동했습니다. 한 표준 데이터셋을 사용한 테스트에서, 시스템은 51.412의 점수를 받은 비암호화 이미지 사용 시와 매우 유사한 50.118의 정확도 점수로 객체를 올바르게 식별했습니다. 심지어 천 개 이상의 객체 범주를 가진 훨씬 더 크고 복잡한 데이터셋에 대해 테스트했을 때도, 암호화된 방법이 비암호화 기준선보다 약간 낮은 점수를 기록할 뿐 성능은 높게 유지되었습니다. 결정적으로, 분석을 실행하는 서버는 원본 이미지를 보지 못했을 뿐만 아니라, 그것을 다시 풀어낼 수 있는 비밀 키도 가지고 있지 않았습니다.

이 접근 방식은 프라이버시 측면에서 중요한 진전을 의미합니다. 이는 정확도나 보안을 희생하지 않고도 민감한 시각적 작업을 클라우드로 외주 주는 것이 가능하다는 것을 보여줍니다. 연구진은 이 방법이 다양한 크기의 객체, 즉 작은 디테일부터 큰 장면까지 효과적으로 작동하며, 이미지가 압축되거나 크기가 조정되어도 잘 유지된다는 것을 발견했습니다. 컴퓨터의 내부 로직과 입력 데이터를 비밀 키로 함께 잠금으로써, 그들은 클라우드가 무엇을 생각하고 있는지 전혀 알지 못하면서도 생각을 할 수 있게 만들었습니다. 이는 미래에 사용자들이 자신의 시각적 콘텐츠가 사용자 자신과 특정 모델만이 열 수 있는 수학적 방패에 의해 보호되고 있다는 확신을 가지고, 분석을 위해 개인적인 사진을 공유할 수 있음을 의미합니다.

기술 요약: 비전 트랜스포머 기반 모델을 위한 프라이버시 보존 객체 탐지

문제 정의

비전 트랜스포머(Vision Transformers, ViTs)는 프라이버시 보존 학습, 액세스 제어 및 모델 보호 분야에서 상당한 성공을 거두었으나, 지각적 암호화(perceptual encryption)를 활용하는 기존 연구는 주로 이미지 분류 작업에 국한되어 왔습니다. 분류뿐만 아니라 로컬라이제이션(localization)까지 요구하는 더 복적인 작업인 **객체 탐지(object detection)**에 이러한 프라이버시 보존 기술을 적용하는 데에는 주목할 만한 공백이 존재합니다. 또한, 모델 자체가 암호화되지 않은 상태에서 입력 이미지에 직접 적용되는 표준 암호화 방식은 특징 추출 과정을 방해하여 탐지 성능을 거의 제로 수준으로 저하시키는 문제가 있습니다.

방법론

본 논문은 지각적 암호화와 비전 트랜스포머(ViT)의 임베딩 구조를 통합하는 새로운 객체 탐지 프레임을 제안합니다. 이 방법은 암호화되지 않은 모델과 비교했을 때 탐지 정확도를 유지하면서도 테스트 이미지 내의 민감한 시각 정보를 보호하도록 설계되었습니다.

핵심 프레임워크

제안된 시스템은 모델 생성자, 사용자, 클라우드 서버가 참여하는 클라이언트-서버 아키텍처로 작동합니다:

키 생성: 모델 생성자는 비밀 키( $k$ )를 사용하여 무작위 치환 행렬( $E_{enc}$ )을 생성합니다.
모델 암호화: 사전 훈련된 ViT 기반 객체 탐지 모델(특히 ViTdet)의 패치 임베딩 행렬( $E$ )을 $E_{enc}$ 를 사용하여 암호화된 모델( $\hat{E} = E_{enc}E$ )로 만듭니다. 이 암호화된 모델은 클라우드 서버로 업로드됩니다.
이미지 암호화: 사용자는 동일한 $E_{enc}$ 를 사용하여 테스트 이미지를 암호화합니다. 이미지는 겹치지 않는 블록( $p \times p$ )으로 나뉘고, 벡터로 평탄화(flattened)된 후 치환 행렬을 통해 변환됩니다( $\hat{b}_i = b_i E_{enc}^T$ ).
추론: 암호화된 이미지는 클라우드 서버로 전송되며, 서버는 암호화된 모델을 사용하여 추론을 수행합니다. 서버는 원본 이미지나 비밀 키에 절대 접근할 수 없습니다.

이론적 메커니즘

이 방법은 ViT 아키텍처의 수학적 특성과 직교 행렬(orthogonal matrices)의 성질에 의존합니다:

직교성: 무작위 치환 행렬 $E_{enc}$ 는 직교하며, $E_{enc}^T = E_{enc}^{-1}$ 를 만족합니다.
상쇄 효과: ViT 임베딩 레이어에서 입력 패치 $x_p$ $x_{p}$ 는 임베딩 행렬 $E$ $E$ 에 의해 투영됩니다. 제안된 방법에서는 암호화된 패치 $\hat{x}_p$ $\overset{x}{^}_{p}$ 가 암호화된 행렬 $\hat{E}$ $\hat{E}$ 에 의해 투영됩니다.
- 투영식은 다음과 같습니다: $\hat{x}_p \hat{E} = (x_p E_{enc}^T) (E_{enc} E) = x_p (E_{enc}^T E_{enc}) E = x_p E$ .
결과: 임베딩 레이어에서 이미지에 적용된 암호화와 모델에 적용된 암호화가 서로 상쇄됩니다. 결과적으로 트랜스포머 인코더( $\hat{z}_0$ )로 들어가는 입력 시퀀스는 암호화되지 않은 경우의 시퀀스( $z_0$ )와 수학적으로 동일하며, 이를 통해 탐지 로직이 영향을 받지 않도록 보장합니다.

주요 기여

객체 탐지에 대한 최초 적용: 본 연구는 이미지 분류를 넘어 객체 탐지 작업을 위해 지각적 암호화를 활용하는 최초의 방법을 제시합니다.
ViT 기반 아키텍처: 이 방법은 윈도우 어텐션(Window Attention)과 단순한 특징 피라미드를 갖춘 일반적인 ViT 백본을 사용하는 ViTdet의 특정 임베딩 구조를 활용합니다.
키를 이용한 도메인 적응: 분류 작업에서 사용되었던 비밀 키를 포함한 도메인 적응 기술을 더 복잡한 객체 탐지 영역으로 성공적으로 확장했습니다.
이중 암호화 전략: 정확도를 보존하기 위해서는 모델의 임베딩 레이어와 입력 이미지를 모두 암호화하는 것이 필수적임을 입증했습니다. 이미지만 암호화할 경우 치명적인 성능 저하가 발생합니다.

실험 결과

본 방법은 COCO 및 LVIS 데이터셋에서 세 가지 백본(ViT-B, ViT-L, ViT-H)을 가진 ViTdet 모델을 사용하여 평가되었습니다.

정확도 보존: 제안된 방법은 암호화되지 않은 베이스라인과 거의 동일한 탐지 정확도(Average Precision, AP)를 달성했습니다.
- COCO의 경우, ViT-H 백본은 베이스라인(56.594) 대비 제안된 방법(55.843)으로 AP를 달성했습니다.
- 1,203개의 카테고리를 포함하는 LVIS의 경우, ViT-H 백본은 베베이스라인(49.123) 대비 제안된 방법(47.811)으로 AP를 달성했습니다.
부분 암호화의 실패: 모델을 암호화하지 않고 이미지만 암호화했을 때, 정확도는 거의 제로에 가깝게 떨어졌습니다 (예: COCO에서 ViT-H의 경우 56.594에서 0.406 AP로 하락). 이는 이중 암호화 방식의 필요성을 확인시켜 줍니다.
시각적 보호: 암호화된 이미지는 뒤섞인 블록 형태로 나타나 클라우드 서버로부터 민감한 시각 정보를 효과적으로 숨기는 동시에, 모델은 객체를 성공적으로 탐지했습니다.
미세한 차이: 저자들은 베이스라인 대비 발생하는 약간의 정확도 감소(약 1~2%)는 암호화 방식 자체보다는 COCO 데이터셋에 내재된 JPEG 압축의 영향 때문이라고 언급했습니다.

의의 및 주장

본 논문은 비전 트랜스포머의 임베딩 구조를 활용함으로써 탐지 성능을 저하시키지 않고도 프라이버시를 보존하는 객체 탐지를 달 p수 있음을 주장합니다. 본 연구의 의의는 다음과 같습니다:

시각 데이터의 프라이버시가 매우 중요한 신뢰할 수 없는 클라우드 서버에 객체 탐지 모델을 배포할 수 있게 합니다.
임베딩 레이어에서의 암호화 효과의 이론적 상쇄가 복잡한 탐지 작업에서도 실제로 유효함을 입증했습니다.
클라우드 서버가 복호화 키나 원본 이미지에 전혀 접근할 수 없는 상태에서 암호화된 데이터에 대해 추론을 수행할 수 있는 실용적인 프레임을 제공합니다.

저자들은 이 방법이 높은 탐지 정확도를 유지하면서 시각 정보를 효과적으로 보호한다고 결론지으며, 이를 통해 ViT 기반 아키텍처를 이용한 프라이버시 보존 객체 탐지의 타당성을 검증했습니다.