💻 computer science

Homomorphic Encryptions for Privacy Preserving Vision

본 논문은 암호화된 데이터에 대해 정확한 CNN 추론을 가능하게 하기 위해 완전 동형 암호(구체적으로 Microsoft SEAL 및 TenSEAL)를 사용하는 프라이버시 보존형 컴퓨터 비전 프레임워크를 제시하며, 다중 채널 처리 및 다중 합성곱 계층과 같은 복잡한 연산을 지원하는 동시에 MNIST에서 CIFAR-10에 이르는 다양한 데이터셋에 걸쳐 최소한의 정확도 손실을 입증한다.

원저자: Preey Shah, Rohan Virani, Sanjari Srivastava

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Preey Shah, Rohan Virani, Sanjari Srivastava

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 가치 있고 비밀스러운 케이크 레시피(당신의 개인 데이터, 예를 들어 의료 스캔이나 금융 기록)가 있다고 상상해 보세요. 당신은 유명하고 기술력이 뛰어난 베이커리(클라우드 기반 AI 서비스)에 이 케이크가 맛있게 만들어질지 물어보고 싶지만, 법적으로 그들에게 실제 레시피를 보여주는 것이 금지되어 있습니다. 레시피의 사본을 나중에 보라고 보내는 것조차 불가능합니다.

이 논문은 당신이 레시피를 잠겨 있는, 부술 수 없는 상자에 담아 베이커리에 보낼 수 있게 해주는 영리한 트릭에 관한 것입니다. 베이커리는 상자를 열거나 재료를 전혀 보지 않고도 상자 안에서 케이크를 섞고, 굽고, 맛볼 수 있습니다. 그들이 상자를 다시 보냈을 때, 그 안에는 정답("정말 맛있을 거예요!")이 들어있지만, 상자는 내내 잠긴 상태를 유지합니다.

저자들이 이를 어떻게 달성했는지 쉽게 설명하면 다음과 같습니다.

문제점: "유리 상자"의 딜레마

보통 클라우드에서 강력한 AI 도구를 사용하려면 데이터를 눈에 보이는 그대로 공개해야 합니다. 하지만 의료 기록처럼 민감한 정보의 경우, 법적으로 그렇게 할 수 없습니다. 이는 사람들이 사용 가능한 최고의 AI 도구를 사용하는 것을 가로막습니다.

해결책: 동형 암호 (Homomorphic Encryption)

저자들은 동형 암호라는 기술을 사용했습니다. 이것을 마법의 잠금 상자라고 생각해 보세요.

일반적인 암호화: 상자를 잠급니다. 베이커는 상자 안의 케이크를 만질 수 없습니다.
동형 암호: 상자를 잠그지만, 베이커는 상자 내부를 통해 케이크를 반죽하고 섞고 구울 수 있는 특수한 장갑을 가지고 있습니다. 그들은 내용물이 무엇인지 전혀 보지 않고도 케이크에 대해 수학적 연산을 수행할 수 있습니다.

과제: "제곱" 문제

표준 AI(특히 합성곱 신경망, CNN)는 많은 "비선형" 수학을 사용합니다. 예를 들어 레시피 단계 중에 "온도가 100도 이상이면 열을 꺼라"라는 결정이 있다고 가정해 봅시다. 이것은 최댓값이나 곡선에 기반한 결정입니다.

문제점: 마법의 잠금 상자는 단순한 덧셈과 곱셈만 이해할 수 있습니다. "최댓값"이나 복잡한 곡선은 이해하지 못합니다.
해결책: 저자들은 AI의 레시피를 다시 작성해야 했습니다. "최댓값"을 묻는 대신, 곱셈만을 사용하여 곡선을 흉내 내는 간단한 수학적 트릭(숫자를 제곱하는 것과 같은 방식)을 사용했습니다. 또한 "가장 큰 숫자를 선택하는 것"을 잠금 상자가 처리할 수 있는 "숫자들의 평균을 내는 것"으로 대체했습니다.

연구 내용 (실험)

팀은 이 아이디어를 테스트하기 위해 세 가지 다른 "잠금 상자 대응형" AI 모델을 구축했습니다.

단순 모델: 흑백 이미지(손글씨 숫자 등)를 보는 기본적인 AI입니다.
계층형 모델: 여러 층의 필터를 통해 이미지를 보고, 이미지 크기를 줄이기 위해 "평균화"를 사용하는 약간 더 복잡한 AI입니다.
컬러 모델: 색상 이미지(CIFAR-10 데이터셋과 같은)를 볼 수 있는 AI로, 세 가지 색상 채널(빨강, 초록, 파랑)을 동시에 처리해야 하므로 훨씬 더 어렵습니다.

이들은 다음의 유명한 이미지 데이터셋에 대해 테스트를 진행했습니다:

MNIST: 손글씨 숫자 (AI의 "Hello World").
Fashion-MNIST: 옷 사진.
Kuzushiji MNIST: 고대 일본 문자.
CIFAR-10: 일상적인 사물(고양이, 자동차, 새 등)의 작은 컬러 사진.

결과: 효과가 있었는가?

정확도: 놀랍게도, 그렇습니다!

단순한 모델의 경우, AI는 잠금 상자에 담긴 데이터에 대해 잠기지 않은 버전과 동일하게, 혹은 때로는 오히려 더 잘 맞혔습니다. 저자들은 잠금 상자 내부의 "노이즈"가 AI가 과하게 생각하는 것(과적합)을 방지하는 데 의도치 않게 도움을 주었을 수 있다고 제안합니다.
더 복잡한 모델의 경우, 정확도는 약 1% 정도만 약간 떨어졌는데, 이는 완전한 프라이버시를 위해 지불하기에 매우 작은 대가입니다.

속도: 이것이 걸림돌입니다.

마법의 잠금 상자 안에서 수학 연산을 하는 것은 느립니다. 저자들은 암호화된 이미지를 처리하는 것이 일반적인 경우보다 현저히 오래 걸린다는 것을 발견했습니다.
복잡한 컬러 이미지의 경우, 답을 얻는 데 이미지만 처리하는 데 약 7.5초가 걸렸습니다.
저자들은 자신들의 소프트웨어가 아직 강력한 그래픽 카드(GPU)를 사용하지 않았기 때문에 이렇게 느리다고 언급했습니다. GPU를 추가한다면 훨씬 빨라질 것입니다.

트레이드오프: 보안 vs 속도

저자들은 잠금 상자의 "설정"(컨텍스트 파라미터라고 불림)을 조절해 보았습니다.

더 강력한 자물쇠: 잠금 상자를 더 깨기 어렵게 만들수록(높은 보안 수준), 수학 연산에 시간이 더 오래 걸립니다.
정밀도: 만약 답이 매우 정밀하기를 원한다면 더 많은 "비트"의 데이터가 필요하며, 이 역시 속도를 늦춥니다.
저자들은 보안은 충분히 강력하면서도 정확도는 높고, 비록 조금 느리더라도 효율적인 "최적의 지점(sweet spot)"을 찾아냈습니다.

결론

이 논문은 당신이 데이터를 먼저 복호화하지 않고도 비밀스러운, 암호화된 데이터에 대해 복잡한 이미지 인식 작업을 수행할 수 있다는 것을 증명합니다. 프라이버시와 강력한 AI 사용 사이에서 하나를 포기할 필요는 없습니다.

하지만 현재의 기술은 고속 레이싱 카에 비해 느린 수동 자동차와 같습니다. 프라이버시를 위해서는 완벽하게 작동하지만, 아직 실시간 애플리케이션에 사용하기에는 너무 느립니다. 저자들은 향후 더 나은 하드웨어(GPU 등)와 더 빠른 암호화 방법이 도입된다면, 이 "마법의 잠금 상자"가 어디서나 사용할 수 있을 만큼 빨라질 것이라고 기대하고 있습니다.

기술 요약: 프라이버시 보존형 비전을 위한 동형 암호화

문제 정의
본 논문은 클라우드 기반 머신러닝 서비스(MLaaS)에 대한 수요 증가와, 민감한 데이터(예: 의료 또는 금융 기록)를 평문으로 공유하는 것을 방지하는 법적 요구사항 사이의 충돌 문제를 다룹니다. 딥러닝은 종양 탐지, 의료 영상과 같은 민감한 영역에 점점 더 많이 적용되고 있지만, 현재의 클라우드 솔루션은 데이터 복호화를 필요로 하며 이는 프라이버시 위험을 초래합니다. 저자들은 컴퓨터 비전 추론 작업(특히 합성곱 신경망, CNN)이 데이터를 복호화하지 않고도 암호화된 데이터 상에서 직접 수행될 수 있도록 하여, 경쟁력 있는 정확도와 추론 속도를 유지하면서 데이터 프라이버시를 보존하는 것을 목표로 합니다.

방법론
본 프로젝트는 암호화된 데이터에 대한 근사 산술을 지원하는 완전 동형 암호(FHE), 구체적으로 CKKS(Cheon-Kim-Kim-Song) 스킴을 활용합니다. 구현은 Microsoft SEAL과 그 파이썬 래퍼인 TenSEAL에 의존합니다.

표준 CNN을 동형 암호에 적응시키기 위해, 저자들은 HE의 제약 조건(가환 환(commutative ring) 상의 덧셈 및 곱셈 연산만을 지원함)을 처리하기 위한 몇 가지 핵심적인 수정을 구현했습니다:

데이터 표현: 실수(Real numbers)를 정수로 인코딩된 고정 정밀도 부동 소수점으로 대체합니다.
비선형성 근사: ReLU 및 Sigmoid와 같은 표준 비다항 활성화 함수를 저차 다항식(구체적으로 $z^2$ )으로 대체하여 비선형성을 도입합니다.
풀링 레이어: Max-pooling을 정적 커널과의 컨볼루션으로 표현 가능한 스케일링된 평균 풀링(average pooling)으로 대체합니다.
컨볼루션 구현: 컨볼루션을 "이미지-투-컬럼(image-to-columns)" 방식을 사용하여 행렬 곱셈으로 변환합니다. 암호문 요소의 재배열이 어렵기 때문에, 이 전처리는 암호화 전 평문 단계에서 수행됩니다.
다층 처리: 적층된 컨볼루션 레이어와 다채널 입력(컬러 이미지)을 지원하기 위해, 시스템은 레이어 사이에서 데이터를 복호화하고 다시 암호화합니다. 이는 TenSEAL이 2차원 행렬을 1차원 벡터로 재배열하는 기능에 대한 네이티브 문서화가 부족하기 때문에 필요합니다. 저자들은 이 과정이 모델 파라미터가 아닌 커널 크기와 스트라이드(stride)만 필요로 하기 때문에 프라이버시를 침해하지 않는다고 언급했습니다.

실험 설정
저자들은 네 가지 데이터셋(MNIST, Kuzushiji MNIST, Fashion-MNIST, CIFAR-10)에 대해 세 가지 별도의 CNN 아키텍처를 평가했습니다.

아키텍처 1: 하나의 컨볼루션 레이어와 두 개의 완전 연결(FC) 레이어로 구성된 단순 CNN (단일 채널 입력).
아키텍처 2: 두 개의 컨볼루션 레이어, 평균 풀링, 두 개의 FC 레이어를 가진 더 깊은 모델 (단일 채널 입력).
아키텍처 3: 다채널(RGB) 입력을 지원하는 모델로, 채널 출력이 별도로 계산된 후 암호문 덧셈을 통해 결합됩니다.

모델은 먼저 암호화되지 않은 데이터로 학습되었습니다. 이후 생성된 가중치는 암호화된 버전의 추론을 위한 초기값으로 사용되었습니다. FHE의 상당한 계산 오버헤드를 관리하기 위해 연구는 각 데이터셋당 5,000개의 샘플을 포함하는 테스트 분할에 집중했습니다.

주요 결과
실험 결과, 암호화된 데이터에 대한 분류는 최소한의 정확도 손실로 가능하다는 것이 입증되었습니다:

정확도: 아키텍처 1의 경우, 암호화된 추론은 종종 암호화되지 않은 베이스라인 정확도와 일치하거나 약간 상회했습니다 (예: MNIST에서 98.90% vs 97.14%). 저자들은 이러한 잠재적 개선이 CKKS의 근사 산술에 의해 도입된 자연스러운 노이즈 덕분이며, 이것이 과적합을 줄일 수 있다고 설명합니다. 아키텍처 2의 경우, 복잡한 데이터셋(KMNIST, Fashion-MNIST)에서 정확도가 약 1% 하락했는데, 이는 여러 번의 복호화/재암호화 주기로 인해 누적된 오차 때문으로 보입니다.
복잡도: 시스템은 CIFAR-10과 같은 다채널 입력을 성공적으로 확장하였으며, 암호화되지 않은 데이터의 56.12% 대비 암호화된 데이터에서 54.1%의 정확도를 달了.
성능 트레이드오프: 추론 시간은 암호화되지 않은 추론보다 현저히 높습니다(수십 배 느림). 연구는 컨텍스트 파라미터(다항식 모듈러스 차수 및 계수 모듈러스)와 성능 간의 관계를 분석했습니다:
- 비트 스케일(bit scale)(정밀도)을 높이는 것은 추론 시간을 크게 증가시키지는 않았으나, 정확도를 유지하기 위해 필수적이었습니다.
- 다항식 비트 모듈러스(polynomial bit modulus)(보안성)를 높이는 것은 유사한 정확도를 유지하면서도 추론 시간을 선형적으로 증가시켰습니다 (예: 모듈러스를 8192에서 16384로 두 배 늘리면 추론 시간도 두 배 증가함).

의의 및 기여
본 논문은 프라이버시 보존형 비전 분야에 대해 작지만 유의미한 기여를 했다고 주장합니다:

타당성 입증: 다양한 데이터셋, 특히 CIFAR-10과 같은 복잡한 데이터셋에서도 CNN이 암호화된 이미지 상에서 암호화되지 않은 베이스라인과 대등한 정확도로 추론을 수행할 수 있음을 증명했습니다.
라이브러리 확장: 저자들은 적층된 컨볼루션 레이어, 평균 풀링, 다채널(컬러) 이미지 처리를 포함하여 TenSEAL 상에서 복잡한 연산을 수행할 수 있는 기능을 추가했습니다.
파라미터 분석: 본 연구는 CKKS 암호화에 내재된 시간-정확도-보안성 트레이드오프에 대한 경험적 분석을 제공하여, 컨텍스트 파라미터 선택에 대한 지침을 제시합니다.

저자들은 현재의 성능이 FHE 라이브러리의 GPU 지원 부족과 암호화 비용에 의해 제한적이지만, 암호문 상에서 컴퓨터 비전 작업을 직접 실행할 수 있는 능력은 프라이버시가 중요한 애플리케이션에 대한 실행 가능한 솔루션을 제공한다고 결론지었습니다. 또한 하드웨어 가속과 더 빠른 HE 스킴의 발전이 이러한 접근 방식의 실용성을 더욱 향상시킬 수 있을 것이라고 제언합니다.