기술 요약: Gecko: 안전한 공개 인코더 오프로딩을 통한 빠른 프라이빗 추론

1. 문제 정의

프라이빗 추론(Private inference)은 일반적으로 완전 동형 암호(Fully Homomorphic Encryption, FHE)를 사용하여 사용자의 입력과 서버의 모델을 모두 보호하는 것을 목표로 합니다. 그러나 암호화된 상태에서 딥러닝 연산을 수행하는 데 드는 계산 비용은 매우 높습니다. 최적화된 시스템조차 ResNet50 이미지 한 장을 처리하는 데 약 1분이 소요됩니다.

최근의 접근 방식들은 범용적인 사전 학습된 "공개 인코더"(예: 백본)를 FHE 경계 외부의 평문 상태로 실행하여 오프로딩하고, 가벼운 태스크 특화 예측기(task-specific predictor)만을 암호화함으로써 이를 완화하려고 시도합니다. 효율적이긴 하지만, 이 설계는 치명적인 보안 취약점인 특징 공간 지름길(feature-space shortcut) 문제를 야기합니다.

만약 공개 인코더가 선택적인 최종 레이어 표현만을 노출한다면, 공격자는 원래 모델의 전체 입력-출력 동작을 학습하는 대신, 노출된 특징들로부터 출력으로 가는 더 단순한 매핑을 학습할 수 있습니다. 이러한 "지름길"은 표준적인 블랙박스 접근 방식에 비해 모델 추출 공격(model extraction attacks)의 난이도를 낮춥니다. 과제는 오프로딩의 효율성을 유지하면서도 이러한 점진적인 추출 위험을 생성하지 않는 시스템을 설계하는 것입니다.

2. 방법론: Gecko 프레임워크

Gecko는 압축된 형태의 프라이빗 예측기를 유지하면서 특징 공간 지름길을 제한하도록 설계된 프라이빗 추론 프레임워크입니다. 이는 세 가지 별도의 단계로 작동합니다.

A. 공개 인코딩 (클라이언트 측, 평문)

Gecko는 고정된 백본(예: ResNet50v2 또는 MobileNetV3)의 마지막 레이어에만 의존하는 대신, 여러 추상화 레벨(저수준, 중수준, 고수준)에서 **계층적 특징(hierarchical features)**을 집계합니다.

• 압축: 원시 다수 레벨 특징은 직접 전송하기에는 너무 큽니다. Gecko는 고정된 **Fastfood 투영(random linear projections)**을 적용하여 각 선택된 특징 맵을 고정된 차원 $D$로 압축합니다.
• 정보 보존: 시스템은 오프라인 진단 도구로 **정규화된 보존 상호 정보량(Normalized Preserved Mutual Information, NPMI)**을 사용하여, 압축된 표현이 특징 공간 지름길을 방지하기 위한 충분한 입력 정보를 유지하는지 확인합니다.

B. 계층적 특징 게이팅 (프라이빗, FHE)

서로 다른 레이어에서 온 압축된 특징들은 서로 다른 크기와 통계적 특성을 가질 수 있으며, 이는 학습을 불안정하게 만들거나 정보가 풍부하지만 규모가 작은 특징들을 모델이 무시하게 만들 수 있습니다.

• Gecko는 프라이빗 예측기 내에 계층적 특징 게이팅(Hierarchical Feature Gating, HFG) 레이어를 도입합니다. 이 레이어는 특징 그룹들이 융합되기 전에 각 그룹의 기여도를 재조정하기 위한 비음수 가중치를 학습합니다.
• 결정적으로, 학습이 완료되면 HFG 가중치는 예측기의 첫 번째 완전 연결(fully connected) 레이어에 흡수됩니다. 이를 통해 암호화된 추론 단계에서 게이팅을 위한 추가적인 암호화 연산이 필요하지 않게 되어 낮은 FHE 깊이를 유지할 수 있습니다.

C. 출력 매핑 (클라이언트 측, 평문)

불필요한 자유도(예: 절대적인 로짓 오프셋)의 유출을 방지하기 위해, Gecko는 **생체적 중심 로짓 매핑(bijective centered-logit mapping)**을 적용합니다. 서버는 중심화된 로짓(평균을 뺀 값)을 반환하며, 클라이언트는 이를 복호화한 후 고정된 소프트맥스를 적용하여 최종 클래스 확률을 복구합니다. 이를 통해 인터페이스는 예측에 필요한 정확한 정보만을 드러내고 추가적인 아티팩트를 노출하지 않습니다.

3. 주요 기여

1. 안전한 분할: Gecko는 FHE 외부에서 독립적으로 실행되는 공개 인코더를 실행하면서 독점적인 태스크 적응(task adaptation)은 유지하는 분할 방식을 제안합니다. 이는 독점적 기능을 노출하지 않으면서 암호화된 계산량을 실질적으로 줄여줍니다.
2. 압축된 계층적 표현: 다수 레벨의 특징, 고정된 Fastfood 투영, 그리고 프라이빗 특징 게이팅을 결합함으로써, Gecko는 지름길에 취약한 "선택적 최종 레이어 인터페이스"를 피하는 동시에 가벼운 암호화 예측기를 생성합니다.
3. 공식 설계 기준: 저자들은 공개 오프로딩을 위한 두 가지 이상적인 조건을 공식화했습니다.
   • 예측 아티팩트 독립성(Prediction-Artifact Independence): 공개 구성 요소는 태스크 특유의 프라이빗 아티팩트를 포함해서는 안 됩니다.
   • 정보 보존(Information Preservation): 노출된 인터페이스는 추론 동작을 붕괴시켜서는 안 됩니다(즉, 원래의 입력-출력 매핑의 불확실성을 보존해야 합니다).
4. 실증적 검증: 본 논문은 이미지 및 오디오 태스크에 대해 시스템을 평가하여, 오프로딩된 공개 인코더를 재사용하는 것이 표준적인 블랙박스 접근 방식에 비해 모델 추출 공격자에게 유의미한 이점을 제공하지 않음을 입증했습니다.

4. 실험 결과

평가는 자연 이미지(CIFAR-10, CIFAR-100, Caltech101), 생물 의학 이미지(다양한 양상), 오디오(FSDD)를 포함한 다양한 태스크를 포괄합니다.

• 효율성: Gecko는 0.4–2.2초의 추론 시간과 10.8 MB 이내의 통신 비용을 달로합니다. 이는 엔드 투 엔드 FHE 베이스라인(하이브리드 설정의 ResNet50의 경우 수백 초, 예: 188초)과 비교했을 때 대폭 감소한 수치입니다.
• 정확도: Gecko는 테스트된 모든 태스크와 백본 선택(ResNet50v2 및 MobileNetV3)에 대해 전이 학습(transfer-learning) 베이스라인과 유사한 정확도를 유지합니다(종종 1% 이내의 차이).
• 보안 (추출 위험):
  • 베이스라인 비교: 공격자는 Gecko 타겟에 대해 표준 전이 학습 베이스라인에 비해 더 낮은 대리 모델 정확도(surrogate accuracy)를 달성했습니다.
  • 구성 요소 재사용: 공격자가 공개 백본이나 정확한 투영 파라미터를 재사용하는 실험에서도 자유 대리 튜닝(free surrogate tuning) 대비 일관된 추출 이점이 나타나지 않았습니다.
  • 어블레이션(Ablation): 다수 레벨 표현을 최종 레이어 표현(지름길)으로 교체했을 때 공격 정확도가 크게 증가(19~27 퍼센트 포인트)하였으며, 이는 Gecko의 설계가 이러한 특정 위험을 성공적으로 완화함을 입증합니다.
  • 부분 가중치 노출: 반면, 부분적인 프라이빗 모델 가중치를 노출하는 경우(불안전한 베이스라인) 공격 정확도가 급격히 향상되었으며, 이는 Gecko의 엄격한 공개/프라이빗 구성 요소 분리의 중요성을 강조합니다.

5. 의의 및 주장

본 논문은 Gecko가 모델 측면의 보호를 유지하면서 암호화된 계산을 줄이기 위한 실질적인 경로로서 공개 인코더 오프로딩의 타당성을 입증한다고 주장합니다.

• 이론적 보장: 정보 이론적 기준(독립성과 보존성)을 준수함으로써, Gecko는 공개 인코더를 노출하는 것이 독점 모델의 예측 기능적 불확실성을 감소시키지 않음을 보장합니다.
• 실용성: 시스템은 표준 하드웨어에서 초 단위 미만에서 수 초 사이의 지연 시간을 달성하여, 생물 의학 이미지 분류 및 오디오 처리와 같은 민감한 애플리케이션에서 프라이빗 추론을 가능하게 합니다.
• 강건성: 평가는 "특징 공간 지름길"이 오프로딩 설계에서 실제적이고 유의미한 위험임을 보여주지만, 계층적 특징 집계와 신중한 표현 설계를 통해 효과적으로 무력화될 수 있음을 시사합니다.

저자들은 효율적인 프라이빗 추론을 위해서는 암호화 최적화뿐만 아니라, 독립적으로 공개된 자원과 독점적 기능 사이의 명확하고 안전한 분리가 필요하다고 결론짓습니다.