기술 요약: 프라이버시 보존형 클라우드-에지-엔드 협업을 위한 지연 시간 최적 적응형 분할 추론

1. 문제 정의

IoT 엔드 디바이스는 의료 영상과 같은 프라이버시 민감 데이터를 처리할 때 결정적인 트레이드오프에 직면합니다. 즉, 로컬에서 전체 합성곱 신경망(CNN)을 실행하기에는 계산 자원이 부족하지만, 원시 데이터나 중간 특징(intermediate features)을 클라우드나 에지 서버로 오프로딩하는 것은 민감한 정보 노출를 야기합니다. 완전 동형 암호화(FHE)는 복호화 없이 암호화된 데이터에 대한 연산을 가능하게 하지만, 클라우드에 FHE를 전적으로 의존하는 것은 암호문 확장 및 동형 산술 오버헤드로 인해 매우 느립니다. 반대로, 에지 서버에만 의존하는 것은 클라우드에 비해 제한된 용도로 인해 불충ful히합니다.

본 논문이 다루는 핵심 과제는 CNN의 어디를 분할할 것인가와 에지 및 클라우드 계층 간에 암호화된 접미사(suffix)를 어떻게 분배할 것인가를 결정하여, 프라이버시를 엄격히 보호하면서 종단 간(end-to-end) 지연 시간을 최소화하는 것입니다. 구체적으로, 본 논문은 로컬 평문 실행, 암호화 비용, 통신 지연, 그리고 원격 FHE 실행 비용 사이의 균형을 맞추는 최적의 분할 쌍(엔드 측 분할 지점 및 에지 측 종료 지점)을 선택하는 문제를 해결하고자 합니다.

2. 방법론

시스템 아키텍처 및 위협 모델

제안된 프레임워크는 3계층 아키텍처로 작동합니다:

• 엔드 디바이스(End Device): 신뢰 앵커 역할을 합니다. CNN의 초기 평문 접두사(prefix)를 실행하고, FHE(구체적으로 CKKS 스킴)를 사용하여 중간 활성화 함수 값을 암호화하며, 비밀 키를 로컬에 보유합니다. 원시 입력이나 평문 특징을 절대 전송하지 않습니다.
• 에지 서버(Edge Server): 첫 번째 외부 계층입니다. 암호화된 활성화 값을 수신하고, 암호문 상에서 연속적인 모델 세그먼트를 실행합니다.
• 클라우드 서버(Cloud Server): 고용량 계층입니다. 에지가 추론을 종료하지 않을 경우 남은 암호화된 접미사를 완료합니다.

위협 모델: 에지와 클라우드 서버는 "정직하지만 호기심 많은(honest-but-curious)" 모델로 가정됩니다. 이들은 프로토콜을 충실히 따르지만, 처리 중인 암호문으로부터 개인 정보를 추론하려고 시도할 수 있습니다. 프레임워크는 계층 간 결탁이 없다고 가정합니다. 즉, 에지와 클라우드가 관측 데이터를 결합하더라도 엔드 디바이스가 보유한 비밀 키 없이는 데이터를 복호화할 수 없습니다.

FHE 호환 모델 설계

효율적인 동형 연산을 가능하게 하기 위해, 본 논문은 표준 ReLU 활성화 함수를 이차 잔차 활성화(quadratic residual activation) 함수 $\sigma(z) = (\alpha \cdot z)^2 + z$로 대체합니다. 이는 선형 잔차 경로를 유지하면서도, 더하기와 곱하기를 지원하는 CKKS 스킴에 적합한 2차 다항식을 사용합니다. 모델은 암호 영역에서도 정확도가 유지되도록 이 활성화 함수를 사용하여 처음부터 다시 학습되었습니다.

지연 시간 최적화 계획 알고리즘

저자들은 총 지연 시간 $T_{tot}(q, e)$를 최소화하기 위한 제약 조건이 있는 최적화 문제로 배포를 정식화합니다. 여기서 $q$는 엔드 측 분할 지점이고 $e$는 에지 측 종료 지점입니다. 총 지연 시간은 다음의 합계입니다:

1. 로컬 평문 실행 ($T_{end}$): 엔드 디바이스의 GFLOPS를 기반으로 계산됩니다.
2. 암호화 ($T_{enc}$): 분할된 활성화 값을 암호화하는 비용입니다.
3. 통신 ($T_{comm}$): CKKS 파라미터 및 SIMD 패킹에 의해 결정되는 페이로드 크기와 구성된 링크 대역폭을 기반으로 계산된 계층 간 암호문 전송 지연 시간입니다.
4. 원격 FHE 실행 ($T_{edge}, T_{cloud}$): 특정 하드웨어에서의 특정 레이어 그룹(예: 합성곱+풀링, 완전 연결 계층)에 대해 경험적으로 캘리브레이션된 비용 밀도(GFLOP당 초 단위)를 사용하여 추정됩니다.

플래너는 두 가지 세밀도를 지원합니다:

• 합성곱 레벨(Convolution-level): 개별 합성곱 레이어에서 분할 지점을 허용합니다.
• 블록 레벨(Block-level): 완전한 네트워크 블록 또는 완전 연결 계층의 경계로 분할 지점을 제한합니다.

시스템은 최대 모델 노출 정책(엔드 디바이스의 모델 파라미터 비율 제한) 및 구조적 일관성과 같은 제약 조건 하에서 가능한 모든 쌍 $(q, e)$를 평가하여 지연 시간을 최소화하는 쌍을 선택합니다.

3. 주요 기여

1. 프라이버시 보존형 분할 프레임워크: 엔드 디바이스가 비밀 키와 평문 데이터를 보유하는 유일한 보유자로 남으면서, 에지와 클라우드 계층이 엄격히 FHE 암호문 상에서만 연산을 수행하는 새로운 아키텍처를 제시합니다.
2. 지연 시간 인지형 플래너: 암호화, 통신, 그리고 에지와 클라우드 계층 간의 이기종 FHE 실행 비용을 통합적으로 고려하는 통합 비용 모델 및 최적화 알고리즘을 제공합니다.
3. 세밀도 인지형 파티셔닝: 프레임워크는 합성곱 레벨과 블록 레벨 분할을 모두 지원하며, 미세한 분할이 에지 자원을 더 잘 활용함으로써 지연 시간을 크게 줄일 수 있음을 입증합니다.
4. 프로토타입 구현: VGG16 기반 모델과 함께 하이브리드 테스트베드(엔드용 Raspberry Pi 4B, 에지/클라우드용 Xeon 서버 상의 Docker 컨테이너)에서 CKKS/OpenFHE를 사용한 작동하는 프로토타입을 구현했습니다.

4. 실험 결과

실험은 수정된 VGG16(SquareVGG16) 아키텍처를 사용하여 CIFAR-10 및 PathMNIST 데이터셋에 대해 수행되었습니다.

• 지연 성능:

  • 제안된 합성곱 레벨 분할은 CIFAR-10에서 1033.279 s/sample, PathMNIST에서 1023.429 s/sample의 분할된 종단 간 지연 시간을 달성했습니다.
  • 이는 풀 클라우드 FHE 베이스라인 대비 약 12.9배, 블록 레벨 분할 베이스라인 대비 약 3.9배 빠른 속도입니다.
  • 풀 클라우드 FHE 베이스라인은 전체 모델을 원격에서 실행함에 따라 높은 지연 시간(CIFAR-10의 경우 약 13,357 s/sample)을 보였습니다.

• 정확도:

  • 협업 방식은 CIFAR-10에서 88.53%, PathMNIST에서 **91.43%**의 정확도를 달축했습니다.
  • 이러한 결과는 평문 SquareVGG16 모델과 정확히 일치하거나 0.01% 이내의 차이를 보여, FHE 호환 활성화 함수와 분할 추론이 모델 성능을 저하시키지 않음을 확인시켜 줍니다.

• 통신 오버헤드:

  • 합성곱 레벨 분할은 클라우드로의 핸드오프가 더 일찍 발생하기 때문에(Block III 이후가 아닌 Conv. III-1 이후) 블록 레벨 분할(141 MB/sample)보다 높은 통신 볼륨(약 276 MB/sample)을 발생시켰습니다. 그러나 에지 측 FHE 계산 시간의 감소가 통신 비용을 상쇄하여 결과적으로 더 낮은 총 지연 시간을 기록했습니다.

• 민감도 분석:

  • 최적의 분할 계획(엔드 측 Block II, 에지 측 Conv. III-1)은 다양한 대역폭 구성에서도 안정적으로 유지되었습니다. 해당 계획은 에지의 FHE 실행 속도가 클라우드의 속도에 근접할 때만 에지 계층 내부로 더 깊게 이동했습니다.

5. 의의 및 주장

본 논문은 적응형 파티셔닝을 통해 프라이버시 보존형 분할 추론을 지연 시간 최적화 상태로 만들 수 있음을 입증하는 데 주요 의의가 있다고 주장합니다. 분할 지점 선택을 암호화, 통신, 그리고 이기종 FHE 실행 비용을 포함하는 결합 최적화 문제로 취급함으로써, 본 프레임워크는 FHE의 높은 보안성과 IoT 애플리케이션의 실제적인 지연 시간 요구 사항 사이의 간극을 메웁니다.

저자들은 자신들의 작업이 다음과 같은 시스템 수준의 솔루션을 제공한다고 강조합니다:

• 풀 클라우드 FHE의 암호학적 프라이버시 경계(평문이 엔드 디바이스를 떠나지 않음)를 유지하면서도 지연 시간을 획기적으로 단축합니다.
• 이기종 클라우드-에지 환경에서 미세한(합성곱 레벨) 분할이 통신 비용이 증가함에도 불구하고 거친(블록 레벨) 분할보다 우수함을 검증합니다.
• 향후 연구를 위해 재현 가능하고 벤치마크로 캘리브레이션된 비용 모델을 제공합니다.

본 논문은 현재 구현된 모델이 실시간 의사결정이 아닌 비대화형 배치 추론을 위한 CPU 기반 연구 프로토타입임을 명시하며, 향후 하드웨어 가속 및 더 넓은 모델 제품군으로의 확장에 초점을 맞출 것이라고 겸허히 결론짓습니다.