Navigating the Deep: End-to-End Extraction on Deep Neural Networks

1. 문제 정의 (Problem)

신경망 모델 추출 (Model Extraction) 은 적대자가 블랙박스 쿼리를 통해 모델의 내부 파라미터 (가중치와 편향) 를 복원하려는 공격입니다. 최근 Carlini et al. (CRYPTO'20) 은 차분 암호분석 (differential cryptanalysis) 에서 영감을 받아 서명 추출 (Signature Extraction, 가중치의 절대값 복원) 과 부호 추출 (Sign Extraction, 가중치의 부호 결정) 의 두 단계로 이루어진 추출 방법을 제안했습니다.

그러나 기존 방법론에는 다음과 같은 심각한 한계가 존재하여 깊은 신경망 (Deep Neural Networks) 에 적용하기 어려웠습니다:

• 서명 추출의 깊이 제한: Carlini et al. 의 방법은 매우 얕은 네트워크 (보통 3 층 이하) 에서만 작동합니다. 깊이가 깊어질수록 계수 행렬의 랭크 결핍 (Rank Deficiency) 으로 인해 해가 유일하지 않게 되거나, 심층 레이어의 노이즈가 표적 레이어의 서명 추출을 방해하여 3 층 이후의 가중치 복원이 실패합니다.
• 부호 추출의 비효율성: Canales-Martínez et al. (Eurocrypt'24) 은 다항 시간 (Polynomial-time) 의 부호 추출 방법을 제안했으나, 이는 이미 서명이 정확히 추출되었다는 전제 하에 이루어졌습니다. 또한, '낮은 신뢰도 (low-confidence)'를 가진 뉴런의 경우 부호를 결정하기 위해 지수 시간 (Exponential time) 의 전수 조사가 필요하다는 문제가 있었습니다.
• 종단 간 (End-to-End) 추출 부재: 기존 연구들은 서명 추출과 부호 추출을 분리하거나, 특정 층까지만 성공하는 데 그쳐, 깊은 네트워크 전체를 다항 시간 내에 성공적으로 복원하는 '종단 간' 공격은 존재하지 않았습니다.

2. 방법론 (Methodology)

저자들은 기존 서명 및 부호 추출 과정의 한계를 체계적으로 분석하고, 각 단계별로 새로운 알고리즘적 해결책을 제시하여 종단 간 추출을 가능하게 했습니다.

A. 서명 추출 개선 (Improving Signature Extraction)

깊은 레이어로 갈수록 발생하는 두 가지 주요 문제를 해결했습니다:

1. 랭크 결핍 문제 해결 (Subspace Intersections):
   • 깊은 레이어에서는 활성 뉴런 수가 많아지지만, 이전 레이어의 활성 뉴런 수가 부족하여 선형 시스템의 랭크가 낮아지는 문제가 발생합니다.
   • 해결책: 단일 크리티컬 포인트 (Critical Point) 에서의 해가 유일하지 않을 때, 여러 크리티컬 포인트에서 얻은 해 공간 (Solution Space) 을 교차 (Intersection) 시켜 공통된 해 (실제 가중치) 를 찾습니다. 이를 통해 랭크 결핍으로 인한 오류를 제거하고 깊은 레이어에서도 정확한 서명을 복원합니다.
2. 심층 레이어의 간섭 제거 (Discarding Deeper Layers' Influence):
   • 기존 방법은 "크기가 2 보다 큰 컴포넌트"를 표적 레이어의 것으로 간주했으나, 깊은 레이어의 크리티컬 포인트가 합쳐져 잘못된 컴포넌트를 생성할 수 있음을 발견했습니다.
   • 해결책:
     • 심층 포인트 제거: 추출된 초평면 (Hyperplane) 이 표적 레이어의 네트워크에서 여전히 유효한지 검증하여 깊은 레이어의 포인트를 필터링합니다.
     • 심층 컴포넌트 제거: 컴포넌트의 크기, 심층 포인트와의 병합 비율 (Noise Ratio), 그리고 미복원 엔트리의 수를 기준으로 심층 레이어에서 유래한 노이즈 컴포넌트를 제거합니다.
3. 수치적 정밀도 향상:
   • 스케일링 인자로 인한 수치 불안정성을 해결하기 위해 행렬 열을 정규화하고, 평탄한 영역 (Flat regions) 의 크리티컬 포인트를 배제하여 정밀도를 높였습니다.

B. 부호 추출 개선 (Confident Sign Extraction)

• SOE + Wiggle 전략: Canales-Martínez et al. 의 '시스템 방정식 (SOE)' 방법과 '뉴런 위글 (Neuron Wiggle)' 방법을 결합했습니다.
  • SOE 는 랭크가 부족할 때 실패하지만, 뉴런 위글은 신뢰도가 낮은 뉴런에서 실패합니다.
  • 해결책: 높은 신뢰도를 가진 뉴런들의 부호를 뉴런 위글로 먼저 결정하고, 이를 SOE 시스템의 고정된 값으로 사용하여 시스템의 랭크를 높입니다. 그 후 남은 낮은 신뢰도 뉴런들의 부호를 SOE 를 통해 다항 시간에 해결합니다. 이는 지수 시간의 전수 조사를 불필요하게 합니다.

3. 주요 기여 (Key Contributions)

1. 심층 네트워크 추출 가능: 서명 추출의 랭크 결핍과 심층 간섭 문제를 해결하여, 이전 연구들이 3 층까지만 추출했던 것을 넘어 8 층 이상의 깊은 신경망을 성공적으로 추출했습니다.
2. 최초의 다항 시간 종단 간 추출: 서명 추출과 부호 추출을 모두 다항 시간 알고리즘으로 개선하여, 종단 간 (End-to-End) 모델 추출을 최초로 실현했습니다.
3. 정밀도 및 효율성 향상: 수치적 정밀도 향상 기법과 효율적인 컴포넌트 필터링을 통해 추출 성공률과 속도를 크게 개선했습니다.
4. 새로운 평가 지표: 추출된 가중치의 수뿐만 아니라, 복원된 가중치가 유효한 입력 공간의 비율을 나타내는 '커버리지 (Coverage)' 지표를 도입하여 추출 품질을 더 정확하게 평가했습니다.

4. 실험 결과 (Results)

저자들은 MNIST 와 CIFAR-10 데이터셋으로 훈련된 ReLU 기반 신경망 (Model I, II, III) 에서 실험을 수행했습니다.

• 추출 깊이: 기존 연구 (Foerster et al., 2024) 가 3 층 이상에서 실패했던 것과 달리, 본 연구는 8 층 (8 뉴런/레이어) 구조의 네트워크에서 거의 모든 가중치를 성공적으로 복원했습니다.
• 정확도:
  • Model I (CIFAR-10, 3072-8(8)-10): 전체 가중치의 99.91% 를 복원했습니다.
  • Model II (MNIST, 784-8(8)-1): 전체 가중치의 99.71% 를 복원했습니다.
  • Model III (MNIST, 784-16(8)-1): 7 층까지 성공적으로 추출했습니다.
• 성능: 8 층 네트워크 전체 추출에 약 27 시간 (Model I) 및 2 시간 (Model II) 이 소요되었으며, 쿼리 수는 레이어당 약 220~230 회로 효율적이었습니다.
• 부호 추출: 기존 '뉴런 위글'만 사용할 경우 낮은 신뢰도로 인해 실패했던 층들에서, 제안한 SOE+Wiggle 방법을 통해 모든 층에서 높은 신뢰도로 부호를 복원했습니다.

5. 의의 및 결론 (Significance)

이 논문은 신경망 모델 추출 분야에서 중요한 전환점을 마련했습니다.

• 실용적 공격의 가능성: 이전까지 이론적으로만 가능하거나 얕은 네트워크에만 적용되던 추출 공격이, 실제 복잡하고 깊은 신경망 아키텍처에도 적용 가능함을 증명했습니다.
• 보안 시사점: 클라우드 기반 AI 서비스나 블랙박스 환경에서도 모델의 내부 파라미터가 완전히 유출될 수 있음을 보여주어, 모델 보호 (Model Protection) 및 지식 증류 (Knowledge Distillation) 기술의 중요성을 재조명합니다.
• 향후 연구 방향: 부동소수점 연산의 정밀도 한계와 매우 넓은 (Wide) 네트워크에서의 계산 비용 문제를 해결하는 것이 향후 과제로 남았습니다.

요약하자면, 이 연구는 수학적 통찰 (랭크 교차, 심층 노이즈 필터링) 과 알고리즘적 혁신 (SOE+Wiggle 결합) 을 통해 깊은 신경망의 종단 간 추출을 가능하게 한 획기적인 성과입니다.