Algebraic Cryptanalytic Extraction on Hard-Label Neural Networks

당신이 세계적으로 유명한 케이크의 비밀 레시피를 훔치려 한다고 상상해 보십시오. 하지만 제빵사는 당신에게 반죽을 맛보거나 재료 목록을 보는 것을 거부합니다. 당신이 할 수 있는 일이라고는 무작위로 재료 하나를 건네며 "이것이 케이크인가요?"라고 묻고, 그로부터 단순히 "예" 또는 "아니오"라는 대답을 듣는 것뿐입니다. 이것이 인공지능(AI) 세계에서 발생하는 '하드 레이블(hard-label)' 공격의 과제입니다. 이 컴퓨터 과학의 영역에서 연구자들은 '블랙박스' 신경망 내부의 숨겨진 수학(가중치와 편향)을 오직 최종적인 예/아니오 결정만을 관찰하여 역설계하려고 노력합니다. 수년 동안 이것은 마치 어둠 속에서 거대한 퍼즐 조각을 맞추는 것과 같았습니다. 몇몇 영리한 기술들이 존재하여 조각들을 찾아낼 수는 있었지만, 그것들을 올바른 그림으로 분류하는 과정이 너무 느리고 계산 집약적이어서 현실 세계에서는 불가능해 보였습니다. 문제는 수학이 틀린 것이 아니라, 단서들을 정리하는 방법이 계산의 교통 체증에 갇혀 있었다는 점이었습니다.

이 논문은 그 교통 체증을 뚫고 나갈 수 있는 영리하고 새로운 방법을 소개합니다. 저자인 Zirui Chen과 그의 팀은 기존의 방식이 마치 초정밀 계산기를 사용하여 모든 퍼즐 조각을 다른 모든 조각과 하나하나 비교하는 것과 같다는 점을 깨달았습니다. 대신, 그들은 '근사 시그니처 벡터(Approximate Signature Vector, ASV)'라는 지름길을 제안했습니다. 이것은 만약 두 퍼즐 조각이 같은 하늘 영역에 속한다면, 둘 다 푸른색일 것이라는 사실을 깨닫는 것과 같습니다. 슈퍼컴퓨터를 사용해 확인할 필요 없이, 그저 눈을 빠르게 돌려 그것들이 같은 색조인지 확인하기만 하면 됩니다. 이 "훑어보기"(내적이라는 간단한 수학 연산)를 사용함으로써, 그들은 수천 시간 걸리던 작업을 단 몇 분 만에 끝나는 작업으로 바꾸어 놓았습니다. 또한 그들은 이 기술을 '맥스 풀링(max pooling)'을 사용하는 합성곱 신경망(CNN)이라는 특정 유형의 AI 아키텍처에 적용하는 방법도 찾아냈는데, 이는 이전에는 이러한 종류의 공격에 있어 막다른 길이었던 기능입니다.

핵심 아이디어: 무거운 작업에서 빠른 훑어보기로

이야기는 2025년 Carlini와 동료들이 개발한 유명한 공격으로부터 시작됩니다. 그들은 신경망으로부터 "예/아니오" 답변만 얻더라도 여전히 그 비밀 가중치를 찾아낼 수 있다는 것을 보여주었습니다. 그들은 '듀얼 포인트(dual points)'라고 불리는 데이터의 특수한 지점들을 찾아냄으로써 이를 수행했습니다. 이 듀얼 포인트들을 AI의 결정이 "고양이"에서 "개"로 바뀌는 정확한 지점이라고 상상해 보십시오. 이러한 수천 개의 전환 지점들을 수집함으로써, 공격자들은 AI의 두뇌를 수학적으로 재구성할 수 있었습니다.

하지만 엄청난 병목 현상이 있었습니다. 일단 수천 개의 이러한 전환 지점들을 모으고 나면, 그것들을 분류해야 합니다. 어떤 지점이 동일한 "뉴런"(AI 내부의 동일한 작은 결정 기구)에 속하고 어떤 지점이 서로 다른 것에 속하는지를 파악해야 합니다. Carlini 팀이 사용했던 기존 방식은 마치 백만 개의 양말을 고성능 스캐너를 사용하여 모든 양말을 다른 모든 양말과 하나씩 비교하며 분류하는 것과 같았습니다. 이론적으로는 가능했지만, 실제로는 너무나 고통스러울 정도로 느렸습니다. 만약 2,000개의 지점이 있다면, 컴퓨터는 수십억 번의 무거운 계산을 수행해야 하며, 이를 마치는 데 몇 주 또는 몇 달이 걸릴 수도 있습니다. 이 논문의 저자들은 이론은 타당했지만, 실제 구현은 "계산적 병목 현상"에 갇혀 있어 실제 공격에는 무용지물이었다는 점에 주목했습니다.

마법의 지름길: 근사 시그니처 벡터(ASV)

저자들의 돌파구는 관점을 기하학적 퍼즐에서 대수적 퍼즐로 바꾼 것이었습니다. 그들은 이러한 AI 두뇌가 구축되는 방식에 대해 두 가지 멋진 사실을 발견했습니다.

1. 고차원적 무작위성: 이 AI들이 존재하는 광대한 다차원 공간에서, 무작위 방향들은 서로 거의 완벽하게 수직(x, y, z축처럼)을 이룹니다.
2. 분리된 특징: 실제 AI는 서로 다른 뉴런이 서로 다른 것을 학습하도록 훈련됩니다. 한 뉴런은 귀를 포착하고, 다른 뉴런은 꼬리를 포착할 수 있습니다. 이들은 서로 다른 것을 학습하기 때문에, 그들의 내부 "가중치"(그들을 정의하는 수학)는 자연스럽게 상관관계가 없으며, 마치 서로 다른 고유한 방향을 가리키는 것과 같습니다.

이러 संगम 관찰을 바탕으로, 팀은 **근사 시그니처 벡터(ASV)**를 발명했습니다. 모든 쌍에 대해 무겁고 느린 비교를 수행하는 대신, 그들은 각 지점에 대한 빠른 "시그니처"를 계산합니다. 만약 두 지점의 시그니처가 거의 같은 방향을 가리키거나 정반대라면, 그 지점들은 거의 확실히 동일한 뉴런에 속합니다.

이것은 색깔별로 분류해야 하는 구슬 주머니를 가진 것과 같습니다. 기존 방식은 모든 구슬의 밀도가 같은지 확인하기 위해 모든 구슬을 다른 모든 구절과 무게를 재보는 것이었습니다. 새로운 방식은 그저 색을 보는 것입니다. 만약 두 구슬이 모두 밝은 빨간색이라면, 당신은 그것들을 같은 더미에 넣습니다. 저울은 필요하지 않습니다. 그저 눈만 있으면 됩니다. 수학적으로 이 "보는 행이" 벡터의 단순한 곱(내적)이며, 이는 기존의 "저울"(특이값 분해, SVD)에 비해 매우 빠릅니다.

결과: 강탈의 속도를 높이다

속도의 차이는 놀랍습니다. 저자들은 2,000개의 듀얼 포인트를 가진 표준 AI 모델을 대상으로 그들의 방법을 테스트했습니다.

• 기존 방식: 무거운 SVD 방식을 사용하면, 분류 과정에 약 4,348시간(거의 반년 동안 쉬지 않고 계산해야 함)이 소요됩니다.
• 새로운 방식: 그들의 ASV 방식을 사용하면, 동일한 작업이 단 211.9초(약 3.5분) 만에 끝납니다.

이는 약 212배의 속도 향상입니다. 모델의 첫 번째 레이어를 추출하는 실제 실험에서, 기존 방식은 5.03시간이 걸렸지만, 그들의 방식은 단 0.04시간(약 2.4분) 만에 완료되었습니다. 두 번째 레이어의 경우, 기존 방식은 일주일 동안 끝나지 않았지만, 새로운 방식은 0.74시간 만에 끝났습니다.

CNN 코드 해독하기

이 논문은 단순히 기존의 기술을 빠르게 만든 것이 아닙니다. 또한 새로운 문제를 해결했습니다. 연구진은 "맥스 풀링(max pooling)"을 사용하는 **합성곱 신경망(CNN)**에 그들의 방법을 적용했습니다. 맥스 풀링은 AI가 작은 숫자 그룹을 보고 가장 큰 숫자 하나만 남기고 나머지는 버리는 기술입니다. 이는 많은 서로 다른 뉴로들이 네트워크 내에서 동일한 "커널"(동일한 가중치 세트)을 공유하기 때문에 독특한 도전을 만들어냅니다.

이전의 공격 시도들은 "뉴런 중심(neuron-centric)"이었습니다. 즉, 특정 뉴런에 속하는 지점을 기준으로 포인트를 분류하려고 했습니다. 하지만 맥스 풀링의 작동 방식 때문에, 우연히 정확히 같은 뉴런을 타격하는 두 지점을 찾아내야만 진전을 이룰 수 있는데, 이는 매우 어려운 일이었습니다.

저자들은 **"커널 중심(kernel-centric)"**인 "고급 ASV" 방법을 도입했습니다. 그들은 "이 두 지점이 동일한 뉴런에 속하는가?"라고 묻는 대신, "이 두 지점이 동일한 커널에 속하는가?"라고 물었습니다. 특정 레이어의 모든 뉴런은 동일한 커널을 공유하므로, 그들은 동일한 근본 패턴을 다루고 있는 한 서로 다른 뉴런에서 온 지점들을 혼합하여 사용할 수 있습니다. 이를 통해 그들은 지금까지 "미해결 문제"였던 하드 레이블 입력만을 사용하여 LeNet-5 모델(고전적인 이미지 인식 AI)의 가중치를 성공적으로 추출할 수 있었습니다.

이것이 의미하는 바

이 논문은 우리가 이러한 공격을 바라보는 수학적 렌즈를 바꿈으로써, 실질적으로 불가능했던 작업을 일상적인 계산으로 바꿀 수 있음을 입증합니다. 저자들은 주요 병목 구간이었던 "클러스터링(군집화)" 단계가 정확도를 희생하지 않고도 효율적으로 해결될 수 있음을 보여줍니다. 그들은 시뮬레이션과 표준 모델에 대한 실험을 통해 자신들의 결과가 실제 가중치의 신뢰할 수 있는 대리물임을 검증했습니다.

이 논문이 모든 AI 보안을 뚫었다고 주장하는 것은 아니지만, 적절한 대수적 도구가 있다면 "하드 레이블" 설정이 이전에 생각했던 것보다 훨씬 더 취약하다는 것을 증м합니다. 저자들은 자신들의 방법이 제3자가 이러한 공격을 최적화하는 데 사용될 수 있으며, 결과적으로 이론적 가능성과 실제 현실 사이의 간극을 좁힐 수 있다고 제안합니다. AI 보안의 세계에서, "예/아니오" 인터페이스가 몇 주가 아닌 몇 분 만에 역설계될 수 있다는 사실을 아는 것은 블랙박스 모델의 방어 체계가 훨씬 더 강력해져야 한다는 중요한 경고입니다.