기술 요약: 토큰 순위의 위조 불가능성

문제 정의

언어 모델(LM) 보안 분야의 최근 발전은 텍ml 생성물을 식별하기 위해 모델 출력을 "서명(signature)"으로 사용하는 방안을 탐구해 왔습니다. 기존의 기하학적 서명은 토큰 확률(logits)에 대한 접근을 전제로 했습니다. 그러나 이러한 의존성은 심각한 보안 취약점을 야기합니다. 로짓에 접근할 수 있으면 공격자가 모델의 최종 레이어 파라미터(unembedding matrix)를 탈취할 수 있기 때문입니다. 일단 이 파라미터가 탈취되면, 공격자는 원래 모델의 기하학적 제약을 복제하는 새로운 모델을 구축함으로써 서명을 위조할 수 있습니다.

API 제공업체들이 파라미터 탈취 및 프롬프트 역전(prompt inversion)을 방지하기 위해 토큰 확률에 대한 접근을 점점 더 제한함에 따라, 다음과 같은 조건을 충족하는 서명 메커니즘이 필요합니다:

1. 토큰 확률에 대한 접근을 요구하지 않을 것.
2. 계산적으로 위조가 불가능할 것 (즉, 동일한 서명을 가진 다른 모델을 구축하는 것이 불가능할 것).
3. 서명이 노출되더라도 모델 파라미터를 유출하지 않을 것.

방법론

순위 서명 (The Ranking Signature)

저자들은 확률 대신 **토큰 순위(token rankings)**에 기반한 새로운 서명을 제안합니다. 토큰 순위란 확률에 따른 토큰의 정렬 순서(예: $r = \text{arg sort}(\ell)$)를 의미하며, 확률값 자체는 드러내지 않습니다.

• 실행 가능한 순위 (Feasible Rankings): "소프트맥스 병목 현상(softmax bottleneck)"(임베딩 차원 $d$가 어휘 사전 크기 $v$보다 훨씬 작은 언임베딩 레이어의 저차원 특성)으로 인해, 모델은 $v!$개의 가능한 토큰 순위 중 극히 일부만을 생성할 수 있습니다.
• 고유성 (Uniqueness): 특정 언임베딩 행렬 $W$에 대해 실행 가능한 순위의 집합은 해당 모델에 고유합니다. 저자들은 이 희소성을 이론적으로 규명하였으며, $v$가 증가함에 따라 실행 가능한 순위의 비율이 초지수적으로(super-exponentially) 감소함을 보여주었습니다.
• Top-$k$ 서명: 저자들은 절단된 순위(top-$k$ 토큰)가 이러한 고유성을 유지하는지 조사합니다. 그들은 모델 간 차별화를 위해 필요한 최소한의 $k$를 경험적으로 결정하였으며, top-$k$ 순위가 특정 모델에 고유해지는 급격한 전이 지점이 존재함을 발견했습니다.

위조 불가능성 증명

본 논문은 서명 위조의 계산적 난이도를 다룹니다. 위조는 대상 모델과 동일한 실행 가능한 순위 집합을 생성하는 새로운 언임베딩 행렬 $W'$를 찾는 것으로 정의됩니다.

• 복잡도 클래스: 저자들은 주어진 순위 집합에 부합하는 rank-$d$ 행렬을 찾는 문제가 $\exists\mathbb{R}$-hard ($\exists\mathbb{R}$ 이론, 실수의 존재 이론)임을 증명합니다.
• 환원 (Reduction): 그들은 "단순 허용 시퀀스(simple allowable sequences)"의 실현 가능성을 결정하는 문제(알려진 $\exists\mathbb{R}$-완전 문제)를 서명 위조 문제로 환원합니다.
• 시사점: $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$이므로, 모든 실행 가능한 순위에 접근할 수 있더라도 서명을 위조하는 것은 계산적으로 불가능합니다. 이는 기존의 기하학적 서명(예: 타원 기반 서명)이 다항 시간 내에 위조 가능했던 것과 대조적입니다.

순위를 통한 파라미터 탈취

저자들은 토큰 순위를 노출하는 것이 모델 파라미터를 유출하는지 또한 조사합니다.

• 공격 메커니즘: 그들은 전체 토큰 순위가 언임베딩 행렬 $W$의 열 공간(column space)을 점근적으로 복구할 수 있음을 입증합니다. 이는 은닉 상태가 가우시안 분포를 따르고 토큰 로짓의 주변 분산이 동일하다는 가정에 기초합니다.
• 방법: 순위의 스피어만 상관계수(Spearman correlations)를 계산하고 SVD(특이값 분해)를 적용함으로써, 공격자는 $W$의 열 공간을 근사할 수 있습니다.
• 한계: 이 공격은 근사적인 $W$를 복구할 수는 있지만, 그 근사치는 너무 거칠어서 서명을 위조하기에는 부족합니다. 복구된 행렬의 실행 가능한 순위는 실제 모델의 순위와 거의 완전히 서로소(disjoint)입니다.

주요 결과

1. 순위의 고유성: Pythia 및 OLMo 모델에 대한 실험적 테스트 결과, 전체 순위는 특정 모델에 고 고유함을 보여주었습니다. 단 한 번의 학습 단계나 미세한 가중치 섭동만으로도 이전의 실행 가능한 순위는 더 이상 실행 불가능해집니다.
2. 위조 불가능성: 이론적 증명을 통해 순위 서명을 위조하는 것이 $\exists\mathbb{R}$-hard임을 확립했습니다. 실험적으로 경사 하강법(gradient descent)을 통해 주어진 순위 집합에 부합하는 새로운 행렬을 맞추려는 시도는 48~50개의 순위가 주어졌음에도 불구하고 실패했습니다.
3. 파라미터 유출 vs. 서명 보안:
   • 전체 순위는 언임베딩 행렬의 열 공간을 근사적으로 복구할 수 있게 합니다.
   • 그러나 이 근사는 서명을 위조하기에는 불충분합니다.
   • "스윗 스팟 (Sweet Spot)": 저자들은 $k$의 범위(예: Pythia 70M의 경우 $k \approx 370$)를 식별하였습니다. 이 범위에서:
     • top-$k$ 순위는 모델에 고유하여 서명을 보존합니다.
     • 동시에 정보는 너무 거칠어서 언임베딩 행렬을 재구성하기에는 부족하여 파라미터 탈취를 방지합니다.
   • 구체적으로, $k = d$(은닉 차원)로 설정하는 것이 모델을 차별화하면서도 복구된 파라미터가 다른 데이터로 학습된 베이스라인 모델보다 대상 모델과 덜 유사하게 유지하는 데 충분한 경우가 많습니다.

의의 및 주장

본 논문은 토큰 확률에 대한 접근을 요구하지 않으면서도 다항 시간 내에 위조가 불가능한(polynomially unforgeable) 최초의 언어 모델 서명을 도입했다고 주장합니다.

• 보안 개선: 로짓에 의존하여 파라미터를 유출하고 다항 시간 내에 위조 가능했던 기존의 기하학적 서명과 달리, 순위 서명은 순위만을 요구하며, 계산적으로 위조하기 어렵고, 제공업체가 모델 가중치를 유출하지 않고도 서명을 제시할 수 있게 합니다.
• 포렌식 응용: 이 서명은 모델 포렌식을 가능하게 합니다. 만약 어떤 저장소가 유출된 가중치를 포함하고 있다고 주장한다면, 해당 모델의 API로부터 얻은 토큰 순위가 유출된 가중치에 대해 실행 가능한지 확인함으로써 검증할 수 있습니다. 만약 순위가 실행 불가능하다면 가중치는 가짜이며, 실행 가능하다면 유출자는 (서명의 고유성과 위조 불가능성 때문에) 실제 가중치를 보유하고 있을 가능성이 높습니다.
• 실무적 트레이드오프: 결론적으로, API 제공업체는 $k$를 적절한 "안전한" 범위 내에서 선택한다면(고유성을 확보할 만큼 충분히 크고, 재구성을 방지할 만큼 충분히 작은 $k$), 검증 가능한 서명을 제공하면서 파라미터 탈취 위험을 완화하며 안전하게 top-$k$ 순위를 노출할 수 있습니다.

저자들은 $\exists\mathbb{R}$-hardness가 강력한 이론적 장벽이기는 하지만, 이러한 문제들의 평균 사례 난이도(average-case hardness)는 아직 완전히 이해되지 않았으며, 본 서명이 전통적인 의미의 암호학적 보안성을 갖추었다고 증명된 것은 아니라는 점을 언급하며 신중한 태도를 유지하고 있습니다.