Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

기술 요약: 은닉 상태(Hidden States)로부터 입력 텍스트 복구

문제 정의
본 연구는 디코더 전용 언어 모델(특히 GPT-2 small)에 대한 "은닉 상태 역전(hidden-state inversion)" 문제를 조사한다. 핵심 과제는 순방향 패스(forward pass)를 통해 생성된 마지막 레이어의 은닉 상태 행렬 $H(x)$만을 사용하여 원래의 입력 토큰 시퀀스 $x$를 복구하는 것이다. 최근의 이론적 연구(SIPIT [1])는 토큰에서 은닉 상태로의 매핑이 단사 함수(injective)임을 입증했다. 즉, 은닉 상태는 이론적으로 입력을 재구성하는 데 필요한 모든 정보를 포함하고 있다는 것이다. 본 논문은 이 은닉 상태로부터의 역전이 얼마나 효율적으로 수행될 수 있는지, 그리고 어떤 조건에서 성공하는지에 대한 실질적인 질문을 다룬다. 본 연구는 공격자가 모델 가중치, 토크나이저, 임베딩 행렬에는 접근할 수 있지만, 은닉 상태 텐서의 형태 외에는 원래의 텍스트에 대한 지식이 없는 화이트박스 위협 모델(white-box threat model) 하에서 수행된다.

방법론
저자들은 이 문제를 이산적인(discrete) 일회성 재구성이 아닌 연속적인 임베딩 공간 최적화 문제로 취급하는 경사 기반 역전 알고리즘을 제안한다. 이 방법은 세 가지 뚜렷한 레이어를 통해 위치별로 작동한다:

1. 외부 루프 (토큰 위치): 시퀀스의 각 위치 $t$를 반복한다.
2. 내부 루프 (연속 최적화): 현재 위치에 대해, 연속적인 프록시 벡터 $e_t$(초기값은 무작위 토큰 임베딩)를 Adam 옵티마이저를 사용하여 최적화한다. 목적 함수는 모델이 예측한 은닉 상태(이전까지 확정된 토큰들에 의해 조건화된 상태)와 유출된 타겟 은닉 상태 사이의 평균 제곱 오차(MSE)를 최소화하는 것이다. 결정적으로, 이 루프 동안 프록시는 연속 공간 내에 머물러 있으며, 최적화 과정 중에 하드한 토큰 투영(hard token projection)이 발생하지 않는다.
3. 이산 검증 및 확정(Commit): 내부 루프가 수렴하거나 단계 예산(step budget)에 도달하면, 최적화된 프록시에 가장 가까운 상위-$C$개의 이산 토큰 임베딩을 추출한다. 이 후보군들은 단일 순방향 패스를 통해 검증된다. 타겟 은닉 상태를 허용 오차 범위 내에서 재현하는 첫 번째 후보가 "확정(committed)"된다. 만약 어떤 후보도 통과하지 못하면, 가장 가까운 이웃(nearest neighbor)이 폴백(fallback)으로 확정된다.

핵심 설계 원칙은 연속적인 탐색과 이산적인 결정 사이의 엄격한 분리이다. 최적화가 끝난 후 한 번만 토큰을 확정함으로써, 이 방법은 "이산 손실(discrete loss, $L^{disc}_t$)"을 생성한다. 이는 확정된 토큰을 피드 포워드했을 때의 MSE로 정의된다. 이 지표는 재구성 충실도(fidelity)에 대한 직접적인 척도로 기능한다.

주요 기여 및 결과

• 연속적 vs 이산적 정식화: 본 논문은 최적화를 연속 공간에서 유지하는 것이 실제 토큰의 랭크 궤적(rank trajectories)과 위치별 손실 곡선을 포함한 풍부한 내부 신호를 노출한다는 점을 보여준다. 이는 더 빠르지만 연속적 뷰와 이산적 뷰를 붕괴시켜 최적화 과정을 불투명하게 만드는 "단계별 하드 투영(per-step hard projection)" 방식(SIPIT 참조)과 대조된다.
• 자기 진단적 실패 탐지: 저자들은 누적 이산 손실이 강력한, 정답 없이도 작동하는 실패 신호임을 확인했다. 정확한 재구성은 기계 정밀도 수준($\sim 10^{-11}$)의 누적 손실을 생성하는 반면, 재구성 오류가 발생하면 누적 손실에서 약 10자릿수 차이로 급격하고 이진적인 스파이크가 발생한다. 이를 통해 공격자나 감사자는 원래 텍스트에 대한 접근 없이도 온라인상에서 실패를 감지할 수 있다.
• 정확도 및 효율성:
  • C4 데이터셋의 10개 토큰 프롬프트에 대해, 정확 일치율(EM)은 베이스라인 설정($K=1000$ 단계, $C=2000$ 후보)의 66.9%에서 고정밀 설정($K=2000$, $C=10,000$)의 97.5%로 증가하며, 평균 유사도는 0.994를 기록했다.
  • 결과는 대부분의 오류가 실제 모호함이 아니라 "근접 실패(near-misses, 정답 토큰이 높은 순위에 있으나 선택되지 않은 경우)"임을 나타내며, 후보 윈도우 $C$를 넓힘으로써 이러한 실패의 대부분을 복구할 수 있었다.
  • 런타임 분석 결과 트레이드오프가 나타났다: 제안된 연속 방식은 공격적인 조기 종료와 단계별 투영을 사용하는 SIPIT 참조 모델(토큰당 0.65초)에 비해 느리다(베이스라인 기준 토큰당 17.8초).
• 실패 분석 및 비대칭성: 본 연구는 실패 모드에서의 뚜렷한 범주적 비대칭성을 밝혀냈다. 재구성 실패의 대다수는 공백이 접두사로 붙은 고빈도 기능어(예: " the", " ,", " and")에서 발생했다. 이 토큰들은 임베딩 행렬 내에서 밀집되고 거의 공선성(collinear)을 띠는 영역에 위치하여 $\ell_1$ 거리를 통해 구별하기 어렵다. 반대로, 내용 정보를 담고 있는 토큰(고유 명사, 기술 용어 등)은 거의 완벽하게 복구되었다. 이는 민감하고 저빈도인 콘텐츠가 일반적인 자연어보다 더 쉽게 유출될 수 있음을 시사한다.

의의 및 주장
본 논문은 디코더 전용 모델의 마지막 레이어 은닉 상태가 원래의 텍스트만큼이나 민감하다고 주장한다. 이 연구 결과는 분산 아키텍처(예: 분할 추론, 연합 학습 또는 임베딩 API)에서 은닉 상태 벡터가 불투명한 프라이버시 경계라는 가설에 도전한다.

저자들은 자신들의 연속적 정식화가 가장 빠른 방법이기 때문이 아니라, 역전 과정을 "관측 가능하게(observable)" 만들기 때문에 중요하다고 주장한다. 연속적 탐색과 이산적 결정을 분리함으로써, 이 방법은 재구성 오류를 감지하고 임베딩 공간의 기하학적 구조를 더 깊이 이해할 수 있게 하는 진단 도구(랭크 궤적, 이산 손실)를 제공한다. 본 연구는 마지막 레이어 활성화 값이 전송되거나 저장되는 시스템에서 프라이버시 논리가 무너진다고 결론짓는다. 충분히 강력한 알고리즘이 높은 확률로 입력을 복구할 수 있기 때문이다. 저자들은 이러한 은딩 상태를 원문 텍스트와 동일한 민감도로 취급할 것을 권고하며, 향후 방어 기제(예: 차분 프라이버시)를 평가할 때 복구 가능성의 저하를 정량화하기 위해 이산 손실 진단 도구를 사용할 것을 제안한다.