기술 요약: TIGER – 임베딩 부분 공간 거리 최적화를 통한 트랜스포머 그래디언트 역전

문제 정의

연합 학습(Federated Learning, FL)은 로컬 클라이언트의 원본 데이터를 유지하면서 공유 모델을 협력적으로 학습할 수 있게 해준다. 그러나 그래디언트 역전 공격(Gradient Inversion Attacks)은 모델 업데이트(그래디언트)가 개인 클라이언트의 입력을 재구성할 수 있는 충분한 정보를 유출할 수 있음을 입증했다. 이러한 공격은 이미지 데이터에서는 성공적이었으나, 트랜스포머 기반 대규모 언어 모델(LLM)로부터 텍스트를 재구성하는 것은 여전히 도전적인 과제로 남아 있다.

기존의 텍스트 역전 방식은 현실적인 FL 환경에서 다음과 같은 중대한 한계에 직면해 있다:

1. 최적화 기반 접근 방식: 더미 입력을 최적화하여 전체 그래디엔트와 일치시키려는 방식은 현대적인 모델, 특히 배치 크기가 큰 경우 계산 비용이 많이 들고 불안정하다.
2. 부분 공간 기반 접근 방식: 이전 연구(예: DAGER)는 트랜스포머 선형 레이어 그래디언트의 저계수(low-rank) 구조를 활용하여 실제 레이어 임베딩을 포함하는 부분 공간을 식별한다. 그러나 이러한 방식은 후보 토큰이 부분 공간 내에 존재하는지 확인하는 이산적 멤버십 테스트(discrete membership tests)에 의존한다. 이 접근 방식은 수치적 노이즈(예: 양자화 또는 차분 프라이버시로 인한 노이즈) 하에서 취약하며, 순차적인 토큰 복구가 불가능한 인코더 모델(비인과적 어텐션 적용)에서는 확장성이 떨어진다.

결과적으로, 기존의 공격들은 큰 배치 크기, 양자화된 그래디언트, 또는 노이즈가 포함된 방어된 FL 환경에서 프라이버시 위험을 과소평가하거나 실패하는 경우가 많다.

방법론: TIGER

저자들은 TIGER(Transformer Data Inversion from Gradients via Embedding-subspace Reconstruction)를 소개한다. 이는 연속적인 그래디언트 역전 공격으로, 부분 공간 신호를 미분 가능한 목적 함수로 변환한다. TIGER는 이산적인 토큰을 탐색하거나 전체 그래디언트를 일치시키는 대신, 관찰된 부분 공간과의 거리를 최소화하도록 연속적인 토큰 임베딩을 직접 최적화한다.

핵심 메커니즘

TIGER는 트랜스포머의 선형 레이어에 대해, 레이어 입력의 행 스팬(row span)이 해당 가중치 그래디언트의 열 공간(column space)과 일치한다는 관찰 결과(완만한 계수 조건 하에)를 활용한다.

• 부분 공간 신호(Subspace Signal): 관찰된 그래디언트 $\frac{\partial \mathcal{L}}{\partial W^l_Q}$가 주어지면, 공격자는 열 스팬 $S_l$을 계산한다.
• 연속적 목적 함수(Continuous Objective): 이산적인 후보를 테스트하는 대신, TIGER는 연속적인 원시 입력 임베딩 행렬 $\bar{Z}_0$를 최적화한다. 목표는 포워드 패스(forward pass)에 의해 유도된 은닉 상태 $\bar{Z}_l$이 관찰된 부분 공간 $S_l$과 정렬되도록 하는 것이다.
• 손실 함수(Loss Function): 주요 목적 함수는 포워드 스팬 거리 손실($\ell_{forw}$)로, 정규화된 복구 은닉 상태와 그래디언트 유도 부분 공간으로의 투영 사이의 제곱 거리를 최소화한다.

아키텍처별 적응

TIGER는 디코더 전용(decoder-only) 모델과 인코더 전용(encoder-only) 모델에 대해 서로 다른 전략을 사용한다.

1. 디코더 전용 모델 (Causal):

   • 인과적 어텐션 마스크를 활용하여 토큰을 순차적으로(토큰 단위로) 복구한다.
   • 위치 $i$에서의 표현은 이전 토큰들에만 의epend하므로, 공격은 임베딩을 하나씩 최적화한다.
   • 중복 제거(Deduplication): 배치 내의 여러 시퀀스가 동일한 첫 번째 토큰으로 붕괴되는 것을 방-지하기 위해 중복 제거 손실($\ell_{dedup}$)을 추가한다. 이는 현재의 첫 번째 토큰 임베딩이 배치 내에서 이미 복구된 이전 첫 번째 토큰들이 점유하고 있는 부분 공간과 일치할 경우 페널티를 부여한다.

2. 인코더 전용 모델 (Non-Causal):

   • 모든 토큰이 상호 의존적이기 때문에 인과적 순차 복구가 불가능하다.
   • TIGER는 전체 배치의 원시 임베딩에 대해 **결합 최적화(joint optimization)**를 수행한다.
   • 양방향 정렬(Bidirectional Alignment): 퇴보적인 해(예: 모든 복구된 토큰이 단일 방향으로 붕괴되는 현상)를 방지하기 위해, TIGER는 백워드 스팬 거리 손실($\ell_{back}$)을 도입한다. 이 손실은 그래디언트 유도 기저 방향이 복구된 은한 상태의 스팬 내에도 반드시 존재해야 함을 강제한다. 이를 통해 복구된 배치가 전체 관찰된 부분 공간을 커버하도록 보장하며, 반복되는 토큰이나 중복되는 시퀀스 해를 억제한다.

초기화 및 최적화

• 초기화: TIGER는 대규모 코퍼스(예: WikiText)에 맞춰진 위치 의존적 가우시안 사전 확률(position-dependent Gaussian prior)을 사용하여 임베딩을 초기화함으로써, 비볼록(non-convex) 최적화를 위한 강력한 시작점을 제공한다.
• 최적화: 공격은 서로 다른 초기화를 가진 $N_{init}$개의 독립적인 최적화를 실행하며, 스팬 거리 손실을 최소화하기 위해 Adam 최적화 알고리즘을 사용한다.
• 이산화(Discretization): 연속적 최적화가 수렴한 후, 복구된 임베딩은 코사인 유사도를 통해 가장 가까운 어휘 토큰으로 투영된다.

주요 기여

1. TIGER 공격: 도전적인 설정(큰 배치, 양자화된 그래디언트, DP 노이즈)에서도 텍-스트를 복구할 수 있는 견고하고 확장 가능한 트랜스포머 LLM용 연속 그래디언트 역전 공격이다.
2. 미분 가능한 부분 공간 목적 함수: 저계수 그래디언트 구조를 미분 가능한 임베딩-부분 공간 목적 함수로 변환하는 새로운 정식화를 제시한다. 이는 취약한 이산 필터링을 피하고, 양방향 정렬 손실을 통해 인코더 전용 모델로 확장한다.
3. 포괄적인 평가: GEMMA-3-4B-IT 및 EMBEDDINGGEMMA-300M 모델에 대한 광범위한 실험을 통해, TIGER가 방어된 환경 및 인코더 환경에서 기존 공격을 실질적으로 능가하면서도 방어되지 않은 디코더 환경에서는 경쟁력을 유지함을 입증한다.
4. 오픈 소스: 프라이버시 위험 및 방어에 관한 향후 연구를 촉진하기 위해 오픈 소스 구현을 제공한다.

실험 결과

저자들은 다양한 배치 크기, 시퀀스 길이, 방어 수준(그래디언트 노이즈 및 양자화)을 가진 WikiText 배치를 대상으로 TIGER를 평가하였으며, 성능 측정 지표로 ROUGE-1 및 ROUGE-L을 사용하였다.

• 노이즈에 대한 강건성 (Decoder): 방어되지 않은 설정에서 TIGER는 DAGER와 대등하거나 약간 더 나은 성능을 보인다. 그러나 차분 프라이버시 스타일의 그래디언트 노이즈($\sigma = 10^{-3}$) 하에서 DAGER는 복구 품질이 거의 제로로 무너지지만, TIGER는 의미 있는 복구 성능(ROUGE-1 > 70%)을 유지한다.
• 인코더 성능: 인과적 복구가 불가능한 인코더 전용 모델에서, TIGER는 16개 시퀀스 배치에 대해 약 60%의 ROUGE-1을 달 기록하며, 기존의 최적화 기반 공격(예: LAMP)을 크게 능가한다.
• 양자화: DAGER가 신뢰할 수 없는 임계값 기반 이산 테스트로 인해 완전히 실패하는 것과 달리, TIGER는 BF16 정밀도 하에서도 효과적으로 작동한다.
• 확장성: TIGER는 특히 인코더 설정에서 기존 방식보다 더 긴 시퀀스와 더 큰 배치 크기로 효과적으로 확장된다.

의의 및 주장

본 논문은 T는 TIGER가 이전에 과소평가되었던 트랜스포머 LLM의 중대한 프라이버시 취약성을 드러낸다고 주장한다.

• 그래디언트의 회복력: 본 연구는 가산 노이즈(DP)나 낮은 수치 정밀도(양자화)와 같은 일반적인 섭동 후에도 트랜스포머 그래디언트가 상당한 텍스트 정보를 유지하고 있음을 보여준다.
• 현재 방어 기제의 한계: 결과는 적절한 그래디언트 노이즈나 낮은 정밀도의 연산이 재구성 위험을 제거할 것이라고 가정해서는 안 된다는 점을 시사한다.
• 광범위한 위협: 기존 공격이 실패하는 설정(큰 배치, 인코더, 방어된 설정)에서도 성공적인 재구성을 가능하게 함으로써, TIGER는 그래디언트 역전의 실질적인 위협 범위를 확장하며 연합 학습 배포 시 신중한 프라이버시 방어 평가의 필요성을 강조한다.

저자들은 한계점 또한 언급하였다. 구체적으로, 이 공격은 그래디언트의 저계수 구조에 의존하며, 이는 총 토큰 수가 은닉 차원을 초과할 때 감소한다는 점이다. 또한 T, TIGER가 상당한 내용을 복구하지만 항상 정확한 순서의 재구성을 생성하는 것은 아니라는 점을 인정하며, 이는 연속적 부분 공간 복구와 이산적 정교화(refinement)를 결합한 하이브리드 접근 방식의 가능성을 시사한다.