기술 요약: 토크나이저 이식에서의 비대칭 실현 가능성

문제 정의

본 논문은 오픈 가중치 대규모 언어 모델 (LLM) 공급망의 구조적 취약점, 특히 학습 없는 토크나이저 이식 (training-free tokenizer transplant) 파이프라인 내의 취약점을 다룹니다. 개발자들이 mergekit 등을 통해 기존 체크포인트를 병합하여 새로운 모델을 구성함에 따라, 새로운 토큰의 출처인 "공여 (donor)" 모델과 이를 수신하는 "베이스 (base)" 모델 간의 어휘 격차를 해소해야 합니다.

현재 최첨단 이식 연산자 (OMP, CLP, WECHSEL, FOCUS 등) 는 공유 기저 재구성 (shared-basis reconstruction) 에 의존합니다. 이러한 방법들은 공여 모델의 고유 토큰의 임베딩을 베이스 모델의 공간에서 재구성하기 위해 다음 두 단계를 수행합니다:

1. 공여 모델의 임베딩 공간에서 공유되는 "앵커 (anchor)" 토큰들의 가중 합으로 공여 토큰을 표현하는 희소 계수 집합 ($\beta$) 을 적합시킵니다.
2. 정확히 동일한 계수를 재사용하여 베이스 모델의 공간에서 새로운 임베딩을 합성합니다 ($\hat{x}_b = \Phi_b^\top \beta$).

저자들은 비대칭 실현 가능성 (Asymmetric Realizability) 이라는 치명적인 기하학적 결함을 식별했습니다. 동일한 계수 벡터 $\beta$는 공여 모델의 앵커 범위 내에서는 저에너지 (low-energy) 이며 통계적으로 무감각한 영역으로 매핑되는 반면, 동시에 베이스 모델의 앵커 범위 내에서는 고-중요도 (high-salience) 이며 고확률 영역으로 매핑될 수 있습니다. 이 격차를 통해 공격자는 공여 모델의 내부 가중치나 이식 코드를 변경하지 않고도 공여 모델의 어휘 아티팩트를 조작하여 베이스 모델에서 특정 고빈도 행동을 유도할 수 있습니다.

방법론

저자들은 이 기하학적 비대칭성을 악용하는 학습 없는 "브레이커 토큰 (breaker token)" 공격을 제안합니다. 이 공격은 베이스 모델에 대한 기울기 접근이 필요 없으며, 공여 모델의 트랜스포머 가중치를 수정할 필요도 없습니다.

1. 공격 구성

공격자는 공여 토크나이저에 단일 새 토큰 $\tau^*$를 추가하고, 두 가지 상충되는 목표를 만족하도록 해당 토큰의 임베딩 벡터 $x_d(\tau^*)$를 제작합니다:

• 공여 무감각성 (Donor Inertness): 토큰은 공여 모델에서 통계적으로 보이지 않아야 합니다 (낮은 방출 확률). 이는 토큰의 임베딩을 공여 모델의 은닉 상태 분포의 "저에너지" 방향 (특히 공여 모델 변이의 주성분에 직교하는 방향, 부분공간 $U$로 표기) 에 제한함으로써 달성됩니다.
• 베이스 중요도 (Base Salience): 이식 후, 토큰은 베이스 모델에서 고-중요도 방향으로 재구성되어야 합니다. 공격자는 공개 텍스트에서 유도된 베이스 모델의 마지막 은닉층 평균 ($\mu_{base}$) 을 목표로 합니다.

2. 최적화 프레임워크

공격자는 최적의 계수 $\alpha$ (또는 직접 임베딩 $x_d$) 를 찾기 위해 이중 목적 최적화 문제를 풉니다:
$$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{베이스 중요도}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{공여 무감각성}} + \rho R(\theta)$$

• OMP (직교 매칭 추적) 의 경우: 공격자는 공유 앵커의 부분집합 $S$를 선택하기 위해 탐욕적 지지 선택 전략을 사용하며, 공여 모델의 $U$에 대한 투영을 최소화하면서 $\mu_{base}$와의 정렬을 최대화하는 계수 $\alpha$를 풉니다.
• 미분 가능 연산자 (CLP, WECHSEL, FOCUS) 의 경우: 공격자는 최적화 중 해당 연산자의 순방향 맵을 시뮬레이션하여 경사 하강법을 사용하여 공여 임베딩을 직접 최적화합니다.

3. 실현 모드

본 논문은 브레이커 토큰의 표면 형태가 공격자에 의해 제어될 수 있음을 보여줍니다. 선택된 문자열에 따라 공격은 다음과 같이 나타날 수 있습니다:

• 서비스 저하: 토큰이 생성을 지배하여 모델이 반복적이고 nonsensical 한 텍스트를 출력하게 합니다.
• 평판 오염: 토큰 (예: 모욕적 단어) 이 일관된 추론 체인에 희소하게 삽입됩니다.
• 적대적 워터마킹: 은밀한 태그가 출력에 추가되어 공격자가 침해된 어휘의 무단 사용을 추적할 수 있게 합니다.

주요 기여

1. 비대칭 실현 가능성의 식별: 본 논문은 공유 기저 재구성이 단일 계수 벡터를 공여 공간에서는 "침묵"하게 하지만 베이스 공간에서는 "거창하게" 만들 수 있는 기하학적 속성을 공식적으로 특징화합니다. 이는 짝지어진 앵커 사전에 대한 일반화된 특이값 분해 (GSVD) 분석을 통해 증명됩니다.
2. 브레이커 토큰 구성: 저자들은 이러한 토큰을 구성하는 구체적인 학습 없는 방법을 제공합니다. 그들은 단일 공여 체크포인트 (예: Gemma-2-2B) 만으로도 각 목표에 대해 서로 다른 브레이커 행을 추가함으로써 5 개 모델 계열 (Llama, Mistral, Qwen, Gemma, SmolLM2) 에 걸쳐 13 개의 서로 다른 다운스트림 베이스를 공격할 수 있음을 시연합니다.
3. 방어 평가:
   • 스펙트럼 필터: 노름 붕괴나 쓰레기 정렬을 확인하는 표준 휴리스틱 감지기 (예: Magikarp) 는 브레이커 토큰이 자연스러운 공여 토큰의 통계적 분포를 모방하도록 설계되었기 때문에 (스펙트럼 모방) 이를 탐지하지 못합니다.
   • LoRA 미세 조정: 이식 후 LoRA 미세 조정은 미세 조정 코퍼스와 일치하는 프롬프트에서만 공격을 억제합니다. 분포 외 (OOD) 프롬프트에서는 공격이 높은 시퀀스 방출률 (SER) 로 지속됩니다.
   • 가중치 병합: 공격받은 베이스를 깨끗한 참조 모델과 병합해도 심어진 방향을 제거하지 못합니다. 병합된 모델은 침해된 임베딩 행을 계승합니다.

실험 결과

저자들은 OMP 를 사용하여 65 개의 공여 - 베이스 쌍 (20 쌍 "경량 클리크"와 65 쌍 "표준 규모" 풀 포함) 에서 방법을 평가했으며, CLP, WECHSEL, FOCUS 에 대한 교차 연산자 검증을 수행했습니다.

• 비대칭성: 경량 클리크에서 20 쌍 중 13 쌍이 공격받은 베이스에서 최대 시퀀스 방출률 (SER) 이 $\ge 0.2$를 달성한 반면, 공여 모델의 SER 는 $\le 0.05$를 유지했습니다. 몇몇 쌍은 베이스에서 완벽한 방출 (SER = 1.0) 을 달성하면서 공여 모델에서는 완전히 침묵 (SER = 0.0) 을 유지했습니다.
• 유용성 보존: 패치된 공여 모델은 표준 벤치마크에서 원래 유용성 점수 (예: MMLU, Wikitext perplexity) 를 유지하여 공격의 은밀성을 확인했습니다.
• 교차 모델 도달: 단일 Gemma-2-2B 공여 체크포인트가 13 개의 서로 다른 베이스를 성공적으로 공격했습니다. 이 중 8 개 베이스에서 평균 베이스 SER 는 0.99 를 초과했으며, 공여 SER 는 0.014 미만으로 유지되었습니다.
• 방어 실패: 표준 LoRA 미세 조정은 홀드아웃 OOD 분포 (예: WikiText 연속) 에 대한 공격을 완화하지 못했으며, 미세 조정 후에도 SER 는 0.87 이상으로 유지되었습니다.

중요성과 주장

본 논문은 계수 재사용 기하학이 간과되어 온 토크나이저 이식 연산자의 근본적인 설계 기준이라고 주장합니다. 저자들은 다음과 같이 논합니다:

• 공급망 위험: 오픈 가중치 구성 공급망은 단일 악성 공여 모델이 피해자별 적응 없이 광범위한 다운스트림 모델을 침해할 수 있는 "일대다 (one-to-many)" 공격에 취약합니다.
• 현재 방어의 한계: 현재 감사 휴리스틱 (스펙트럼 필터) 및 사후 완화 전략 (LoRA, 가중치 병합) 은 이러한 특정 기하학적 공격 클래스에 대해 불충분합니다.
• 행동 촉구: 저자들은 미래의 이식 연산자가 계수 재사용이 무해하다는 가정에만 의존하는 대신, 합성된 행의 수신자 측 검증 (예: 비대칭 실현 가능성 확인 또는 행동 감사 사용) 을 포함해야 한다고 제안합니다. 그들은 새로운 연산자의 견고성을 평가하기 위한 구체적인 진단 도구 (GSVD 비대칭 에너지) 를 제공합니다.

본 연구는 모델의 핵심 추론 능력을 일반적으로 파괴한다고 주장하지는 않지만, LLM 생태계의 상호 운용성 계층에서 표적화되고 지속적이며 은밀한 모델 출력 조작을 가능하게 하는 특정 구조적 고장 모드를 강조합니다.