Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

기술 요약: 블랙박스 LLM 증류를 위한 유계된 행동적 구별 불가능성 (Bounded Behavioral Indistinguishability)

문제 정의

블랙박스 대규모 언어 모델(LLM) 증류는 전통적으로 교사 모델($T$)과 학생 모델($S$) 사이의 의미론적 유사성, 작업 일관성, 또는 어휘적 중첩을 성공의 기준으로 삼는 출력 매칭 문제로 평가되어 왔다. 그러나 저자들은 높은 의미론적 유사성이 **행동적 구별 불가능성(behavioral indistinguishability)**을 보장하지는 않는다고 주장한다. 학생 모델은 교사 모델의 핵심 답변은 복제할 수 있지만, 주의 문구, 거절 행동, 포맷 아티팩트(formatting artifacts), 또는 섭동(perturbation)에 대한 강건성(robustness)과 같은 결정적인 행동적 뉘앙스를 재현하는 데는 실패할 수 있다. 적대적 설정(예: 모델 추출)이나 온건한 배포 환경에서 운영상의 질문은 단순히 "출력이 얼마나 유사한가?"가 아니라, "공격자가 교사의 응답인지 증류된 학생의 응답인지 구별할 수 있는가?"이다.

현재의 지표들은 공격자가 응답의 출처를 식별함으로써 얻는 잔여 이득(residual advantage)을 측정하지 못하기 때문에 이러한 운영상의 간극을 해결하지 못한다.

방법론

본 논문은 구별 불가능성을 절대적인 속성이 아니라 특정 제약 조건에 따른 유계된 경험적 주장으로 취급하는 **유계된 행동적 구별 불가능성(Bounded Behavioral Indistinguishability)**이라는 공식 프레임워크를 도입한다.

1. 공식 정의:
학생 $S$는 명시적인 프롬프트 분포 $\mathcal{P}$에 대해, 쿼리 예산 $q$와 계산 예산 $t$를 가진 공격자 $\mathcal{A}$가 교사 $T$의 출력과 학생의 출력을 구분해낼 때 얻는 이득이 $\epsilon$보다 크지 않다면, $(\epsilon, q, t, \mathcal{A})$-행동적으로 구별 불가능하다고 정의된다.

• $\epsilon$: 구별 이득의 상한선.
• $q$: 오라클 쿼리 횟수의 제한.
• $t$: 공격자의 계산 자원 제한.
• $\mathcal{A}$: 공격자의 클래스 정의 (예: 학습된 판별기, 쌍체 판정 모델).

2. 실험 설정:

• 모델: 본 연구는 두 가지 오픈 모델 제품군을 평가한다:
  • Qwen: 교사 $T$ = Qwen2.5-3B-Instruct; 학생 $S$ = Qwen2.5-0.5B-Instruct.
  • Llama: 교사 $T$ = Llama-3.2-3B-Instruct; 학생 $S$ = Llama-3.2-1B-Instruct.
• 증류 프로토콜: 학생 모델은 교사가 생성한 블랙박스 응답에 대해 저차원 적응(LoRA)을 통해 학습된다. 기본 학생 가중치는 고정되며, 오직 어댑터 파라미터만이 교사 응답에 대한 음의 로그 가능도(negative log-likelihood)를 최소화하도록 업데이트된다.
• 프로브 스위트(Probe Suite): 5,000개의 프롬프트로 구성된 통제된 데이터셋을 사용하며, 이를 4,000개의 훈련 프롬프트와 1,000개의 홀드아웃 테스트 프롬프트로 분할하였다. 이 스위트는 10가지 행동 범주를 다룬다: 일반 QA, 추론, 코딩, 요약, 스타일/포맷, 모호성, 안전 경계, 지시 충돌, 도메인 기술, 및 강건성 섭동.

3. 평가 지표:
저자들은 경험적 구별 이득을 추정하기 위해 상호 보완적인 지표 세트를 사용한다:

• 의미론적 유사성: 문장 임베딩의 코사인 유사도.
• 학습된 판별기: 세 가지 입력 뷰(input view) 하에서 교사와 학생의 출력을 구분하도록 학습된 분류기(RoBERTa, DistilBERT):
  • 프롬프트 전용(Prompt-only): 정보 누출 제어.
  • 응답 전용(Response-only): 프롬프트와 독립적인 아티팩트(스타일, 길이) 탐지.
  • 프롬프트-응답(Prompt-Response): 맥락적 행동 모방 테스트.
• 쌍체 교사 식별(Pairwise Teacher-Identification): 판정 모델(Llama-3.2-3B-Instruct, 다른 계열)이 프롬프트와 두 개의 응답(하나는 $T$, 하나는 $S$, 무작위 순서)을 받아 교사를 식별한다. 위치 편향을 제어하기 위해 일관성 필터링(A/B-swap)이 적용된다.
• 정책 수준 평가: 안전 관련 행동(거절, 주의 문구, 전문적 조언)에 대한 합의도를 측정한다.

주요 결과

1. 의미론적 유사성 vs. 구별 불가능성:
LoRA 증류는 의미론적 유사성을 크게 향상시킨다. Qwen의 경우, 임베딩 유사도가 0.788(기본)에서 0.862(LoRA)로 상승했다. Llama의 경우, 0.814에서 0.874로 상승했다. 그러나 높은 유사성이 구별 불가능성을 의미하지는 않았다.

2. 구별 이득의 감소:

• 학습된 판별기: LoRA 증류는 프롬프트-응답 판별기의 경험적 이득을 감소시켰다. Qwen의 경우, DistilBERT의 이득이 0.278(기본)에서 0.098(LoRA)로 떨어졌다. Llama의 경우, RoBERTa 정확도가 0.657에서 거의 우연 수준인 0.499로 떨어졌다.
• 쌍체 식별: 일관성 필터링이 적용된 교차 계열 Llama 판정 모델을 사용했을 때, Qwen의 쌍체 구별 이득은 기본 학생의 0.158에서 LoRA 학생의 0.081로 감소하였으며, 이는 약 49%의 감소를 나타낸다. 이는 증류가 교사 식별을 어렵게 만들지만, 불가능하게 만드는 것은 아님을 확인시켜 준다.

3. 잔여 아티팩트의 이질성:
잔여 구별 가능성은 균일하지 않다. 범주별 분석 결과, 아티팩트는 특정 행동 영역에 집중되어 있음이 드러났다:

• 높은 잔여 구별 가능성: 스타일/포맷, 강건성 섭동, 도메인 기술, 그리고 코딩 프롬프트.
• 낮은 잔여 구별 가능성: 안전 경계, 모호성, 일반 QA, 그리고 요약 프롬프트 (우연 수준에 근접).

4. 쿼리 획득 전략:
계층적 무작위 샘플링과 불일치 유도 획득(disagreement-guided acquisition, 교사와 학생이 가장 많이 불일치하는 프롬프트를 선택)을 비교한 실험 결과, 불일치 유도 방식이 무작위 샘플링을 일관되게 능가하지는 못했다. 커버리지와 다양성이 행동 증류의 강력한 베이스라인으로 유지된다.

의의 및 주장

본 논문은 의미론적 충실도(semantic fidelity)는 블랙박스 LLM 증류를 평가하는 데 필요하지만 충분하지 않다고 주장한다. 주요 기여는 평가 패러다임을 "출력이 얼마나 유사한가?"에서 "명시적 제약 조건 하에서 공격자가 교사와 학생을 구분할 수 있는가?"로 전환하는 것이다.

• 유계된 주장 (Bounded Claims): 이 프레 framework은 보편적인 구별 불가능성을 주장하는 것이 아니라, 특정 공격자 클래스와 예산에 대한 잔여 구별 가능성을 측정하는 공식적이고 재현 가능한 방법을 제공한다.
• 운영적 관련성: "구별 이득"을 정량화함으로써, 본 연구는 증류된 모델이 단순히 의미론적 내용만을 상속받은 것인지, 아니면 진정으로 교사의 행동 프로필을 상속받았는지 평가하기 위한 보안 중심의 관점을 제공한다.
• 범주 인식 (Category Awareness): 결과는 행동 전이가 이질적임을 보여준다. 즉, 모델은 일반 QA에서는 구별 불가능할 수 있지만, 기술적이거나 스타일적인 맥락에서는 쉽게 구별될 수 있다.
• 정책 보존 (Policy Preservation): 이 프레임워크는 안전 관련 행동(거절, 경고)이 의미론적 유사성을 넘어 별도의 평가 레이어를 필요로 함을 강조한다. 학생 모델은 의미론적으로는 가까울 수 있지만, 중요한 정책 결정을 보존하는 데는 실패할 수 있기 때문이다.

저자들은 유계된 행동적 구별 불가능성이 블랙박스 증류에 대해 더 정보가 많고 엄격한 표준을 제공하며, LoRA가 모방을 개선하더라도 유계된 공격자에 의해 탐지 가능한 상당한 행동적 아티팩트가 남아 있음을 밝혀냈다고 결론짓는다.