기술 요약: 대규모 언어 모델의 추론 시스템 지문 분석

문제 정의

대규모 언어 모델 (LLM) 의 행동은 모델 가중치만으로 결정되지 않습니다. 추론 시스템 (추론 엔진, 어텐션 백엔드, 하드웨어 플랫폼으로 구성됨) 은 부동소수점 연산의 비결합성으로 인해 미묘한 수치적 편차를 유발합니다. 이러한 편차는 일반적으로 재현성을 방해하는 무해한 아티팩트로 간주되지만, 본 논문은 이러한 편차가 기반 인프라에 대한 중요한 정보를 유출한다고 주장합니다.

구체적으로, LLM 의 프롬프트 - 응답 행동을 관찰할 수 있는 공격자 (내부 상태나 로그-확률에 접근하지 않음) 는 추론 스택의 특정 구성 요소를 추론할 수 있습니다. 이러한 유출은 직접적인 보안 함의를 가집니다: 특정 엔진 (예: vLLM, SGLang) 을 알면 해당 구현체의 알려진 치명적 취약점을 공격할 수 있으며, 하드웨어 플랫폼 (예: A100 대 H100) 을 식별하면 서비스 주장의 검증이나 하드웨어 특화 공격을 수행할 수 있습니다.

방법론

저자들은 추론 시스템을 블랙박스로 간주하고 텍스트 입력과 출력만을 분석하는 지문 분석 방법을 제안합니다. 이 접근법은 두 가지 주요 단계로 구성됩니다:

1. 위협 모델

공격자는 다음을 가진 것으로 가정됩니다:

• 채팅 접근 권한: 임의의 프롬프트를 제출하고 텍스트 응답을 관찰할 수 있는 능력.
• 모델 지식: 특정 LLM 과 시스템 프롬프트가 알려져 있음 (기존 모델 지문 분석 또는 프롬프트 추출 공격을 통해 복구 가능).
• 오프라인 참조 접근 권한: 후보 구성 요소를 포괄하는 참조 시스템 세트를 인스턴스화하고 쿼리하여 훈련 데이터를 수집할 수 있는 능력.
• 로짓 접근 불가: 내부 확률 분포나 숨겨진 상태에는 접근할 수 없음.

2. 프롬프트 세트 구성

계산 단계별 수치적 편차를 분리하기 위해, 저자들은 네 가지 다른 프롬프트 세트 ($P_1$부터 $P_4$까지) 를 구성합니다:

• $P_1$ (희귀 토큰 프롬프트): 텍스트에 삽입된 희귀 토큰 (예: 비표준 유니코드) 을 포함합니다. 이는 자기회귀 디코딩을 테스트하며, 저확률 토큰 선택의 미세한 편차가 최종 예측을 변경할 수 있습니다.
• $P_2$ (이진 결정 프롬프트): 단일 "Yes"또는"No"토큰을 유도하도록 설계되었습니다. 이는 초기 처리 차이를 가리는 자기회귀 생성이 없으므로 프리필 (prefill) 단계를 분리합니다.
• $P_3$ (긴 컨텍스트 프롬프트): 모델이 특정 숫자를 추출해야 하는 긴 텍스트입니다. 이는 **조각화된 프리필 (chunked prefill)**을 트리거하여 여러 패스로 긴 컨텍스트를 분할함으로써 유발되는 편차를 드러냅니다.
• $P_4$ (반복 프롬프트): 문장을 여러 번 반복하도록 요청합니다. 이는 KV 캐시 접두사 재사용을 트리거하여 캐시된 상태가 어떻게 관리되고 로드되는지 노출합니다.

3. 특징 추출 및 분류

• 임베딩: 응답은 점수 함수를 사용하여 특징 벡터로 변환됩니다. 예를 들어, $P_1$과 $P_3$은 지시 함수 (예상 토큰/숫자가 있으면 1, 없으면 0) 를 사용하고, $P_4$는 반복 횟수를 정규화합니다.
• 분류: 생성된 특징 벡터는 연결되어 세 가지 목표 레이블을 식별하도록 훈련된 랜덤 포레스트 분류기에 입력됩니다: 추론 엔진, 어텐션 백엔드, 그리고 하드웨어 플랫폼 (GPU).
• 확률적 처리: 0 이 아닌 온도 설정의 경우, 샘플링 노이즈를 완화하기 위해 프롬프트당 여러 샘플 ($k$) 에 대한 예측을 다수결 투표로 집계합니다.

주요 결과

저자들은 3 개의 모델 (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B) 에서 4 개의 추론 엔진, 6 개의 어텐션 백엔드, 3 개의 하드웨어 장치 (Nvidia A100, H100, L4) 를 결합한 30 가지 시스템 구성에서 접근법을 평가했습니다.

결정적 디코딩 (Temperature = 0)

• 완벽한 정확도: 이 방법은 모든 모델에서 세 가지 구성 요소 (엔진, 백엔드, GPU) 를 식별하는 데 100% 정확도를 달성했습니다.
• 프롬프트 효율성: 총 113 개의 프롬프트만으로도 완벽한 식별이 가능했으나, 프롬프트의 최적 구성은 모델마다 달랐습니다. 추론 엔진은 가장 빠르게 식별되었습니다 (10 개의 프롬프트로 신뢰할 수 있음), 반면 백엔드와 GPU 는 더 많은 데이터 (100 개의 프롬프트) 를 필요로 했습니다.

확률적 디코딩 (Temperature > 0)

• 강건성: 샘플링 노이즈로 인해 온도가 증가함에 따라 정확도는 감소했으나 여전히 유의미했습니다.
  • 추론 엔진: 온도 ($T \in \{0.3, 0.6, 0.9\}$) 전반에 걸쳐 평균 **약 80%**의 정확도.
  • 어텐션 백엔드 및 GPU: 모델과 온도에 따라 정확도가 **46% 에서 78%**까지 다양함.
• 집계: 프롬프트당 10~20 개의 샘플을 집계한 후 성능이 포화되어, 다수결 투표가 신호를 효과적으로 복원함을 확인했습니다.

강건성 분석

지문 분석은 현실적인 배포 변형 하에서도 효과적이었습니다:

• 시스템 프롬프트: 기본값 대신 애플리케이션별 시스템 프롬프트를 사용하더라도 정확도는 높게 유지되었습니다 (~99.7%).
• 배치 크기: 신호는 다른 배치 크기 (32/64/128 에서 훈련, 256 에서 테스트) 에서 잘 일반화되었으며, 정확도 감소는 미미했습니다.
• 독점 구성 요소: 훈련 중에 특정 구성 요소 (예: 특정 GPU) 를 보지 못했을 때, 다른 구성 요소 (엔진, 백엔드) 의 식별은 강건하게 유지되었으나, 보지 못한 구성 요소 자체의 식별은 무작위 확률 수준으로 떨어졌습니다.
• 온도 불일치: 훈련 온도와 배포 온도가 크게 다르면 정확도가 크게 감소하므로, 공격자는 훈련 온도를 대상과 일치시켜야 함을 시사합니다.

중요성 및 주장

본 논문은 로짓에 접근하지 않고 프롬프트 - 응답 쌍만을 사용하여 LLM 추론 시스템 구성 요소 (엔진, 백엔드, 하드웨어) 를 지문 분석하는 첫 번째 방법이라고 주장합니다.

저자들은 다음을 강조합니다:

1. 보안 함의: 이러한 유출은 단순한 호기심이 아닙니다. 이는 공격자에게 vLLM 및 SGLang 과 같이 널리 사용되는 추론 엔진의 알려진 취약점을 악용하는 데 필요한 정확한 지식을 제공합니다.
2. 방어의 근본적 어려움: 이 지문 분석을 방지하는 것은 "근본적으로 어렵습니다". 왜냐하면 다양한 하드웨어 및 소프트웨어 스택 간의 수치적 차이를 제거해야 하기 때문입니다. 스택을 통합하는 것은 생산 환경에서 비현실적이며, 신호를 가리기 위해 노이즈를 추가하면 유틸리티가 저하됩니다 (예: 코드 생성에 필요한 결정적 디코딩 파괴).
3. 부분적 완화: 논문은 속도 제한이 가장 실용적인 방어책이라고 제안하지만, 시빌 공격 (Sybil attacks) 을 통해 우회될 수 있다고 지적합니다. 노이즈 추가는 가능하지만 애플리케이션 유틸리티에 큰 비용이 따릅니다.

이 연구는 기계 학습 출력이 실행 환경과 불가분하게 연결되어 있으며, 이 연결을 무시하면 시스템 무결성과 보안을 훼손하는 정보 유출로 이어진다고 결론지었습니다.