기술 요약: LLM 의 최적화 유발 백도어 공격

1. 문제 제기

본 논문은 대규모 언어 모델 (LLM) 배포 파이프라인에서 간과되어 왔던 보안 취약점, 즉 최적화 유발 백도어를 다룹니다. 모델 컴파일 (예: torch.compile) 을 포함한 추론 최적화 기술은 LLM 을 확장하는 데 표준적으로 사용되지만, 이러한 기술은 컴파일이 의미론적 동등성을 유지한다는 가정과 잔여 수치적 차이가 해롭지 않은 부동소수점 아티팩트로 간주된다는 전제에 의존합니다.

저자들은 이 가정에 도전하며, 연산자 융합, 커널 스케줄링, 부동소수점 재연결에서 비롯된 컴파일러가 도입하는 미세한 수치적 불일치가 고의적으로 악용될 수 있음을 입증합니다. 특정 입력 패턴 (트리거) 이나 가중치 조작을 통해 활성화되는 기존 백도어와 달리, 이러한 공격은 컴파일 행위 자체에 의해 트리거됩니다. 모델은 표준 "이거 (eager)" 실행 하에서는 안전성 감사 및 레드팀 테스트를 통과하는 등 정상적으로 작동하지만, 프로덕션 배포를 위해 컴파일될 때만 악성 출력을 생성할 수 있습니다. 이는 실행 환경 자체가 트리거로 작용하는 은밀한 공격 표면을 창출합니다.

2. 방법론

저자는 컴파일러, 하드웨어, 추론 파이프라인을 수정하지 않고도 컴파일된 실행의 수치적 취약성을 악용하도록 설계된 두 가지 보완적 전략을 포함하는 통합 공격 프레임워크를 제안합니다. 두 전략 모두 모델 가중치 (예: LoRA 어댑터를 통해) 를 수정하여 컴파일러 유발 교란에 민감한 영역으로 모델을 유도합니다.

A. 공격 I: 입력별 경계 형성 (ISBS)

• 목표: 특정 사전 정의된 입력을 위한 트리거 없는 백도어 생성.
• 메커니즘: 공격자는 경량 LoRA 기반 매개변수 편집을 사용하여 대상 입력의 로그 확률 분포를 결정 경계 쪽으로 이동시킵니다.
• 과정:
  1. 이거 실행 하에서 LoRA 매개변수를 최적화하여 올바른 토큰 로그 확률과 악성 토큰 로그 확률 간의 간격을 최소화합니다.
  2. 이는 컴파일러가 도입하는 미세한 수치적 편차만으로 arg max 예측을 뒤집기에 충분한 "컴파일 민감" 경계로 입력을 위치시킵니다.
• 범위: 표적형; 각 특정 입력마다 별도의 최적화가 필요합니다.

B. 공격 II: 컴파일 유발 백도어 (CTB)

• 목표: 컴파일 시 임의의 입력에서 활성화되는 범용 백도어 생성.
• 메커니즘: 이 전략은 활성화 수준에서 작동하며, 연속적 트리거 토큰과 보정된 편향 항을 활용합니다.
• 과정 (3 단계):
  1. 발산 프로파일링 및 트리거 최적화: 이거 실행과 컴파일된 실행 간 최대 수치적 발산을 보이는 "임계 레이어"와 특정 차원을 식별합니다. 이거 실행 하에서 이러한 차원에서 밀집된 활성화를 생성하도록 연속적 트리거 임베딩을 최적화합니다.
  2. 다차원 편향 구성: 이러한 밀집된 활성화의 평균을 빼는 편향 항을 주입합니다. 이거 실행 하에서는 SiLU 와 같은 비선형성에 의해 억제되어 활성화가 거의 0 으로 수렴합니다. 반면 컴파일된 실행 하에서는 체계적인 수치적 이동이 이러한 활성화를 0 에서 벗어나게 하여 0 이 아닌 잔여값을 생성합니다.
  3. 발산 조건부 미세 조정: 모델의 상위 레이어를 미세 조정하여 이 잔여 발산 (트리거가 있는 컴파일 모드에서만 존재) 을 악성 출력으로 매핑하도록 하되, 깨끗한 입력과 이거 모드에서의 트리거 입력에 대해서는 올바른 동작을 유지합니다.

3. 주요 기여

1. 새로운 공격 표면: 본 논문은 추론 컴파일을 LLM 의 고유한 공격 표면으로 처음 식별하고 정의하며, 최적화 유발 백도어 개념을 도입했습니다.
2. 통합 프레임워크: 컴파일러나 하드웨어 수정 없이 Inductor, CUDAGraphs 등 여러 컴파일 백엔드에서 일반화되는 프레임워크 (ISBS 및 CTB) 를 제안합니다.
3. 인과 분석 및 방어: 저자는 취약점의 원천 (주로 피드포워드 네트워크 블록) 을 국소화하기 위한 인과 분석을 수행하고, 입력 교란, 배치 크기 변이, 정밀도 변경, 추가 미세 조정이라는 네 가지 실용적 방어를 체계적으로 평가합니다.

4. 실험 결과

본 프레임워크는 에이전트 도구 선택, 구체화 AI 안전, 의료 QA, 감정 분류 (SST) 등 네 가지 다양한 작업에 걸쳐 Llama-3.2-1B/3B, Qwen2.5-1.5B/3B 네 가지 주요 오픈소스 LLM 에서 평가되었습니다.

• 공격 성공률 (ASR):
  • Inductor 백엔드 하에서 CTB 공격은 평균 ASR **약 90%**를 달성했으며, 여러 모델 - 작업 조합에서 **100%**의 정점을 기록했습니다.
  • CUDAGraphs 하에서 ASR 은 평균 **약 74%**였으며, 백엔드별 커널 융합 패턴으로 인해 일부 변동성이 있었습니다.
• 은밀성 및 유용성:
  • 깨끗한 정확도: 깨끗한 입력에 대해 이거 및 컴파일된 실행 모두에서 거의 **100%**로 유지되었습니다.
  • 은밀성: 트리거된 입력은 이거 실행 하에서 높은 정확도를 유지하여 (Inductor 의 경우 평균 93.3%) 안전성 검사를 통과함으로써, 표준 배포 전 감사 동안 백도어가 탐지되지 않도록 보장했습니다.
• 전이성: Inductor 에서 최적화된 공격은 CUDAGraphs 로 부분적으로 전이되었으나, 성능은 모델 아키텍처에 따라 다양했습니다 (Qwen 모델이 Llama 모델보다 교차 백엔드 테스트에서 더 잘 일반화되었습니다).

5. 중요성 및 주장

본 논문은 최적화와 보안의 교차점이 LLM 생태계에서 비판적이면서도 간과되어 온 취약점임을 주장합니다.

• 실제 영향: 저자들은 이러한 공격이 의료 의사결정 지원, 로봇 제어, 에이전트 워크플로우와 같이 성능을 위해 컴파일에 크게 의존하는 고위험 분야에서 특히 위험하다고 주장합니다. 미묘한 출력 변화는 임상적, 경제적, 또는 물리적 피해로 이어질 수 있습니다.
• 현재 방어의 한계: 기존 보안 연구는 입력 트리거나 가중치 중독에 초점을 맞추고 있습니다. 본 논문은 배포 환경에 조건부로 악성 행동이 나타나므로, 컴파일 없이 수행되는 표준 안전성 평가가 이러한 위협을 탐지하기에 불충분함을 강조합니다.
• 행동 촉구: 저자들은 최적화 스택을 LLM 보안 페리미터의 일부로 취급해야 한다고 결론지으며, 전체 추론 최적화 파이프라인을 아우르는 보안 평가를 확대할 것을 옹호합니다. 또한 경량 미세 조정과 이거 대 컴파일된 출력 비교를 통한 듀얼 커널 검증이 실용적인 완화 전략임을 제안합니다.

본 연구는 모든 LLM 을 보편적으로 무력화한다고 주장하지는 않지만, 현대 컴파일러의 "해롭지 않은" 수치적 부작용이 악성 행동을 위한 신뢰할 수 있고 제어 가능한 트리거로 체계적으로 설계될 수 있음을 입증합니다.