Hidden Reliability Risks in Large Language Models: Systematic Identification of Precision-Induced Output Disagreements

이 논문은 대규모 언어 모델 (LLM) 의 배포 환경에서 발생하는 **정밀도 **(Numerical Precision)를 체계적으로 식별하고 탐지하는 새로운 프레임워크인 PrecisionDiff를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: LLM 은 효율성과 리소스 제약을 충족하기 위해 다양한 수치 정밀도 구성 (예: bfloat16, float16, int16, int8 등) 으로 배포됩니다.
• 위험: 기존 평가 방법은 단일 정밀도 환경에서 모델의 성능을 검증하지만, 실제 배포 시 추론 (Inference) 정밀도가 안전 평가 시 정밀도와 다를 수 있습니다.
• 핵심 발견: 정밀도 간의 미세한 수치적 오차가 모델의 행동 결정 경계 (Decision Boundary) 를 이동시켜, **동일한 입력에 대해 다른 정밀도 설정에서 상반된 출력 **(예: 한 정밀도에서는 안전 거부, 다른 정밀도에서는 유해한 답변 생성)을 유발할 수 있습니다. 이는 특히 '재브레이크 (Jailbreak)' 공격과 관련하여 치명적인 신뢰성 리스크가 됩니다.

2. 방법론: PrecisionDiff (Methodology)

PrecisionDiff 는 LLM 의 정밀도 간 행동 불일치를 자동으로 탐지하는 **차분 테스트 **(Differential Testing) 프레임워크입니다.

• 기본 원리: 동일한 모델 가중치를 두 가지 다른 정밀도 (예: 기준 정밀도 $P_1$과 대상 정밀도 $P_2$) 로 실행하여, 한 정밀도에서는 안전하고 다른 정밀도에서는 유해한 (Jailbreak) 입력을 생성합니다.
• **핵심 기술: 이중 정밀도 공동 최적화 **(Dual-Precision Joint Optimization)
  • 목표: 대상 정밀도 ($P_2$) 에서는 유해한 응답을 유도하고, 기준 정밀도 ($P_1$) 에서는 안전한 거부를 유지하는 적대적 접미사 (Adversarial Suffix) 를 찾습니다.
  • 손실 함수: $L_{total} = L(f_{P2}(x), y_{harm}) + \lambda L(f_{P1}(x), y_{safe})$
  • 이 접근법은 검색을 정밀도에 민감한 결정 경계 (Decision Boundary) 근처로 유도하여, 단일 정밀도 최적화만으로는 발견하기 어려운 미묘한 불일치를 포착합니다.
• 최적화 전략: 이산 토큰 공간에서의 조합적 복잡성을 해결하기 위해 **모멘텀 가이드된 좌표별 탐색 **(Momentum-guided Coordinate-wise Search)을 사용합니다.
• **근본 원인 분석 **(Root-Cause Analysis) 성공적인 불일치 사례를 통해 모델 내부의 어느 계층 (Layer) 에서 수치 오차가 증폭되는지 분석합니다. 평균 절대 차이 (MAD) 와 상대적 발산 리프트 (RL) 지표를 사용하여 정밀도에 민감한 핵심 계층을 식별합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 자동화 프레임워크: LLM 의 정밀도 유발 행동 불일치를 탐지하는 최초의 자동화된 차분 테스트 프레임워크인 PrecisionDiff 를 제안했습니다.
2. 안전 정렬 검증 사례 적용: 정밀도 불일치가 '재브레이크 발산 (Jailbreak Divergence)'으로 나타나는 것을 실증했습니다. 즉, 정밀도 변경만으로도 모델의 안전 정렬 (Safety Alignment) 이 무너질 수 있음을 보였습니다.
3. 성능 우월성: 기존 방법론 (랜덤 검색, 퍼징, 표준 GCG 등) 보다 훨씬 높은 탐지 성공률과 효율성을 입증했습니다.
4. 구조적 통찰: 정밀도 불일치가 모델 전체에 고르게 퍼지는 것이 아니라, **입력 단계 계층 **(Layer 0)에 집중되어 증폭된다는 것을 발견했습니다.

4. 실험 결과 (Results)

• 탐지 성공률: 5 개의 오픈소스 정렬된 LLM (Llama-2, Llama-3, Mistral, Vicuna, Guanaco) 에서 다양한 정밀도 전환 (BF16 vs FP16, INT16 vs INT8 등) 을 테스트한 결과, **평균 탐지 성공률은 84.0% **(BF16 vs FP16)에 달했습니다. 일부 모델과 정밀도 조합에서는 100% 의 성공률을 기록했습니다.
• 기존 방법론 대비 우위:
  • Vicuna-7B: 표준 GCG 대비 1.4 배 높은 성공률 (72.0% vs 50.0%).
  • Llama-2-7B: 표준 GCG 대비 8.5 배 높은 성공률 (68.0% vs 8.0%).
  • 기존 퍼징이나 유전 알고리즘은 정밀도 민감 영역을 찾지 못해 성공률이 8% 이하로 매우 낮았습니다.
• 해부학적 분석: 정밀도 변화가 모델의 안전 결정 경계를 체계적으로 왜곡시킴을 확인했습니다. 특히 양자화 (Quantization) 를 고려하여 정렬된 모델 (Guanaco) 은 정밀도 변화에 더 강인한 반면, 풀 정밀도로 정렬된 모델 (Mistral) 은 가장 취약했습니다.

5. 의의 및 시사점 (Significance)

• 배포 전 평가의 중요성: 모델 배포 전 다양한 정밀도 환경에서의 안전성을 검증해야 함을 강조합니다. 현재는 정밀도 변경이 기능적으로 무해하다고 가정하는 경우가 많으나, 이는 심각한 보안 허점을 야기할 수 있습니다.
• 구체적 대응 방안: 분석 결과에 따라 Layer 0, Attention 메커니즘, 출력 모듈 등 특정 계층만 고정밀도 (FP32/BF16) 로 유지하고 나머지는 양자화하는 **선택적 정밀도 증대 **(Selective Precision Elevation) 전략이 효율적인 해결책이 될 수 있음을 제시했습니다.
• 확장성: 이 연구는 Embodied AI(물리적 행동) 나 자율 에이전트 시스템에서 정밀도 유발 재브레이크가 실제 물리적 위험이나 자동화된 파이프라인의 오작동으로 이어질 수 있음을 경고하며, AI 안전성 연구의 새로운 차원 (시스템 레벨 설계와 AI 안전의 융합) 을 제시합니다.

요약하자면, 이 논문은 **수치 정밀도 **(Numerical Precision)를 발견하고, 이를 해결하기 위한 체계적인 테스트 도구와 모델 아키텍처 개선 방향을 제시함으로써 LLM 의 신뢰성을 높이는 데 기여합니다.