기술 요약: 대규모 언어 모델(LLM)의 비결정적 드리프트 정량화

문제 정의

대규모 언어 모델(LLM)은 요약부터 의사 결정 지원에 이르기까지 점점 더 중요한 작업에 배치되고 있습니다. 이러한 배포에서 핵심적인 기대치는 "결정적(deterministic)" 설정(예: 온도를 0.0으로 설정하고 고정된 시드 사용) 하에서 동일한 프롬프트를 실행할 경우 동일한 출력을 생성해야 한다는 것입니다. 그러나 실증적 증거에 따르면 항상 그러한 것은 아닙니다.

본 논문은 기초 행동 드리프트(baseline behavioural drift) 현상을 다룹니다. 이는 안정적인 지침이나 운영자 수준의 개입 없이 동일한 프롬프트가 여러 번 발행될 때 관찰되는 가변성을 의미합니다. 이 드리프트는 두 가지 주요 원인에서 발생합니다:

1. 내재적 모델 특성: 샘플링 알고리즘 및 모델 규모.
2. 인프라 유도 비결정성: 서빙 인프라를 포함하며, 잘못 컴파일된 샘플링 알고리즘, 부동 소수점 비결합성, 그리고 불투명한 API 최적화(예: 동적 배칭, 요청 큐잉) 등이 이에 해당합니다.

핵심 문제는 이러한 드리프트를 운영자 개입 없이 체계적으로 정량화할 방법이 부족하다는 것입니다. 측정된 기준점(baseline) 없이는 모델 자체의 내재적 가변성과 제안된 완화 전략의 효과를 구분하는 것이 불가능합니다.

방법론

본 연구는 일반적이고 운영자 개입이 없는 조건에서의 기초 드리프트를 정량화하기 위해 설계된 측정 중심의 실험입니다. 본 연구는 새로운 안정화 기술이나 프롬프트 엔지니어링 방법을 도입하지 않습니다.

실험 설정

• 테스트 모델:
  • gpt‑4o‑mini: 독점 클라우드 API를 통해 제공되는 소형 모델.
  • llama3.1‑8b: vLLM 엔진을 사용하여 단일 NVIDIA A100 GPU에서 로컬로 실행되는 오픈 웨이트 모델.
• 프롬프트 카테고리: 민감도를 테스트하기 위해 다섯 가지 구별된 카테고리를 사용했습니다:
  1. 미지정 요약 (Underspecified summaries)
  2. 미지정 조언 (Underspecified advice)
  3. 가벼운 제약 (Light constraints)
  4. 스타일 프롬프트 (Style prompts)
  5. 엄격한 제약 (Hard constraints)
• 프롬프팅 모드:
  1. 정확한 반복 (Exact Repeats): 동일한 프롬프트를 여러 번 실행.
  2. 변형된 입력 (Perturbed Inputs): 의미는 유지하면서 유의어 및 미세한 어휘적 변화를 도입.
  3. 재사용 (Reuse): 이전 답변을 다음 프롬프트의 입력으로 다시 피드백.
• 파라미터: 실험은 온도(temperature) 0.0과 0.7에서 수행되었습니다.
• 볼륨: 각 모델/프롬프트 조합은 30회(gapfill 데이터셋) 또는 20회(small battery) 실행되었습니다. API 오류나 거부(refusal)가 발생한 실행은 제외되었습니다.

지표

본 연구는 어휘적 지표에 의존하여 드리프트에 대한 보수적인 하한선을 제공합니다. 이는 의미론적 지표가 심층 분석을 위해 필요함을 인정하면서도, 향후 과제로 남겨두기 위함입니다.

1. 고유 출력 비율 (Unique Output Fraction): 전체 실행 대비 서로 다른 답변의 비율 (두 번째 호출 시 새로운 답변이 나올 확률을 근사함).
2. 평균 쌍별 자카드 유사도 (Average Pairwise Jaccard Similarity): 토큰화된 출력에 대해 계산하여 어휘적 중첩 정도를 측정.
3. 단어 수 통계 (Word Count Statistics): 실행 간 단어 수의 평균 및 표준 편차.

주요 결과

실험 결과, 이론적으로 결정적이라고 설계된 설정(온도 0.0)에서도 비결정성이 지속됨이 드러났습니다.

• 온도 0.0에서의 기초 가변성:

  • gpt‑4o‑mini: 약 **24%**의 실행에서 서로 다른 출력을 생성하였으며 (고유 비율 = 0.24), 평균 자카드 유사도는 0.89였습니다.
  • llama3.1‑8b: 약 **9%**의 실행에서 서로 다른 출력을 생성하였으며 (고유 비율 = 0.09), 평균 자카드 유사도는 0.97였습니다.
  • 관찰 사항: API로 제공되는 모델이 로컬 오픈 웨이트 모델보다 약 2.5배 더 높은 가변성을 보였습니다.

• 변형 및 재사용의 영향:

  • 변형된 입력: 가변성을 크게 증가시켰습니다 (gpt‑4o‑mini: 0.57; llama3.1‑8b: 0.27).
  • 재사용 모드: 정확한 반복에 비해 가변성을 감소시켰습니다 (gpt‑4o‑mini: 0.20; llama3.1‑8b: 0.10).

• 온도의 영향 (0.7):

  • 온도를 0.7로 높이면 거의 완전한 다양성이 나타났습니다. 거의 모든 실행이 새로운 답변을 생성하였으며 (고유 비율 $\approx$ 1.0), 모든 모드에서 어휘적 유사도가 0.52 미만으로 떨어졌습니다.

• 모델 및 배포 차이:

  • 더 큰 모델과 API 기반 배포 방식이 일반적으로 더 높은 분산을 보였습니다. 본 연구는 API 환경에서 관찰되는 일부 드리프트가 모델 가중치 자체가 아니라 추론 스택(숨겨진 최적화, 배칭 등)을 반영한다고 시사합니다.

주요 기여

1. 기초 드리프트의 체계적 정량화: 본 논문은 두 가지 뚜렷한 배포 유형(API vs. 로컬), 다섯 가지 프롬프트 카테 катего리, 세 가지 프롬프팅 모드에 걸쳐 기초 행동 드리프트에 대한 최초의 체계적이고 다각적인 측정을 제공합니다.
2. 지속적인 비결정성의 증거 제시: "결정적" 설정(온도 0.0)이 재현성을 보장하지 않음을 입증합니다. 가변성 패턴은 모델 크기, 배포 방법 및 프롬프팅 모드에 따라 다르게 나타납니다.
3. 분산 예산(Variance Budgets)을 통한 개념적 프레임워크: 이 측정값들을 신뢰성 공학의 에러 예산(error budget)과 유사한 "분산 예산" 개념을 통해 맥락화합니다. 이는 드리프트를 이진적인 실패가 아니라, 애플리케이션이 허용 가능한 가변성 수준(예: 금융 수치의 경우 $\pm$5%)을 결정해야 하는 자원 할당 문제로 프레임화합니다.
4. 측정과 제어의 분리: 본 연구는 드리프트를 측정하는 것과 이를 완화하는 것을 명확히 구분합니다. 편향되지 않은 기준점을 설정함으로써, 측정 노이즈와 미래의 안정화 기술의 효능을 혼동하는 것을 방지합니다.

의의 및 주장

본 논문은 처방적인 해결책보다는 기술적이고 기초적인 연구로서의 위치를 점합니다. 그 의의는 다음과 같습니다:

• 참조점 확립: 향후 완화 연구(예: 프롬프트 엔지니어링, 제약된 디코딩)를 비교할 수 있는 필수적인 기준점을 제공합니다. 이 기준점 없이는 개입이 실제로 드리프트를 줄이는지, 아니면 단순히 가리는 것인지 판단할 수 없습니다.
• 인프라 효과 강조: 관찰된 드리프트의 상당 부분이 모델 자체가 아니라 추론 스택(API, 하드웨어, 배칭)에서 기인한다는 점을 시사합니다.
• 어휘적 지표의 한계 정의: 본 연구는 해석 가능성을 위해 어휘적 지표를 사용하지만, 그 한계(예: 무해한 바꾸어 말하기를 드리프트로 분류하는 문제)를 명시적으로 인정하며 향후 작업에서 의미론적 지표의 통합을 촉구합니다.
• 신뢰성에 대한 시사점: 본 연구의 결과는 LLM의 단일 실행에 의존하는 것이 최악의 성능(worst-case performance)을 은폐할 수 있음을 시사합니다. 모델 행동의 완전한 모습을 제공하기 위해 여러 번의 실행을 보고할 것을 권장합니다.

저자들은 비결정성이 모델의 규모와 인프라 모두에서 발생하는 현재 LLM의 내재적 특징이라고 결론짓습니다. 이러한 드리프트를 이해하고 정량화하는 것은 멀티 에이전트 시스템 및 장기 상호작용에서 LLM의 신뢰성을 개선하기 위한 전제 조건입니다.