Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 은 동적인 현실 세계 환경에 배포되며, 시간이 지남에 따라 새로운 작업, 프롬프트, 사용자 그룹이 도입되면서 사용자 프롬프트의 분포 (Distribution) 가 자연스럽게 변화합니다. 이를 자연적 프롬프트 분포 변화 (Natural Prompt Distribution Shift) 라고 합니다.

• 핵심 문제: 배포된 LLM 은 훈련 데이터 (지시 미세 조정 데이터) 와 실제 배포 환경에서 접하는 사용자 프롬프트 간의 분포 불일치에 매우 취약합니다.
• 현재의 한계: 기존 연구는 주로 의도적으로 생성된 OOD(Out-of-Distribution) 데이터에 대한 견고성을 다루거나, 분포 변화를 암묵적으로 가정할 뿐, 실제 배포 환경에서 발생하는 자연스러운 프롬프트 분포 변화를 정량적으로 측정하고 그 영향을 분석한 연구는 매우 부족합니다.
• 위험: 이러한 자연스러운 변화에 대한 모델의 견고성 부재는 사용자 만족도 저하와 모델 신뢰성 붕괴로 이어질 수 있습니다.

2. 방법론 (Methodology: LENS Framework)

저자들은 자연스러운 프롬프트 분포 변화와 LLM 성능 간의 관계를 체계적으로 분석하기 위해 LENS (LLM Evaluation under Natural prompt Shift) 프레임워크를 제안했습니다.

A. 데이터 구성 (Dataset Curation)

• 데이터원: WildChat(OpenAI 모델에 제출된 100 만 건 이상의 실제 사용자 쿼리) 을 사용했습니다.
• 시나리오 생성: 배포 후 발생하는 3 가지 주요 축 (Time, User Group, Geography) 을 기준으로 192 개의 {ID(분포 내), OOD(분포 외)} 데이터셋을 구성했습니다.
  • 시간 (Time): 훈련 데이터 (과거) 와 평가 데이터 (미래) 간의 시간적 지연 (Lag) 을 시뮬레이션.
  • 사용자 그룹 (User Group): 사용자의 도입 시기 (Early/Late) 와 쿼리 양 (Low/High) 에 따라 그룹화하여, 훈련 데이터와 평가 데이터의 사용자 그룹을 다르게 설정.
  • 지리적 위치 (Geography): IP 주소를 기반으로 한 지역 (예: 캘리포니아, 도쿄, 파리 등) 간 분포 변화 시뮬레이션.
• 데이터 규모: 총 468 만 개의 훈련 프롬프트로 81 개의 모델을 학습시키고, 57,600 개의 평가 프롬프트로 성능을 검증했습니다.

B. 평가 프로세스

1. 모델 학습: 3 가지 베이스 모델 (Llama3-8B, Qwen2.5-7B, Qwen2.5-14B) 을 사용하여 각 ID 데이터셋으로 ID 모델을, OOD 데이터셋과 동일한 분포의 데이터로 오라클 (Oracle) 모델을 학습시킵니다.
2. 성능 비교: OOD 평가 데이터 (실제 배포 시나리오) 에 대해 ID 모델과 오라클 모델의 응답을 생성한 후, GPT-4o 를 판사 (Judge) 로 하여 두 응답 중 어느 것이 사용자 지시를 더 잘 따르는지 비교합니다.
3. 성능 지표: ID 모델의 손실률 (Loss Rate) 을 주요 지표로 사용합니다. (오라클 모델이 이긴 비율이 높을수록 분포 변화로 인한 성능 저하가 심함).
4. 분포 변화 측정: 분포 변화의 정도를 측정하기 위해 4 가지 비지도 (Unsupervised) 측정 지표를 활용합니다.
   • MAUVE: 임베딩 공간에서의 정보 발산도 (0 에 가까울수록 분포 차이가 큼).
   • $\Delta$-score: 텍스트가 원본 분포를 얼마나 대표하는지 측정 (0.5 에 가까울수록 변화 없음).
   • Perplexity (Perplexity): 모델이 OOD 데이터를 얼마나 놀라게 (Surprising) 느끼는지 측정.
   • BLEU: 어휘적 유사성 및 n-gram 중첩도 측정.

3. 주요 기여 (Key Contributions)

1. LENS 프레임워크 제안: 실제 배포 환경에서의 자연스러운 프롬프트 분포 변화를 정량화하고 LLM 성능에 미치는 영향을 평가할 수 있는 최초의 체계적인 데이터 중심 접근법.
2. 대규모 실증 연구: 192 개의 다양한 배포 시나리오, 81 개의 모델, 468 만 개의 훈련 데이터를 기반으로 한 대규모 평가 수행.
3. 자연적 분포 변화의 정량화: 시간, 사용자 그룹, 지리적 위치에 따라 프롬프트 분포가 어떻게 변화하는지 4 가지 지표를 통해 수치화했습니다.
4. 성능 저하의 상관관계 규명: 자연스러운 분포 변화가 LLM 의 지시 따르기 (Instruction Following) 능력에 치명적인 영향을 미친다는 것을 입증했습니다.

4. 주요 결과 (Key Results)

A. 분포 변화의 측정 (RQ1)

• 지리적 위치에서 가장 큰 분포 변화가 관찰되었습니다 (평균 MAUVE 점수 0.05, 랜덤 베이스라인 0.96 대비).
• 시간적 변화 또한 유의미하게 발생했습니다 (평균 MAUVE 0.54).
• 사용자 그룹 간에도 측정 가능한 분포 변화가 존재했습니다 (평균 MAUVE 0.61).
• 결론적으로, 배포된 LLM 이 접하는 프롬프트는 시간, 사용자, 위치에 따라 상당히 다양하게 변형됩니다.

B. LLM 성능 저하 (RQ2)

• 극심한 성능 저하: 자연스러운 분포 변화 (OOD) 환경에서 LLM 의 성능은 급격히 하락했습니다.
  • 평균 손실률: 전체적으로 **73%**의 평균 손실률을 기록했습니다.
  • 사용자 그룹/지리: 다른 사용자 그룹이나 지역으로 이동할 경우 손실률이 **87~88%**까지 치솟았습니다. (오라클 모델 대비 ID 모델이 거의 승리하지 못함).
  • 시간적 지연: 시간이 지날수록 (훈련 데이터와 평가 데이터 간의 간격이 벌어질수록) 분포 변화와 성능 저하가 동시에 증가하는 상관관계가 확인되었습니다.
• 모델 크기의 영향: 모델 크기 (7B, 14B) 나 아키텍처 (Llama, Qwen) 에 관계없이 이러한 성능 저하 경향은 일관되게 나타났습니다. 즉, 단순히 모델을 키우는 것만으로는 자연스러운 분포 변화에 대한 견고성을 확보하기 어렵습니다.

C. 분포 변화의 특성 (Qualitative Analysis)

• 시간: 시간이 지남에 따라 프롬프트가 더 길어지고, 구조화되며, 구체적인 형식적 제약 (Formatting constraints) 을 포함하는 경향이 있습니다.
• 사용자 그룹: 고빈도 사용자는 템플릿화된 반복적 프롬프트를 사용하는 반면, 저빈도 사용자는 더 다양한 도메인과 비정형적인 프롬프트를 사용합니다.
• 지리: 문화적 차이와 언어적 변이 (이중 언어 사용, 코드 믹싱 등) 가 프롬프트 특성에 큰 영향을 미칩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 경고: 실제 배포 환경에서 LLM 은 훈련 데이터와 다른 분포의 프롬프트를 접하게 되며, 이는 지시 따르기 능력의 자연스러운 전이 (Transfer) 를 방해하여 심각한 성능 저하를 초래합니다.
• 데이터 중심 모니터링의 필요성: 모델 아키텍처 개선보다는 배포 후 사용자 프롬프트 분포를 지속적으로 모니터링하고, 분포 변화에 대응하는 데이터 중심 전략 (Data-centric approach) 이 필수적입니다.
• 향후 연구 방향: 자연스러운 분포 변화를 완화하기 위한 방법론 개발, 분포 변화의 원인을 파악하기 위한 체계적인 분류 체계 (Taxonomy) 구축, 그리고 다양한 사용자 그룹과 지역에 대한 견고한 모델 평가 기준 마련이 요구됩니다.

이 논문은 LLM 이 실제 세계에 배포될 때 겪게 되는 '자연스러운 변화'가 단순한 노이즈가 아니라 모델 신뢰성을 위협하는 핵심 요소임을 보여주며, 이를 측정하고 대응하기 위한 새로운 평가 패러다임 (LENS) 을 제시했다는 점에서 큰 의의를 가집니다.