기술 요약: 텍스트 분류를 위한 대규모 언어 모델의 프롬프트 민감도 재고

문제 정의

대규모 언어 모델(LLM)은 제로샷(zero-shot) 및 퓨샷(few-shot) 텍스트 분류에 점점 더 많이 활용되고 있으며, 이 과정에서 태스크 동작은 전적으로 자연어 프롬프트에 의해 결정됩니다. 상당수의 문헌은 LLM이 높은 프롬프트 민감도를 보이며, 미세한 문구 변화가 성능 순위와 최첨단(SOTA) 주장치를 급격하게 변화시킬 수 있다는 점을 확립해 왔습니다. 그러나 본 논문은 관찰된 민감도의 상당 부분이 모델의 추론 능력 자체의 결함이 아니라, **프롬프트 미지정(prompt underspecification)**의 결과라고 주장합니다.

프롬프트 민감도를 조사하는 기존 연구의 상당수는 태스크 지시나 레이블 제약 조건이 거의 없거나 전혀 제공되지 않는 "최소한의" 또는 "미지정된" 프롬프트(초기 GPT-3의 형식을 따름)에 의존합니다. 저자들은 이러한 프롬프트가 LLM이 내부적으로 태스크를 이해하지 못하게 만드는 것이 아니라, 출력 생성 단계에서 실패하게 만든다고(즉, 구조화되지 않은 텍스트를 생성하거나 예상된 레이블을 무시하게 함) 가설을 세웠습니다. 이는 관련 토큰에 대한 로그릿(logit) 값을 낮게 만들고 분류 결정이 무작위로 분포된 확률에 기반하게 함으로써, 모델의 민감도를 실제보다 부풀리는 결과를 초래합니다.

방법론

본 연구는 세 가지 텍스트 분류 태스크(SST-2, AG News, MMLU)와 여섯 가지 LLM 변체(LLaMA-2-13B, LLaMA-3.1-8B, LLaMA-3.2-3B의 베이스 및 인스트럭션 튜닝 버전 모두 포함)를 대상으로 미지정된(최소한의) 프롬프트와 잘 지정된(지시형) 프롬프트를 체계적으로 비교합니다.

평가 프레ка임워크는 세 가지 별도의 분석 접근 방식을 채택합니다:

1. 경험적 성능 분석: 저자들은 10개의 프롬프트 변체에 대해 평균 정확도와 표준 편차를 평가합니다. 이들은 "Base" 설정과 다음과 같은 몇 가지 완화 전략을 비교합니다:

   • UNK 전략: 프롬프트에 未知 토큰을 추가합니다.
   • 캘리브레이션(Calibration): 중립적인 프롬프트를 기준으로 레이블 확률을 조정하여 균등 분포를 보장합니다.
   • 인컨텍스트 러닝(ICL): 프롬프트 내에 클래스당 2개의 예시를 제공합니다.
   • 인스트럭션 튜닝(Instruction-Tuning): 인스트럭션 튜닝된 모델 변체를 사용합니다.
   • 메타 태그/채팅 템플릿: 토크나이저 특유의 구분자를 활용합니다.
   • 평가는 로그릿 평가(최종 토큰에서 가장 높은 확률을 가진 클래스 선택)와 생성 평가(자유 텍텍 생성에서 레이블 추출)를 통해 수행됩니다.

2. 로그릿 분석: 저자들은 클래스 레이블에 대한 로그릿 값의 크기와 분포를 분석합니다. 특히 높은 로그릿 값을 생성하는 프롬프트와 낮은 로그릿 값을 생성하는 프롬프트를 비교하여, 로그릿 값과 분류 정확도 사이의 상관관관계를 조사합니다.

3. 선형 프로브(Linear Probe) 분석: 내부 표현을 조사하기 위해, 저자들은 LLM의 모든 레이어 활성화 값에 대해 선형 Ridge 분류기를 훈련시킵니다. 이 기계론적 해석 가능성(mechanistic interpretability) 기법은 프로프트 미지정으로 인해 최종 출력이 실패하더라도, 모델의 내부 상태가 태스크를 해결하기 위한 충분한 정보를 포함하고 있는지 여부를 결정합니다.

주요 결과

1. 프롬프트 미지정의 영향

미지정된 프롬프트는 지시형 프롬프트에 비해 일관되게 높은 성능 편차와 현저히 낮은 관련 토큰의 로그릿 값을 보였습니다. 많은 경우, 최소한의 프롬프트는 레이블 로그릿을 $10^{-5}$에서 $10^{-3}$ 범위로 형성하여, 정답 레이블을 어휘 사전 확률 분포의 하위 절반에 위치시킵니다. 결과적으로, 최소한의 프롬프트 하에서의 분류 결정은 의미론적 이해보다는 노이즈에 의해 주도되는 경우가 많습니다.

2. 완화 전략

• 지시형 프롬프트(Instruction Prompts): 지시형 프롬프트는 일반적으로 평균 성능을 향상시키고 분산을 줄이지만, 그 자체만으로 민감도를 완전히 제거하지는 못합니다.
• 인컨텍스트 러닝(ICL): ICL은 프롬프트 민감도를 완화하는 데 있어 가장 일관되고 유의미한 효과를 제공합니다. 인스트럭션 튜닝된 모델과 결합했을 때, ICL은 가장 높은 정확도와 가장 낮은 표준 편차를 나타냅니다. 특히, ICL은 모델 내부 정보나 중립적 프롬프트에 접근할 필요 없이 캘리브레이션만큼 효과적으로 미지정 문제를 해결합니다.
• 캘리브레이션(Calibration): 캘리브레이션은 ICL과 유사한 개선 효과를 제공하지만 약간 덜 일관적입니다. 캘리브레이션과 ICL을 결합해도 추가적인 이득은 미미하며, 이는 두 방법 모두 동일한 근본 원인을 목표로 하고 있음을 시사합니다.
• UNK 전략: 未知 토큰을 추가하는 전략은 종종 성능을 크게 저하시키며, 때로는 무작위 확률보다 못한 성능을 보이기도 합니다.
• 모델 변체: 모델의 인스트럭션 튜닝된 변체로 전환하면 최소한의 프롬프트와 지시형 프롬프트 모두에서 성능이 크게 향상되지만, 이는 훈련 데이터와 평가 데이터의 중복으로 인한 데이터 누수(data leakage)의 영향일 수도 있습니다.

3. 로그릿 및 선형 프로브 통찰

• 로그릿 상관관계: 레이블 로그릿 값의 크기와 분류 정확도 사이에는 강한 양의 상관관계(최대 $r=0.757$)가 존재합니다. 높은 로그릿 값은 프롬프트 품질과 미지정 부재를 나타내는 신뢰할 수 있는 지표 역할을 합니다.
• 내부 표현: 선형 프로브 분석 결과, 내부 표현(중간 레이어의 활성화 값)은 견고하게 유지되며 태스크를 정확하게 분류하기 위한 충분한 정보를 포함하고 있음이 드러났습니다. 성능 저하는 주로 네트워크의 최종 레이어에서 발생합니다. 이는 모델이 내부적으로는 정답을 "알고" 있지만, 프롬프트가 미지정되었을 때 이를 올바르게 표현하는 데 실패함을 시사합니다.

기여 및 의의

본 논문의 주요 기여는 다음과 같습니다:

1. 프롬프트 민감도의 재정의: 프롬프트 미지정을 관찰된 LLM 민감도의 주요 동인으로 식별하였으며, 모델이 태스크 이해보다는 출력 포매팅(formatting)에서 실패하는 경우가 많다는 점을 주장합니다.
2. 방법론적 엄밀성: 모델 역량을 보다 신뢰성 있게 평가하기 위해, 높은 분산을 유발하는 최소한의 프롬프트에서 벗어나 잘 지정된 지시형 프롬프트와 인컨텍스트 러닝을 사용할 것을 권장합니다.
3. 진단 도구 제공:
   • 로그릿 분석을 프롬프트 품질 진단을 위한 실용적인 도구로 확립하였으며, 낮은 로그릿 값이 낮은 성능과 높은 민감도의 강력한 예측 인자임을 보여주었습니다.
   • 선형 프로빙을 활용하여 민감도 문제가 모델의 최종 레이어에서 나타나는 반면, 내부 표현은 안정적임을 입증하였습니다.
4. 실질적 완화 방안: 단순한 수정, 특히 인스트럭션 튜닝된 모델과 ICL의 조합이 복잡한 캘리브레이션 절차 없이도 대부분의 민감도 문제를 효과적으로 완화할 수 있음을 입증하였습니다.

결론

저자들은 텍스트 분류에서 발생하는 LLM 불안정성의 상당 부분이 모델의 근본적인 태스크 해결 능력 부족이 아니라, 미지정된 프롬프트와 모호한 실험 설정에서 기인한다고 결론짓습니다. 저자들은 향후 연구에서 더 높은 방법론적 엄밀성을 가질 것을 촉구하며, 실제 모델의 한계와 부적절한 프롬프팅으로 인한 아티팩트(artifact)를 구분하기 위해 잘 지정된 프롬프트의 필요성을 강조합니다. 연구 결과는 적절한 프롬프트 전략(특히 지시 형식과 ICL)을 사용하면 관찰된 민감도를 상당 부분 완화할 수 있으며, 이를 통해 더욱 신뢰할 수 있고 재현 가능한 LLM 평가가 가능함을 시사합니다.