Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation

기술 요약: 프롬프트 강건성은 작업 의존적이다

문제 정의
대규모 언어 모델(LLM)에 대한 현재의 평가, 특히 모델의 가치, 신념 또는 정치적 성향을 추론하기 위해 사용되는 설문 방식의 평가는 단일 프롬프트가 안정적이고 의미 있는 모델 행동 측정치를 제공한다는 취약한 가정에 의존하고 있다. 선행 연구는 프롬프트 형식, 어구, 그리고 답변 제시 방식의 미세한 변화가 모델의 출력을 크게 변화시킬 수 있음을 보여준다. 이러한 불안정성은 모델의 내재적 사회적 태도나 정치적 정렬을 입증하는 근거로 응답이 해석되는 설문 기반 평가에서 매우 중요하다. 만약 기저의 작업 의미는 동일함에도 모델의 답변이 변한다면, 이는 평가가 작업 능력과 프롬프트 민감성을 혼동하고 있음을 의미한다. 본 논문은 이러한 민감성이 객관적 질문(고정된 정답이 있는 경우)과 주관적 질문(의견이나 가치를 묻는 경우) 사이에서 다르게 나타나는지 조사한다.

방법론
본 연구는 두 가지 구별되는 데이터셋 범주와 네 가지 명령 튜닝된 모델 제품군(Gemma, Llama, Mistral, Qwen)을 대상으로 통합된 강건성 테스트 프레임워크를 적용한다.

• 데이터셋:
  • 유형-I (객관적): MMLU, ARC, CulturalBench-Easy. 이들은 고정된 정답 키가 있는 객관식 질문들로 구성된다.
  • 유형-II (주관적): 정치 성향 테스트(Political Compass Test), ValueBench, 세계 가치 조사(WVS) 항목. 이들은 단일한 "정답"이 없는 의견 기반 진술 또는 동의 척도로 구성된다.
• 변형 분류 체계(Perturbation Taxonomy): 저자들은 의도된 작업을 보존하면서 표면적 특징을 변경하도록 설계된 일련의 프롬프트 변형들을 큐레이션하였다. 이들은 다음과 같이 분류된다:
  • 의미적 프레이밍(Semantic Framing): 패러프레이징(Paraphrase), 어휘 치환, 철자 노이즈, 논리적 동등성.
  • 표면 형태(Surface Form): 형식 변형(공백, 대소문자, 구분자).
  • 답변 제시(Answer Presentation): 레이블 치환(A/B/C/D를 기호나 숫자로 변경) 및 옵션 셔플링(선택지 순서 재배치).
• 실험 프로토콜:
  • 샘플링 노이즈로부터 프롬프트 효과를 분리하기 위해 모든 모델은 결정론적 디코딩(temperature 0)으로 실행되었다.
  • 서로 다른 프롬프트 형식 간의 일관성을 보장하기 위해 출력은 정규화된 레이블(A, B, C, D)로 변환되었다.
  • 지표: 정답 일관성($C_i$)은 특정 항목에 대한 전체 유효 프롬프트 변형 수 대비 가장 빈번하게 등장한 답변의 비율로 계산되었다.
  • 통계 분석: 저자들은 여러 관련 프롬프트 변형 하에 나타나는 항목들의 비독립성을 고려하기 위해 이항 일반화 추정 방정식(GEE) 모델을 활용하였다. 모델, 데이터셋, 데이터셋 유형, 프롬프트 범주 간의 주효과와 상호작용을 테스트하였다.

주요 결과
통계 분석 결과, 프롬프트 강건성은 균일한 속성이 아니라 질문 유형, 특정 변형, 그리고 모델 간의 상호작용에 따라 고도로 의존적이라는 사실이 드러났다.

1. 주관적 vs. 객관적 불안정성: 주관적 데이터셋(유형-II)은 객관적 데이터셋(유형-I)보다 유의미하게 낮은 일관성을 보였다. 객관적 데이터셋의 평균 일관성은 0.849인 반면, 주관적 데이터셋은 0.787이었다. 이 격차는 옵션 순서(option order) 변형에서 가장 두드러졌는데, 이때 주관적 일관성은 객관적 작업의 0.485에 비해 0.328로 급락했다.
2. 변형 민감도: 모든 프롬프트 변화가 모델에 동일하게 영향을 미치는 것은 아니다.
   • 옵션 순서: 모든 모델과 데이터셋에서 가장 강력한 불안정성의 원인이며, 평균 일관성을 0.407로 감소시킨다.
   • 의미적 변형: 패러프레이징, 논리적 동등성, 어휘 치환은 상대적으로 안정적이며, 일관성 점수가 일반적으로 0.90을 상회한다.
   • 형식 및 레이블: 형식 변형과 레이블 치환은 특히 주관적 작업에서 중간 정도의 불안정성을 유발한다.
3. 상호작용 효과: GEE 모델은 데이터셋 유형과 프롬프트 범주 사이의 유의미한 상호작용($\chi^2 = 175.435, p < 10^{-35}$)을 확인했다. 이는 주관적 작업이 단순히 평균적으로 덜 일관적인 것이 아니라, 객관적 작업과 비교했을 때 답변이 제시되는 방식(예: 순서 및 레이블)에 대해 독특하게 민감하다는 것을 나타낸다.
4. 모델 편차: 강건성은 모델마다 다르다. Qwen은 다른 모델들에 비해 옵션 셔플링 하에서 일반적으로 더 높은 안정성을 보였으나, 모든 모델은 특정 변형 유형에 대해 유의미한 민감도를 보였다. 모든 변형 범주와 데이터셋 유형에 대해 강건한 단일 모델은 존재하지 않았다.

기여
본 논문은 세 가지 주요 기여를 한다:

1. 큐레이션된 변형 세트: 프롬프트 민감도, 객관식 포맷팅, 설문 편향에 관한 선행 연구들을 종합하여, 객관적 및 주관적 영역 모두에서 통합된 평가가 가능하도록 적응시킨 광범위한 변형 분류 체계를 구축하였다.
2. 통합 강건성 테스트: 객관적 데이터셋과 주관적 데이터셋 간의 프롬프트 강건성을 직접 비교함으로써, 일반적인 프롬프트 노이즈와 가치 기반 질의에 특화된 불안정성을 분리해 냈다.
3. 작업 의존성에 대한 통계적 증거: 클러스터링된 통계 테스트를 사용하여, 프롬프트 민감도가 모델의 정적 속성이 아니라 모델, 데이터셋, 데이터셋 유형, 그리고 변형 범주의 결합 함수임을 입증하였다.

의의 및 주장
저자들은 본 연구의 결과가 LLM 평가, 특히 가치나 신념을 추론하는 평가 방식의 변화가 필요함을 시사한다고 주장한다.

• 단일 프롬프트 설문의 취약성: 정치적 또는 가치 관련 질문에 대한 단일 프롬프트 응답은 해당 응답이 프롬프트 변형을 견뎌내지 못한다면, 모델의 신념에 대한 안정적인 척도로 취급되어서는 안 된다.
• 불안정성의 해석: 주관적 작업에서 프롬프트 변형은 단순한 노이즈가 아니다. 이는 측정된 입장의 취약성을 드러낸다. 모델은 어구, 레이블 선택, 또는 옵션 순서를 응답 방식에 대한 단서로 사용할 수 있으며, 이는 "신념"이 안정적인 내부 상태에서 인출된 것이 아니라 프롬프트 구조에 의해 구축되었음을 의미한다.
• 평가 모범 사례: 저자들은 강건성을 단일 글로벌 점수가 아닌, 모델, 데이터셋, 그리고 변형 범주 간의 관계로 보고해야 한다고 주장한다. 연구자들은 특정 실패 모드(예: 지시 이행 능력 vs. 위치 편향)를 식별하기 위해 의미적 변형과 표면적 변형을 구분해야 하며, 단일 정확도나 설문 점수에 의존하는 대신 프롬프트 변형에 걸친 일관성을 보고해야 한다.

본 연구는 가치 및 신념 평가에 있어 프롬프트 변형에 대한 강건성이 평가 설계의 표준 구성 요소가 되어야 한다고 결론짓는다. 왜냐하면 현재의 단일 프롬프트 의존 방식은 모델의 행동에 대해 불안정하고 잠재적으로 오해의 소지가 있는 추론을 낳기 때문이다.