Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models

기술 요약: 간극에 유의하라: 언어 모델에서 진술된 선호와 드러난 선호 간 간극을 형성하는 elicitation 프로토콜

1. 문제 제기

최근 문헌은 대규모 언어 모델 (LLM) 에서 진술된–드러난 (Stated–Revealed, SvR) 선호 간극을 확인했다: 이는 추상적 설정에서 모델이 명시적으로 지지하는 가치와 맥락화된 시나리오에서 모델이 내리는 선택 사이의 불일치다 (Gu et al., 2025; Liu et al., 2025; Chiu et al., 2025). 이 간극에 대한 기존 평가는 이진 강제 선택 프롬프팅에 크게 의존한다. 이 방법론은 선호 강도, 무관심, 불확실성을 단일 이진 결과로 축소하여, elicitation 프로토콜의 인공물과 진정한 선호를 혼동할 가능성을 내포한다 (Khan et al., 2025; Balepur et al., 2025). 본 연구가 다루는 핵심 문제는 측정된 SvR 상관관계가 진정한 모델 정렬을 반영하는지, 아니면 불확정적 선호를 가질 수 있는 모델을 결정적 선택을 하도록 강제함으로써 발생하는 부산물인지 여부다.

2. 방법론

저자들은 24 개의 언어 모델에 걸쳐 elicitation 프로토콜이 SvR 상관관계에 미치는 영향을 체계적으로 평가한다. 본 연구는 LitmusValues 프레임워크와 AIRiskDilemmas 데이터셋 (Chiu et al., 2025) 을 기반으로 하여, 중립과 기권을 명시적으로 허용하도록 방법론을 확장한다.

• Elicitation 프로토콜:
  • 강제 선택 (Forced-Choice): 모델은 두 가지 가치 또는 행동 중 하나를 선택해야 한다.
  • 확장 선택 (Expanded-Choice): 모델은 추가로 "동등한 선호" 또는 **"상황에 따라 다름 (Depends)"**으로 응답할 수 있으며, 이를 통해 무관심이나 맥락적 불확실성을 표현할 수 있다.
• Elicitation 설정:
  • 진술된 선호 (Stated Preferences): 추상적 쌍별 가치 비교 (16 가지 공유 AI 가치) 를 통해 elicitation 한다.
  • 드러난 선호 (Revealed Preferences): AIRiskDilemmas 의 3,000 개 맥락화된 도덕적 딜레마를 사용하여 elicitation 한다.
• 순위 구성:
  • 진술된 순위는 결정적 이진 비교에서의 승률에서 파생된다.
  • 드러난 순위는 딜레마 간의 승/패를 기반으로 한 Elo 평점 (1–16 척도로 변환) 을 사용한다.
  • 중요한 방법론적 선택: 엄격한 방향성 우선순위를 격리하기 위해 중립 응답 (Equal/Depends) 을 순위 구성에서 제외한다. 이 배제는 스피어만 순위 상관관계에 필요한 밀집된 순위를 생성하기 위해 필요하지만, 결과에 중대한 함의를 가진다.
• 개입: 본 연구는 시스템 프롬프트 스티어링을 테스트한다. 즉, 드러난 선호 elicitation 시 모델의 자체 진술된 가치 위계 (확장 선택 elicitation 에서 파생됨) 를 시스템 프롬프트에 선행하여 SvR 간극을 줄이는지 확인한다.
• 지표: SvR 상관관계는 진술된 순위와 드러난 1–16 순위 간의 **스피어만 순위 상관관계 ($\rho$)**로 측정한다.

3. 주요 결과

A. 중립률은 높고 변동성이 크다
확장 선택 elicitation 하에서 중립률 ("동등한 선호" 또는 "상황에 따라 다름" 응답) 은 모델 계열과 elicitation 모드에 따라 크게 달라진다.

• 진술된 선호 elicitation 에서 중립률은 48.2% 에서 100% 사이로 변동한다 (예: Qwen-3-8B 는 주로 "Depends"를 선택함).
• 드러난 선호 elicitation 에서 일부 모델 (예: Mistral-3-8B 변형) 은 거의 모든 시나리오에서 중립 응답을 선택하는 반면, 다른 모델들 (예: Gemma-3-4B) 은 약 70% 의 경우 "동등한 선호"를 선택한다.
• 이는 강제 이진 비교가 종종 내재된 불확실성이나 무관심을 가리고 있음을 시사한다.

B. 프로토콜이 SvR 상관관계에 미치는 영향
본 연구는 세 가지 구성을 평가한다:

1. 강제–강제 (기선): Chiu et al. (2025) 를 재현한 것으로, SvR 상관관계에서 상당한 모델 간 변이를 보여주며 모델별 결정 패턴에 대한 민감성을 나타낸다.
2. 확장된 진술 / 강제된 드러남: 진술된 선호에서만 중립을 허용하여 (약한 비교를 필터링) SvR 상관관계를 뚜렷하게 증가시킨다. 예를 들어, LLaMA-3.1-405B-Instruct 는 $\rho \approx 0.2$에서 $\rho \approx 0.7$로 개선된다. 이 조건 하에서 SvR 상관관계는 모델 능력 (Epoch Capabilities Index) 과 양의 상관관계를 가진다.
3. 확장–확장: 진술된 선호와 드러난 선호 모두에서 중립을 허용하면, 많은 모델의 SvR 상관관계가 거의 0 또는 음수로 떨어진다. 이는 드러난 선호에서 높은 중립률로 인해 밀집되고 안정적인 순위 구성이 불가능해지기 때문이다. 잔여 이진 선택은 상관관계 기반 비교를 위한 신호가 너무 약하다.

C. 시스템 프롬프트 스티어링은 신뢰할 수 없다
드러난 선호 elicitation 시 시스템 프롬프트 스티어링 (모델의 진술된 위계를 컨텍스트 창에 주입) 을 적용하는 것은 16 가지 가치 도메인에서 SvR 상관관계를 신뢰할 수 있게 개선하지 못한다.

• 효과가 일관되지 않다: 소수의 모델은 modest한 개선을 보이지만, 많은 모델 (Claude 계열 포함) 은 스티어링 후 감소된 상관관계를 보인다.
• 이는 프롬프트 스티어링이 소수의 가치 세트 (예: 3 개) 에서는 더 효과적이지만, 더 많은 가치 세트에서는 효과가 적다는 이전 연구 결과 (Liu et al., 2025) 와 일치한다. 16 가지 가치의 경우, 스티어링은 종종 결정 일관성을 저해하는 간섭을 초래한다.

4. 주요 기여

• 프로토콜 민감성: SvR 상관관계가 프로토콜에 매우 의존적임을 입증한다. 중립을 허용할지 여부를 선택하는 것은 측정된 정렬을 근본적으로 바꾼다.
• 약한 신호 필터링: 진술된 선호에서 모델이 중립을 표현하도록 허용하면 불확정적 비교를 필터링하여, 강제 선택 드러난 행동과 더 강하게 상관되는 순위를 산출함을 보여준다.
• 스티어링의 한계: 단순한 시스템 프롬프트 스티어링이 대규모 가치 도메인 (16 가지 가치) 에서 SvR 간극을 해소하기에 불충분하며 오히려 해로울 수 있음을 증거로 제공한다.
• 중립을 특징으로 간주: 드러난 선호에서 높은 중립률은 단순한 노이즈가 아니라, 많은 모델이 맥락화된 시나리오에서 가치에 대한 깔끔한 전체 순서를 가지고 있지 않음을 나타낸다.

5. 중요성과 주장

본 논문은 SvR 상관관계가 모델의 안정적 고유 속성이 아니라 elicitation 프로토콜에 의해 크게 형성된다고 결론지었다.

• 방법론적 함의: 선호 평가는 인위적인 결정성을 생성할 수 있는 이진 선택을 강제하기보다 중립과 불확정성을 명시적으로 고려해야 한다.
• 정렬 함의: SvR 간극을 해소하려면 진술된 가치 시스템 프롬프팅보다 강력한 개입이 필요할 가능성이 높으며, 특히 많은 가치가 관여할 때 그렇다.
• 중립의 해석: 드러난 시나리오에서 높은 "Depends" 및 "동등한 선호" 비율은 많은 모델이 맥락과 무관한 경직된 가치 위계를 가지고 있지 않음을 시사하며, 쉽게 스티어링될 수 있는 단일하고 안정적인 "가치 체계"라는 가정에 도전한다.

저자들은 불확정적 선호에 전체 순서를 강제하는 것이 정렬의 오해의 소지가 있는 지표를 산출할 수 있으므로, 중립을 폐기하지 않고 이를 모델링하는 평가 방법이 필요함을 강조한다.