기술 요약: 평가자는 실험의 일부이다

문제 정의

대규모 언어 모델(LLM)의 순응성에 관한 기존 연구는 주로 검증 가능한 라벨(예: 정답인 객관식 선택지에서 오답으로 전환됨) 하에서의 이산적인 답변 변화(answer flips)를 측정하는 데 의존해 왔다. 그러나 개방형 순응(open-ended conformity)은 별개의 측정 과제를 제시한다. 즉, 답변의 품질은 등급이 매겨지고, 잠재적이며, 불완전하게 판단된다는 점이다. 기존의 지표들은 답변의 명제 자체가 범주적으로 변하지 않더라도 발생하는 인식론적 프레이밍, 사실성 또는 완결성의 미묘한 저하를 포착하지 못한다. 또한, 평가 과정 자체도 취약하다. 평가자(인간 또는 자동화된 모델)는 가시적인 동료 맥락에 반응할 수 있으며, 이로 인해 생성된 답변의 변화와 평가자의 판단 변화를 혼동할 수 있다. 본 논문은 개방형 순응이 생성자와 평가자가 결합된 생성-및-측정 문제이며, 평가자가 실험의 능동적인 구성 요소라고 상정한다.

방법론

저자들은 생성 측의 수정 효과와 평가 측의 민감도를 분리하기 위해 설계된 실험 프로토콜을 제안한다. 본 연구는 4개의 오픈 웨이트 생성기(Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B)와 3개의 벤치마크(TruthfulQA, MMLU-Pro, ARC-Challenge)를 활용한다.

실험 설계

프로토콜은 2단계 과정으로 구성된다:

1. 1라운드: 생성기가 초기 답변($a^{(1)}$)을 생성한다.
2. 2라운드: 동일하게 실현된 1라운드 답변으로부터 파생되는 7가지의 서로 다른 조건 하에서 동일한 질문에 다시 답하도록 생성기에 프롬프트를 제공한다:
   • No-Peer (동료 없음): 베이스라인 재답변.
   • Content-Only (내용만 노출): 속성(attribution) 없이 단순 목록 형태로 제시된 후보 텍스트(정답, 오답 또는 혼합된 내용)에 대한 노출.
   • Peer-Presented (동료 제시): 동일한 후보 텍스트를 6인의 화자가 속성을 가진 블록 형태로 구성하여 제시(동료 토론 시뮬레이션). 이때 권위 단서(authority cues)의 변형이 포함된다.

평가 전략

생성 측의 수정 효과를 격리하기 위해, 모든 생성된 답변은 쌍을 이룬 평가를 거친다:

• Blind Rating (블라인드 레이팅): 동료 맥락 없이 답변을 평가한다.
• Informed Rating (정보 기반 레이팅): 동일한 답변을 관련 동료 블록이 보이는 상태에서 다시 평가한다.

이 설계를 통해 평가자 측의 동료 맥락 민감도($\gamma_j$)를 측정할 수 있다. 이는 동료 맥락이 도입되었을 때 동일한 답변에 대해 발생하는 평점 변화로 정의된다. 본 연구는 서수적 평점(1~5 척도)으로부터 잠재적 답변 품질($\theta_i$)을 추론하기 위해 계층적 서수 모델을 사용하며, 이때 평가자 특유의 변별력($\alpha_j$)과 엄격도($\beta_j$)를 고려한다.

분해(Decomposition)

저자들은 전체 동료-암(peer-arm) 이동량($\Delta_{total}$)을 세 가지 구성 요소로 분해한다:

1. 일반적 재답변 ($\Delta_{sp}$): 1라운드에서 동료가 없는 2라운드로의 변화.
2. 내용 노출 ($\Delta_{content}$): 동료 프레이밍 없이 후보 텍스트를 보는 것의 효과.
3. 동료 제시 잔차 ($\Delta_{pp}$): 사회적/속성이 부여된 동료 블록 내에 콘텐츠를 제시함으로써 발생하는 추가적인 효과.

주요 결과

1. 플립 레이트(Flip Rates)의 불충분성

이진 플립 지표는 개방형 순응의 본질을 포착하지 못한다. 광범적인 답변 위치가 변하지 않는 경우(예: "까마귀 한 마리는 불길하다")에도 설명의 품질은 크게 저하될 수 있다(예: 미신에 대한 경고를 제거하고 규범적 의례를 채택함). TruthfulQA에서, 플립 지표상으로는 "변하지 않은" 것으로 나타난 수정 사례 중 9.0%가 블라인드 레이팅에서 최소 1점 이상의 손실을 보였다.

2. 잘못된 동료는 수정 품질을 해친다

모든 생성기-데이터셋 셀에 걸쳐, 모든 답변이 틀린 동료 입력은 가장 낮은 품질의 수정을 생성한다.

• 규모: 잘못된 동료 하에서의 품질 저하는 상당하다. 예를 들어, ARC-Challenge에서 Llama-3.1-8B 모델은 $-0.528$의 잠재적 품질 변화를 보였는데, 이는 고정된 정답과 오답 앵커 사이 거리의 약 18%에 해당한다.
• 비대칭성: 잘못된 동료의 해로운 효과는 올바른 동료로부터 얻는 잠재적 이득보다 훨씬 크다. "해로운-유익한 비대칭성" 지표($Asym_{total}$)는 12개 생성기-데이터셋 셀 모두에서 양수로 나타났으며, 이는 틀린 동료가 품질을 저하시키는 정도가 옳은 동료가 품질을 개선하는 정도보다 크다는 것을 의미한다.

3. 평가자는 동료 맥락에 민감하다

동일한 답변에 대한 평가라도 동료 맥락의 가시 여부에 따라 달라지며, 이 변화의 방향은 평가자마다 다르다:

• Mistral-7B: 평점을 동료가 지지하는 방향으로 이동시킨다 ($\gamma > 0$).
• Gemma-2-9B 및 Llama-3.1-8B: 평점을 동료가 지지하는 방향의 반대로 이동시킨다 ($\gamma < 0$).
• Qwen2.5-7B: 거의 중립적이다.
• 프런티어 모델 (GPT-4o, GPT-5.4-mini): 두 모델 모두 신뢰할 만한 음(-)의 방향성 민감도를 보인다 (동료로부터 멀어지는 방향으로 이동).
  이는 평가자가 중립적인 관찰자가 아님을 확인시켜 준다. 즉, 평가자의 평점은 생성자에게 제시된 것과 동일한 합의 또는 권위 단서에 영향을 받는다.

4. 앵커 캘리브레이션(Anchor Calibration)의 필요성

본 연구는 잠재 척도가 기원과 품질의 단위를 정의하기 위해 앵커(간결한 정답/오답 예시)에 의존한다는 점을 강조한다. 앵커 평가 시 참조 증강 스코어링(reference-augmented scoring)을 명시적으로 수행하지 않으면, 평가자들은 정답과 오답 앵커를 구분하지 못하여(26.7%의 경우) 잠재 척도를 불안정하게 만든다. 참조 증강 스코어링은 정답 순서를 97.5%까지 높였다.

의의 및 주장

본 논문은 개방형 순응이 답변 플립만으로 측정될 수 없으며, 자동화된 평가자가 처치(treatment)와 상관관계가 있는 맥락에 무감각하다고 가정해서도 안 된다고 주장한다. 주요 기여는 다음과 같다:

1. 측정 프레임워크: 일반적 재답변, 후보 콘텐츠 노출, 동료 제시의 잔여 효과, 그리고 방향성 있는 판사 민감도를 분리하는 프로토콜을 제시한다.
2. 해악에 대한 실증적 증거: 최종 명제가 바뀌지 않더라도 틀린 동료가 일관되게 개방형 수정 품질을 저하시킨다는 것을 입증하였다.
3. 평가자의 비중립성: 서로 다른 모델이 동료 맥락에 대해 이질적인 민감도를 보임을 통해 "평가자가 실험의 일부"임을 증명하였다.
4. 캘리브레이션 요구사항: 표준적인 수렴 진단이 의도한 구인(construct)을 나타낸다는 것을 보장하지 않으므로, 앵커 캘리브레이션이 유효한 잠재 척도 측정의 전제 조건임을 주장한다.

저자들은 다중 에이전트 시스템의 신뢰할 수 있는 평가를 위해서는 적절한 베이스라인 통제, 명시적인 평가자 민감도 모델링, 독립적인 교차 검증(예: 고정된 분류기), 그리고 척도 캘리브레이션에 대한 직접적인 감사가 필요하다고 결론짓는다. 이들은 이러한 발견이 모든 LLM 시스템에 대한 보편적 법칙이라고 주장하는 것이 아니라, 명시된 실험 설정 내에서 식별 가능한 양이라고 밝히고 있다.