Self-Preference Is Weak or Absent in Verifiable Instruction-Following Revision: A Four-Model Test Under Genuine Authorship

기술 요약: 검증 가능한 지시 이행 수정 작업에서 자기 선호(Self-Preference)는 약하거나 부재함

문제 정의
대규모 언어 모델(LLM)은 스스로가 판사 역할을 할 때 자신이 생성한 텍스트를 선호하는 '자기 선호' 편향을 보인다는 점이 입증되어 있습니다. 이러한 편향은 품질 판단 및 자기 개선 루프에서는 확립되어 있으나, 모델이 자신의 글에 대한 '유효한' 수정을 받아들이는지 여부는 여전히 불분명합니다. 구체적으로, 모델이 자신이 작성한 초안에 대해 구체적이고 기계로 검증된 수정안을 제시받았을 때, 중립적인 모델보다 그 수정을 더 자주 거부할까요? 이 질문에 명확히 답하는 것은 두 가지 혼란 변수 때문에 어려웠습니다: (1) 수정안이 '유효'한지 결정하는 과정이 보통 다른 LLM에 의존하여 연구 대상인 편향을 다시 도입하게 된다는 점(순환 논리); (2) 기존 연구들은 실제 문맥 내 저자성(in-context authorship)보다는 "당신이 이것을 썼다"라고 알려주는 방식의 '알려진 라벨(told labels)'에 의존한다는 점입니다.

방법론
본 연구는 IFEval 데이터셋과 공식 체커(checker)를 기반으로 한 결정론적이고 검증 가능한 프레임워크를 사용하여 이러한 문제를 해결합니다.

• 검증 가능한 진실(Verifiable Ground Truth): 초안과 수정안의 유효성은 LLM이 아닌 프로그래밍된 체커에 의해 결정됩니다. 체커는 초안이 특정 제약 조건을 위반했음을 확인하고, 후보 수정안이 다른 제약 조건을 깨뜨리지 않으면서 해당 위반을 해결하는지 확인합니다.
• 실험 설계: 본 연구는 동일한 검증된 양질의 수정안에 대해 두 가지 의사결정 조건을 비교합니다:
  1. 저자 (실제/Genuine): 문맥 내에서 실제로 초안을 생성한 모델이 수정안을 수락할지 거부할지 결정합니다. 이는 '알려진 라벨' 없이 진정한 저자성을 보장합니다.
  2. 신규 (Fresh): 다른 모델(또는 새로운 세션의 동일 모델)이 해당 초안을 "하나의 초안 응답"으로 중립적으로 보고 동일한 수정안에 대해 결정합니다.
• 범위: 본 연구는 세 번의 파일럿 테스트를 거쳐 네 가지 중간 규모 모델 제품군(gpt-4o-mini, claude-3.5-haiku, gemini-2.5-flash-lite, llama-3.3-70b-instruct)을 대상으로 한 유효 초안 85개를 사용하는 P3 테스트로 마무리됩니다.
• 지표: 주요 지표는 자기 선호 격차($G$)이며, 이는 저자 모델과 신규 모델의 거부율 차이로 정의됩니다 ($G = r_{author} - r_{fresh}$). 양(+)의 $G$는 저자가 자신의 작업에 대한 유효한 수정을 더 꺼려함을 나타냅니다.

주요 결과

• 자기 선호의 부재: 85개의 초안과 4개의 모델 제품군 전반에 걸쳐 감지 가능한 자기 선호는 발견되지 않았습니다. 통합된 자기 선호 격차는 $G = -5.1$ 퍼센트 포인트(pp)였으며, 95% 신뢰 구간은 $[-12.9, +2.7]$였습니다. 이 구간은 0을 포함하므로, 저자는 동일한 초안을 판단하는 신규 모델과 거의 동일한 비율로 자신의 초안에 대한 검증된 양질의 수정을 거부함을 나타냅니다.
• 무효 결과의 재현: 더 작은 규모의 파일럿(P2)은 약한 '자기 회의(self-skepticism)' 신호(저자가 자신의 작업에 대해 약간 더 엄격해지는 경향)를 시사했으나, 이는 더 큰 규모의 P3 테스트에서 재현되지 않았습니다. 오히려 P3의 점 추정치는 약간 음수였으며, 이는 저자가 자신의 작업에 대한 수정을 수용하는 데 미세하게 더 너그러웠음을 시사합니다.
• 질적 차이: 거부율 자체는 유의미한 차이가 없었으나, 저자의 거부 '성격'에는 차이가 있었습니다. 저자가 검증된 양질의 수정을 거부한 39개 사례 중, 97.4%는 "체커보다 엄격한(stricter-than-checker)" 분류(예: 수정안이 이차적 제약 조건을 깨뜨렸음을 식별하는 결함 포착)였으며, 단 2.6%만이 단순한 선호("원래 것이 더 좋다")에 기반했습니다.
• 모델 가변성: 거부율은 모델 제품군마다 달랐으나, 이는 주로 저자 자신이 아닌 '신규' 비교 모델의 엄격함에 의한 것이었습니다. 저자의 거부율은 모든 제품군에서 15% 근처로 밀집되어 있었습니다.

의의 및 주장
본 논문은 자기 관련 편향의 지형도에서 "깨끗한 셀(clean cell)"을 매핑한다고 주장합니다. 자기 선호는 품질 판단 및 답변 선택 작업에서 잘 문서화되어 있지만, 본 연구는 진정한 문맥 내 저자성을 가진 검증 가능한 지시 이행 수정이라는 특정 설정에서 자기 선호가 약하거나 부재함을 보여줍니다.

저자들은 자신들의 주장에 대해 다음과 같이 겸허하게 명시합니다:

• 자기 선호가 보편적으로 "부재함이 증명되었다"고 주장하는 것이 아니라, 샘플 크기($N=85$)를 고려할 때 $\sim13$ pp보다 작은 효과는 배제할 수 없다고 명시합니다.
• 본 연구는 중간 규모 모델에 국한됩니다 (IFEval의 천장 효과를 피하기 위함). 또한 저차원적이고 원자적인 제약 조건에 국한됩니다 (스타일이나 논증 같은 총체적 수정은 제외).
• 초기 파일럿에서 관찰된 '자기 회의' 신호는 규모 있는 실험에서 재현되지 않았으므로 견고한 발견으로 간주되지 않습니다.

주요한 방법론적 기여는 결정론적 체커와 실제 문맥 내 저자성을 결합하여 신뢰할 수 있는 무효 결과(null result)를 도출할 수 있는 설계에 있으며, 저자가 유효한 수정을 거부할 때 그것이 자아나 선호 때문이 아니라 엄격한 결함 포착 때문이라는 질적 관찰입니다.