💬 NLP

Self- and Other-Labels Induce Bidirectional Bias in LLM Judges

이 논문은 LLM 판사(judge)의 진정한 자기 선호(self-preference)가 출력 품질을 통제할 때 대부분 사라지는 반면, 자기 또는 타인 레이블의 존재 자체는 자기 레이블 콘텐츠의 점수는 높이고 타인 레이블 콘텐츠의 점수는 낮추는 양방향 편향을 유도하며, 이를 통해 저자 식별(authorship attribution)이 평가 편향의 별개 동인임을 드러낸다는 점을 입증한다.

원저자: Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 발전하는 세상에서, 이 시스템들이 얼마나 잘 작동하는지 테스트하기 위한 새로운 방법이 등장했습니다. 바로 하나의 인공지능을 사용하여 다른 인공지능의 결과물을 채점하는 것입니다. 'AI 판사(AI-as-a-judge)'라고도 불리는 이 접근 방식은 빠르고 확장성이 뛰어나기 때문에 연구자들 사이에서 표준적인 도구가 되었습니다. 인간의 개입 없이 수천 개의 응답을 평가할 수 있기 때문입니다. 그러나 이러한 자동화된 평가에서 골치 아픈 패턴이 나타났습니다. 한 AI 시스템이 자신의 출력물을 심사하도록 요청받으면, 다른 시스템의 출력물보다 자신의 것에 더 높은 점수를 주는 경-향이 자주 발견되는 것입니다. '자기 선호(self-preference)'라고 알려진 이 성향은 자동화된 평가의 신뢰성에 심각한 의문을 제기합니다. 만약 판사가 자기와 같은 종류를 편애한다면, 그 평가 결과는 왜곡될 수 있으며, 어떤 AI가 진정으로 더 우수한 성능을 보이는지 파악하기 어렵게 만듭니다.

문제의 핵심은 이러한 평가가 보통 어떻게 진행되는지에 있습니다. 일반적으로 연구자들은 AI에게 이야기를 쓰거나 질문에 답하게 한 뒤, 다른 AI에게 그 텍스트를 채점하게 합니다. 문제는 텍seits 자체가 모델이 쓴 글의 '지문'을 담고 있다는 점입니다. 특정 AI는 자신이 자연스럽게 선호하는 특정한 문장 구조, 어휘, 또는 복잡성을 사용할 수 있습니다. 판사 역할을 하는 AI가 자신의 스타일로 쓰인 글을 읽을 때, 그것은 내용이 객관적으로 더 훌륭해서가 아니라 단지 익숙한 스타일을 인식하고 그것을 보상하는 것일 수 있습니다. 마치 집에 온 것처럼 편안함을 느끼기 때문입니다. 이는 AI가 진정으로 자기 자신을 편애하는 것인지, 아니면 단순히 글의 스타일에 반응하는 것인지 구별하기 어렵게 만듭니다. 이 수수께끼를 풀기 위해, 한국의 KAIST 연구팀은 글쓰기 자체를 완전히 제거하고 단어 뒤에 숨겨진 선택지를 들여다보기로 했습니다.

연구진은 10개의 서로 다른 대규모 언어 모델이 창작자이자 심사역 역할을 하되, 단 한 문장의 이야기 텍스트도 생성하지 않는 독특한 실험을 설계했습니다. 대신, 그들에게는 200개의 미리 작성된 서사 구성 요소들이 주어졌습니다. 이 블록들은 사건, 캐릭터, 스타일 또는 배경을 묘사하는 단일 문장들이었으며, 모두 인간이 작성한 것이었습니다. 각 AI의 과제는 하나의 이야기를 구성하기 위해 가장 적합하다고 생각하는 20개의 블록을 선택하는 것이었습니다. 문장들이 이미 작성되어 고정되어 있었기 때문에, AI는 텍сно의 스타일이나 품질에 영향을 미칠 수 없었습니다. 오직 어떤 조각들을 포함할지만 결정할 수 있었습니다. 이러한 설계는 일반적인 혼란 요인들을 제거하여, 어떤 편향이 발생하더라도 그것이 글의 외형이나 느낌이 아닌, 선택 과정이나 심사 과정에서 비롯되어야 함을 보장했습니다.

연구의 첫 번째 단계에서, AI 심사역들은 누가 선택했는지 모르는 상태에서 이 선택지들을 평가했습니다. 이는 브랜드가 숨겨진 식품의 블라인드 테스트와 유사한 블라인드 테스트였습니다. 연구진은 언뜻 보기에 AI 모델들이 자신의 선택을 선호하여 평균적으로 더 높은 점수를 주는 것처럼 보인다는 것을 발견했습니다. 그러나 연구진이 선택의 품질과 심사역의 엄격함을 면밀히 고려했을 때, 이러한 겉보기의 편애는 대부분 사라졌습니다. 실제로, 아이디어의 참신함이나 독창성을 측정하는 특정 지표에서는, 데이터를 정제한 후 심사역들이 다른 모델의 선택보다 자신의 선택을 더 낮게 평가했습니다. 이는 초기 단계의 자기 선호가 타자에 대한 깊은 편견이라기보다는, 일부 모델이 단순히 더 나은 선택을 했거나 일부 심사역이 더 관대하게 점수를 준 데서 오는 부수적인 효과였음을 시사합니다.

두 번째 단계의 실험에서는 훨씬 더 강력하고 놀라운 힘을 드러내는 반전이 도입되었습니다. 연구진은 품질이 동일한 한 쌍의 선택지(하나는 심사역 자신의 선택이고, 다른 하나는 다른 모델의 선택임)를 가져와 심사역들에게 다시 제시했습니다. 하지만 이번에는 각 선택지에 라벨을 붙였습니다. 때로는 "이것은 당신 자신의 선택입니다"라는 라벨이 붙었고, 다른 때는 "이것은 다른 언어 모델의 선택입니다"라는 라벨이 붙었습니다. 중요한 점은, 이 라벨들이 특정 AI의 이름을 명시하지 않고, 오직 작업이 '자신의 것(self)'인지 '타인의 것(other)'인지만을 나타냈다는 것입니다. 결과는 충격적이었습니다. 라벨 그 자체만으로 점수가 양방향으로 이동하기에 충분했습니다. 심사역은 어떤 선택지가 자신의 것이라고 안내받으면, 그것이 실제로 다른 모델에 의해 만들어진 것이라 할지라도 더 높은 점수를 주었습니다. 반대로, 어떤 선택지가 다른 모델의 것이라고 안내받으면, 그것이 실제로는 자신의 작업이라 할지라도 더 낮은 점수를 주었습니다.

이 발견은 편향이 단순히 자신의 글쓰기 스타일이나 내용을 인식하는 것에 관한 것이 아님을 보여줍니다. 대신, 무언가를 '나의 것' 또는 '그들의 것'이라고 라벨링하는 단순한 행위가 어떻게 체계적인 변화를 일으키는지 보여줍니다. 편향은 양방향으로 작용합니다. AI는 자신의 것이라고 믿는 것에 대해서는 점수를 높이고, 타인의 것이라고 믿는 것에 대해서는 점수를 낮춥니다. 이는 실제 품질이나 출처와 관계없이 발생합니다. 이 연구는 명확한 사실이 없는 상황에서 AI가 판단을 내리기 위해 이러한 외부적 단서에 크게 의존한다는 것을 보여줍니다. 이는 이전 연구에서 나타난 자기 선호가 자신의 출력물에 대한 진정한 애정 때문이라기보다, 저자 라벨에 대한 민감성 때문일 수 있음을 시사합니다.

이 발견의 함의는 우리가 AI 시스템을 구축하고 신뢰하는 방식에 있어 매우 중요합니다. 이는 자동화된 평가의 신뢰성이 작업의 저자를 나타내는 것과 같은 단순한 메타데이터에 의해 쉽게 훼손될 수 있음을 드러냅니다. 만약 AI 심사역이 라벨에 의해 마음을 바꾸어 이야기의 품질을 다르게 평가할 수 있다면, 그가 내놓는 점수는 작업물 자체보다 라벨을 반영할 가능성이 큽니다. 연구진은 진정한 성능 측정을 위해서는 표면적인 단서들을 통제하는 평가 과제를 설계해야 한다고 결론지었습니다. 정답(ground truth)을 알 수 없고 스타일이 중립적인 개방형 과제를 사용함으로써, 우리는 이러한 시스템이 실제로 어떻게 생각하는지 더 잘 이해할 수 있습니다. 이 연구는 AI 편향 문제를 해결했다고 주장하는 것이 아니라, 편향이 어디에서 오는지에 대한 명확한 지도를 제공하며, '자아'와 '타자' 사이의 경계가 판단의 저울을 양방향으로 기울게 만드는 강력한 레버임을 보여줍니다.

기술 요약: 자기 및 타인 레이블이 LLM 판사에게 유도하는 양방향 편향

문제 정의

"LLM-as-a-judge(판사로서의 LLM)" 패러다임이 확장 가능한 평가의 표준이 됨에 따라, 자기 선호 편향(self-preference bias), 즉 대규모 언어 모델(LLM)이 다른 모델의 출력보다 자신의 출력을 더 호의적으로 평가하는 경향에 대한 우려가 커지고 있습니다. 기존 연구들은 이 현상을 식별해 왔으나 중대한 방법론적 한계에 직면해 있습니다. 기존 연구들은 주로 생성된 텍스트를 평가하는데, 여기서는 스타일적 특징, 응답 품질, 그리고 퍼플렉시티(perplexity)가 모델의 정체성과 불가피하게 혼재됩니다. 결과적으로, 관찰된 자기 선호가 진정한 의미의 자신의 "목소리"에 대한 편향인지, 아니면 단순히 판사가 더 높은 품질이나 낮은 퍼플렉시티를 가진 출력을 인식한 결과인지가 불분명합니다. 나아가, 선행 연구들은 명시적인 **저자 레이블(authorship labels)**의 효과를 평가 대상이 되는 콘텐츠의 본질적 속성으로부터 충분히 분리해내지 못했습니다.

방법론

자기 선호와 혼란 변수들을 분리하기 위해, 저자들은 **서사적 제약 선택 과업(narrative constraint selection task)**을 중심으로 한 새로운 실험 설계를 도입했습니다. 이 접근 방식은 모델 특유의 스타일적 지문을 제거하면서도, 복구 가능한 모델 특유의 선택 시그니처는 유지합니다.

실험 설계

10개의 LLM(상용 모델 5개, 오픈 소스 모델 5개)이 두 가지 역할을 수행합니다:

선택자(Selectors): 각 모델은 30회의 실행을 수행하며, 사전 구축된 200개의 풀(사건, 스타일, 캐릭터, 배경 포함)에서 20개의 서사적 제약을 선택합니다. 이를 통해 300개의 고유한 제약 세트가 생성됩니다.
판사(Judges): 동일한 10개의 모델이 4개 축의 루브릭(독창성, 차원성, 일관성, 전달력)을 사용하여 이 세트들을 평가하며, 7점 리커트 척도를 사용합니다.

본 연구는 두 가지 별도의 실험으로 진행됩니다:

실험 1: 블라인드 평가 (Blind Evaluation)

판사들은 출처 귀속 정보 없이 모든 300개의 선택지를 평가합니다.

목표: 표면적인 단서가 제거되고 선택 품질과 판사의 엄격함이 통제되었을 때도 자기 선호가 지속되는지 확인합니다.
분석: 저자들은 혼합 효과 모델(mixed-effects model)을 사용하여 판사의 엄격함, 선택자의 품질, 반복 평가를 무작위 절편으로 취급함으로써 자기 선호 계수( $\beta_S$ )를 격리합니다. 이는 "강력한" 모델이 단순히 더 나은 선택을 할 수도 있다는 혼란 변수를 통제합니다.

실험 2: 레이블링 평가 (Labeled Evaluation)

판사들은 $2 \times 2$ 설계에 따라 네 가지 레이블 조건 하에서 선택지를 평가합니다:

참 레이블 (True Label, TL): 레이블이 실제 출처(자기 또는 타인)와 일치함.
거짓 레이블 (False Label, FL): 레이블이 실제 출처와 모순됨.
품질 매칭 (Quality Matching): 레이블 효과를 격리하기 위해, 저자들은 실험 1에서 거의 동일한 점수를 받은 선택지 쌍(하나의 자기 생성, 하나의 타인 생성)을 구성합니다.
조작 (Manipulation): 레이블은 "당신의 선택" 또는 "다른 언어 모델"로 익명 처리되어 제시되며, 특정 모델의 정체성 효과를 제거합니다.
분석: 혼합 효과 모델을 통해 표시된 레이블의 주효과( $\beta_L$ ), 실제 출처( $\beta_A$ ), 그리고 이들의 상호작용( $\beta_{LA}$ )을 추정합니다.

주요 결과

1. 통제 하에서 외견상의 자기 선호가 사라짐 (실험 1)

통제되지 않은 비교에서는 10개의 판사 중 7개가 자신의 선택지에 더 높은 평균 점수를 부여했습니다. 그러나 혼합 효과 모델을 통해 선택 품질과 판사의 엄격함을 통제했을 때:

4개의 루브릭 차원 중 3개(차원성, 일관성, 전달력)에서 양(+)의 자기 선호 효과가 사라졌습니다.
독창성(Originality) 차원에서는 효과가 역전되어, 판사들은 자신의 선택을 타인의 것보다 덜 독창적이라고 평가했습니다.
결론: 기존 연구에서 관찰된 가공의 자기 선호 격차는 진정한 자기 생성 콘텐츠에 대한 편향이라기보다, 출력 품질과 평가자의 엄격함 차이를 반영하는 경우가 많습니다.

2. 레이블 자체가 양방향 편향을 유도함 (실험 2)

저자성 레이블이 도입되었을 때, 실제 출처와 관계없이 점수가 체계적으로 변화했습니다:

양방향 이동 (Bidirectional Shift): 레이블 효과( $\beta_L$ )는 모든 차원에서 유의미한 양(+)의 값을 가졌습니다. 판사들은 "자기"라고 레이블링된 선택지의 점수를 높였고, "타인"이라고 레이블링된 선택지의 점수를 낮추었습니다.
출처로부터의 독립성: 실제 출처( $\beta_A$ )와 레이블-출처 간의 상호작용( $\beta_{LA}$ )은 유의미하지 않았습니다. 이는 편향이 콘텐츠의 기원이 아니라 레이블 자체에 의해 유도됨을 확인시켜 줍니다.
패턴: 10개의 판사 중 9개가 레이블에 따라 다르게 반응했습니다. 6개는 대칭적 패턴(자기 레이블은 높이고 타인 레이블은 낮춤)을 보였으며, 나머지는 한쪽 방향의 변이(예: 자기 상승만 있거나 타인 감점만 있는 경우)를 보였습니다.

기여

본 논문은 두 가지 주요 기여를 합니다:

독립적인 동인으로서의 저자 귀속: 본 연구는 자기/타인 레이블만으로도 LLM 판사에게 양방향 평가 편향을 유도할 수 있다는 직접적인 증거를 제공합니다. 저자들은 스타일적 혼란을 구조적으로 제거하고 품질을 통제함으로써, 기존 연구가 진정한 자기 선호의 보편성을 과장했을 수 있음을 입증했습니다.
방법론적 도구: 저자들은 개방형, 정답 없는 과업(예: 서사적 제약 선택)이 콘텐츠 품질로부터 귀속 효과를 효과적으로 격리하여 LLM 판사의 행동을 연구할 수 있는 통제된 도구로 기능할 수 있음을 확립했습니다.

의의 및 주장

저자들은 자기 선호의 메커니즘이 기존에 이해되었던 것보다 더 복잡하다고 주장합니다. 기존 이론은 자기 선호가 내부적 단서(예: 자신의 퍼플렉시티나 스타일에 대한 친숙함)에서 발생한다고 제안했으나, 본 연구는 명시적 귀속 프레임만으로도 체계적인 편향을 일으키기에 충분하다는 것을 보여줍니다.

편향의 역전: 블라인드 조건에서 판사들이 "독창성" 차원에서 자기 비하적 태도를 보이는 반면, 자기 레이블 하에서는 자기 고양적 태도를 보인다는 발견은 외부의 귀속 단서가 콘텐츠의 본질적 평가를 압도할 수 있음을 시사합니다.
평가에 대한 시사점: 결과는 LLM 판사가 표면적인 출처 단서에 매우 취약함을 나타냅니다. 정답이 없는 창의적 또는 주관적 평가 영역에서 "자기" 레이블의 존재만으로도 점수를 크게 왜곡할 수 있으며, 이는 귀속 관리가 철저히 이루어지지 않거나 레이블이 조작될 경우 LLM-as-a-judge 시스템의 타당성을 훼st할 수 있음을 의미합니다.

논문은 이러한 발견이 현재 창의적 선택 영역에 국한되어 있으며, 추론이나 지시 이행 과업으로의 일반화 가능성은 여전히 열린 문제임을 언급하며 겸허히 결론을 맺습니다. 또한, 실제 배포 환경에서는 명시적이기보다는 암묵적인 귀속이 발생하는 경우가 많으므로, 덜 명시적인 단서들이 어떻게 작동하는지에 대한 추가 연구가 필요함을 인정합니다.