Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

이 논문은 소수의 선호도 데이터만 제거해도 Chatbot Arena 와 같은 주요 LLM 랭킹 시스템의 최상위 모델 순서가 뒤바뀔 수 있음을 보여주며, MT-bench 의 전문가 기반 평가가 더 강건하고 인간 평가와 LLM 평가 간 민감도 차이는 체계적으로 존재하지 않음을 밝힙니다.

핵심

이 논문은 **"AI 랭킹 사이트 (예: 챗봇 아레나) 의 순위가 얼마나 약한지"**를 보여주는 매우 흥미로운 연구입니다.

간단히 말해, **"전체 투표 중 아주 작은 몇 표만 빼도, 1 위와 2 위가 뒤바뀔 수 있다"**는 것을 수학적으로 증명했습니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드리겠습니다.

---

1. 비유: "거대한 축구 경기장의 한 줄기 바람"

상상해 보세요. 수만 명의 관중이 모여서 두 팀 (AI 모델 A 와 B) 의 경기를 보고 "누가 더 잘했니?"라고 투표하는 거대한 스타디움이 있습니다. 이 투표 결과를 바탕으로 전 세계 1 위 팀을 결정합니다.

이 논문은 **"그 거대한 관중석에서 아주 작은 부분, 예를 들어 0.003% (약 200 만 명 중 2 명) 의 관중이 실수로 표를 잘못 던졌거나, 혹은 그 두 표만 사라진다고 가정해 봅시다"**라고 말합니다.

그런데 놀랍게도, 그 두 표만 사라져도 1 위가 2 위로, 2 위가 1 위로 뒤바뀝니다. 마치 거대한 배가 아주 작은 바람 한 줄기만으로도 방향을 틀어버리는 것처럼, AI 랭킹 시스템은 생각보다 훨씬 더 흔들리기 쉬운 (Robust 하지 않은) 상태라는 것입니다.

2. 비유: "마라톤의 마지막 100 미터"

AI 모델들은 마치 마라톤 선수들처럼 경쟁합니다. 보통 1 위와 2 위 선수의 기록 차이는 매우 미세합니다.

• 일반적인 생각: "수천 명의 관중이 투표했으니, 1 위와 2 위는 확실하게 차이가 날 거야."
• 이 논문의 발견: "아니요, 1 위와 2 위는 거의 어깨를 맞대고 달리고 있어요. 만약 1 위가 실수해서 넘어진 순간 (부정적인 표 2 개), 바로 2 위가 1 위로 올라서게 됩니다."

연구진은 이 '어깨를 맞댄 상태'를 찾아냈습니다. 그리고 어떤 특정 질문 (Prompt) 과 답변 쌍을 제거했을 때 순위가 뒤바뀌는지 찾아냈습니다. 마치 "이 두 명의 관중이 'A 가 이겼다'고 투표한 것만 지워도, B 가 1 위가 된다"는 것을 찾아낸 셈입니다.

3. 비유: "요리 대결의 '맛' 차이"

두 명의 요리사 (AI 모델) 가 같은 재료로 요리를 했습니다.

• 전문가 심사 (MT-bench): 요리사들이 전문적인 기준 (수학, 논리, 복잡한 코드 등) 으로 평가합니다. 이때는 1 위와 2 위 점수 차이가 뚜렷해서, 몇 개의 점수를 빼도 순위가 바뀌지 않습니다. (단단한 구조)
• 일반인 심사 (챗봇 아레나): 일반인들이 "어느 게 더 마음에 드니?"라고 투표합니다. 이때는 1 위와 2 위 요리사의 요리가 사실상 비슷할 때가 많습니다.

연구진은 **"일반인들이 투표할 때, 아주 드물게 '이상한' 취향을 가진 사람 2 명만 제외해도 순위가 뒤바뀐다"**고 발견했습니다. 예를 들어, 1 위 요리사가 만든 요리가 사실은 훨씬 맛있는데, 그 2 명의 심사위원이 "이건 너무 매워"라고 해서 2 위가 된 경우, 그 2 명만 빼면 1 위가 다시 1 위로 돌아옵니다.

---

📝 이 연구의 핵심 결론 (3 가지)

1. 순위는 '유리'처럼 깨지기 쉽습니다:
   현재 유명한 AI 랭킹 사이트 (Chatbot Arena 등) 의 1 위는, 전체 데이터 중 **0.003% (약 2 개의 투표)**만 잘못되거나 사라져도 바뀔 수 있습니다. 이는 순위가 모델의 실제 실력 차이를 완벽하게 반영하지 못하고, '노이즈 (잡음)'에 너무 민감하다는 뜻입니다.

2. 누가 심판이든 상관없습니다:
   사람이 심판이든, 다른 AI 가 심판이든 (LLM-as-a-judge) 순위가 흔들리는 정도는 비슷했습니다. 즉, "사람이 하면 더 나을 거야"라고 생각할 수 있지만, 데이터의 구조상 순위가 불안정한 것은 마찬가지입니다.

3. 왜 이런 일이 일어날까요?

   • 점수 차이가 너무 좁아서: 1 위와 2 위 모델의 실력 차이가 미미해서, 작은 변동에도 순위가 뒤바뀝니다.
   • 질문이 너무 주관적일 때: "시를 써줘"나 "영화 추천해줘" 같은 주관적인 질문은 사람마다 취향이 달라서, 몇몇 특이한 취향의 표만 사라져도 결과가 뒤집힙니다.
   • 전문가 심사 (MT-bench) 는 더 튼튼합니다: 전문가가 엄격한 기준으로 평가한 데이터는 순위가 훨씬 안정적이었습니다.

💡 우리가 무엇을 배울 수 있을까요?

이 논문의 메시지는 **"AI 랭킹 1 위라고 해서 무조건 1 등이라고 믿지 마세요"**입니다.

현재의 랭킹은 마치 모래성과 같습니다. 아주 작은 파도 (몇 개의 데이터) 만 와도 무너질 수 있습니다. 따라서 AI 모델을 평가할 때는 단순히 "누가 1 위냐"를 보는 것보다, **"이 순위가 얼마나 튼튼한가?"**를 함께 확인해야 한다는 경고를 주는 연구입니다.

한 줄 요약:

"거대한 AI 투표에서 두 표만 빼도 1 위가 2 위로 떨어질 수 있다는 충격적인 사실. AI 랭킹은 생각보다 훨씬 더 흔들리기 쉽습니다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Chatbot Arena 와 같은 오픈 평가 플랫폼은 인간 선호도 (Human Preference) 를 기반으로 브래들리 - 테리 (Bradley-Terry, BT) 모델을 사용하여 대규모 언어 모델 (LLM) 의 순위를 매기는 데 널리 사용되고 있습니다. 이러한 순위는 모델 개발 및 벤치마킹의 골드 스탠다드로 간주됩니다.
• 문제: 기존 연구들은 악의적인 투표 조작 (Adversarial Attacks) 이나 데이터 누출로 인한 리더보드 신뢰성 문제를 지적해 왔습니다. 본 논문은 악의적인 의도가 없는 경우에도, 매우 소수의 선호도 데이터 (최악의 경우, 아주 작은 비율) 를 제거했을 때 상위 모델의 순위가 뒤바뀔 수 있는지 여부를 연구합니다.
• 핵심 질문: "LLM 평가 플랫폼에서 인간 (또는 AI) 선호도 평가 데이터의 아주 작은 비율 ($\alpha$) 을 제거하면, 상위 모델의 순위가 변할 수 있는가?"
• 의미: 만약 소수의 데이터 제거만으로 순위가 뒤바뀐다면, 해당 리더보드의 순위는 데이터의 노이즈나 특정 편향에 의해 결정된 것일 수 있으며, 모델의 실제 성능 차이를 반영하지 못한다는 것을 의미합니다.

2. 제안된 방법론 (Methodology)

저자들은 브래들리 - 테리 모델 기반 순위 시스템의 **최악의 경우 데이터 제거 (Worst-case Data-dropping) 에 대한 강건성 (Robustness)**을 평가하는 새로운 방법을 제안합니다.

• 근본적인 접근: 모든 가능한 데이터 부분집합을 제거하며 순위를 재계산하는 브루트 포스 (Brute-force) 방식은 Chatbot Arena 와 같은 대규모 플랫폼에서는 계산적으로 불가능합니다.
• AMIP (Approximate Maximum Influence Perturbation) 확장:
  • 통계학 및 이론 컴퓨터 과학의 최신 연구 (Broderick et al., 2020 등) 에서 제안된 AMIP 기법을 LLM 순위 평가에 적용합니다.
  • 원리: 이산적인 데이터 제거 문제를 연속적인 가중치 최적화 문제로 근사화합니다. 1 차 테일러 급수 (First-order Taylor expansion) 와 영향 함수 (Influence Function) 를 사용하여, 특정 통계량 (BT 점수 차이) 이 데이터의 일부가 제거될 때 얼마나 변할 수 있는지 빠르게 추정합니다.
• 알고리즘 절차 (Algorithm 1):
  1. 전체 데이터로 BT 모델을 학습하여 초기 점수와 순위를 계산합니다.
  2. 상위 $k$개 모델 ($KT$) 과 그 외 모델들 사이의 모든 쌍 $(i, j)$에 대해 순위 뒤집기 가능성을 확인합니다. (가장 점수 차이가 작은 쌍부터 확인하는 그리디 방식 사용).
  3. 각 쌍 $(i, j)$에 대해, 순위가 뒤집히게 만드는 '최악의' 데이터 부분집합을 AMIP 를 통해 식별합니다.
  4. 식별된 데이터 subset 을 실제로 제거하고 BT 모델을 **정확하게 재학습 (Exact Refit)**하여 순위가 실제로 뒤집혔는지 검증합니다.
  5. 강점: AMIP 는 후보 집합을 빠르게 찾지만, 최종 결론은 실제 재학습을 통해 내리므로 거짓 양성 (False Positive) 이 발생하지 않습니다. (단, 모든 비강건성을 찾지는 못할 수 있어 거짓 음성 가능성은 존재함).

3. 주요 실험 및 결과 (Key Results)

저자들은 Chatbot Arena, MT-bench, Search Arena, Vision Arena 등 다양한 LLM 평가 플랫폼과 NBA, ATP 테니스와 같은 스포츠 데이터를 대상으로 실험을 수행했습니다.

• 극도로 높은 민감도 (High Sensitivity):
  • Chatbot Arena: 전체 평가 데이터의 **0.00348% (약 2 건)**만 제거해도 1 위 모델이 GPT-4-0125-preview 에서 GPT-4-1106-preview 로 변경되었습니다.
  • Top-5 순위: 0.005% (3 건) 만 제거해도 Top-5 내의 순위가 뒤바뀌었습니다.
  • 부트스트랩 신뢰구간: 점수 추정치뿐만 아니라 부트스트랩 기반의 신뢰구간을 이용한 순위에서도 유사한 민감도가 관찰되었습니다.
• MT-bench 의 강건성:
  • MT-bench 는 다른 플랫폼에 비해 상대적으로 강건했습니다 (Top-1 변경을 위해 약 2.74% 의 데이터 제거 필요).
  • 원인: MT-bench 는 전문가 (Expert) 에 의해 작성된精心한 프롬프트와 숙련된 평가자를 사용했기 때문으로 추정됩니다. 반면, 다른 플랫폼은 크라우드소싱된 일반 사용자의 데이터에 의존합니다.
• Human vs. LLM-as-a-Judge:
  • 인간 평가자와 LLM 평가자 (LLM-as-a-Judge) 모두 최악의 경우 데이터 제거에 대해 유사한 수준의 민감도를 보였습니다. 어느 쪽이 체계적으로 더 강건하다고 단정할 수 없습니다.
• 민감도의 원인:
  • 순위가 뒤바뀐 사례들을 분석한 결과, 제거된 데이터는 주로 점수 차이가 매우 좁은 상위 모델들 간의 매치업이거나, 일반적인 사용자 선호도와 다른 이상치 (Outlier) 성향의 평가였습니다.
  • 특히, GPT-4-1106-preview 가 Vicuna-13b 나 Stripedhyena-nous-7b 같은 하위 모델에게 패배한 두 가지 '이상한' 평가가 제거되면서 1 위로 올라섰습니다. GPT-5.1 을 이용한 정성적 분석에서도 이러한 평가는 일반 사용자가 선호할 만한 결과와 달랐음이 확인되었습니다.

4. 기여 및 의의 (Contributions & Significance)

• 새로운 취약성 발견: 악의적인 공격이 없더라도, 소수의 데이터 편향이나 노이즈가 리더보드 상위권을 결정할 수 있음을 체계적으로 증명했습니다.
• 검증 도구 제공: 리더보드 운영자나 연구자가 자신의 순위 시스템이 얼마나 불안정한지 빠르게 진단할 수 있는 계산 효율적인 방법론 (AMIP 기반) 을 제공합니다.
• 평가 시스템 개선 제안:
  • 이진 선호도 (Binary preference) 외의 richer 피드백 (예: 평가자의 신뢰도) 수집.
  • 모델 간 구분이 명확한 프롬프트 (Expert-curated prompts) 사용 및 불확실한 프롬프트 필터링.
  • 고수준의 평가자 (전문가) 활용 및 프롬프트 카테고리별 세분화 평가.
• 일반화 가능성: LLM 평가뿐만 아니라 스포츠 순위 (NBA, 테니스) 에서도 유사한 비강건성이 관찰됨을 보여, BT 모델 기반 순위 시스템의 보편적인 한계를 지적합니다.

5. 결론

이 논문은 현재 널리 사용되는 LLM 리더보드 순위가 매우 작은 데이터의 변화에 극도로 민감함을 보여줍니다. 이는 순위가 모델의 절대적인 성능 차이를 반영하기보다는, 데이터 수집 과정의 무작위성이나 특정 편향된 평가에 의해 좌우될 수 있음을 시사합니다. 따라서 AI 리더보드를 해석할 때는 이러한 불안정성을 고려해야 하며, 더 강건한 평가 시스템 설계가 필요함을 강조합니다.