기술적 요약: 신뢰 역설 - CS 연구자들이 LLM 리더보드를 어떻게 활용하는가

문제 제기

대형 언어 모델 (LLM) 리더보드는 표준화된 작업에 대한 모델 점수를 집계하여 순위를 제공하는 현대 AI 연구의 핵심 산물로 자리 잡았습니다. 이러한 플랫폼은 일반적으로 두 가지 형태를 취합니다: 고정된 테스트 세트에 기반하여 모델을 순위 매기는 정적 벤치마크 리더보드(예: MMLU, Open LLM Leaderboard) 와 인간의 선호도 투표를 집계하는 아레나 기반 리더보드(예: Chatbot Arena) 입니다.

높은 가시성에도 불구하고, 기술 문헌은 이러한 플랫폼의 신뢰성과 견고성에 중대한 한계가 있음을 입증했습니다. 연구에 따르면 리더보드 순위는 사소한 교란 (예: 평가 프롬프트 미세 조정 또는 데이터의 소량 제거) 에 민감하며, 전략적 조작 (예: 투표 조작 또는 표적 테스트) 에 취약하고, 서로 다른 순위 알고리즘 (예: Elo 대 Glicko) 은 동일한 데이터에서 상이한 순서를 생성할 수 있습니다.

그러나 중요한 격차가 존재합니다: 리더보드의 기술적 취약성은 문서화되었으나, 이러한 플랫폼이 실제로 연구자들의 일상적 실천, 의사결정 과정, 그리고 신뢰 판단에 어떻게 영향을 미치는지는 경험적으로 규명되지 않았습니다. 연구자들이 리더보드 위치를 진전의 결정적 대리 지표로 취급하는지, 아니면 이러한 신호를 불신하고 선택적으로 활용하는지는 불분명합니다. 본 연구는 다양한 컴퓨터 과학 하위 분야에서 리더보드의 사회기술적 역할을 조사함으로써 이 격차를 해소합니다.

방법론

본 연구는 **반성적 주제 분석 (RTA)**에 기반한 질적 해석주의 접근법을 사용합니다.

• 참여자: 자연어 처리 (NLP, $n=3$), 인간 - 컴퓨터 상호작용 (HCI, $n=2$), 시스템/개인정보보호 ($n=2$), 그리고 학제간 '기타' 카테고리 ($n=1$) 등 네 가지 하위 분야에서 여덟 명의 컴퓨터 과학 연구자가 모집되었습니다. 표본에는 박사 과정 학생, 석사 과정 학생, 그리고 박사 후 연구자가 포함되었습니다.
• 데이터 수집: 데이터는 배경 질문지를 선행하고 인터뷰 요약본을 사실적 정확성을 위해 참여자가 검토하는 멤버 체크 과정을 후행하는 반구조화 인터뷰 (30~45 분) 를 통해 수집되었습니다.
• 절차: 참여자들은 토론의 기반을 마련하기 위해 리더보드 디자인의 시각적 유형론을 제시받았습니다. 인터뷰는 모델 선정 전략, 리더보드 신뢰성에 대한 태도, 그리고 순위가 연구 프레임에 미치는 영향을 탐구했습니다.
• 분석: 전사본은 Braun 와 Clarke 의 6 단계 RTA 과정을 사용하여 분석되었습니다. 주 연구자는 71 개의 고유 코드를 통해 210 개의 코딩 세그먼트를 생성하여 7 개의 분석 차원과 6 개의 주제로 조직화했습니다. 연구자 간 신뢰도는 추구하지 않았으며, 대신 분석 메모 작성과 참여자 멤버 체크를 통해 반성성을 유지했습니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. "실용적 회의주의" 역설에 대한 경험적 증거: 연구자들이 리더보드 순위에 깊은 불신을 표명하면서도 대략적인 의사결정 보조 도구로 계속 활용하는 보편적 태도를 확인했습니다.
2. 영향력에 대한 하위 분야 간 비교: 리더보드의 영향력은 개인의 태도가 아닌 학문적 문화에 의해 매개됨을 입증했습니다. 예를 들어, NLP 연구자들은 출판 규범으로 인해 최첨단 (SoTA) 비교에 상당한 압력을 받는 반면, HCI 와 시스템/개인정보보호 연구자들은 그러한 기대가 거의 없거나 전혀 없다고 보고했습니다.
3. 실행 가능한 설계 제안: 연구자의 요구를 평가에 대한 가정을 넘어 실제 사용 패턴을 해결하는 구체적인 인프라 개선 사항으로 전환했습니다.

주요 결과

1. 신뢰 역설과 사용 패턴

열렬한 수용에서 완전한 거부까지의 스펙트럼과 달리, 여덟 명의 모든 참여자는 실용적 회의주의를 보여주었습니다.

• 불신: 참여자들은 정적 벤치마크가 '학습'되거나 조작될 수 있으며, 아레나 순위는 조작될 수 있음을 인정했습니다. 순위가 품질의 결정적 척도가 아니라는 점을 인식했습니다.
• 사용: 이러한 불신에도 불구하고, 참여자들은 검색 공간을 좁히기 위한 '약한 사전 (weak priors)'으로서 리더보드를 활용했습니다. 그들은 순위를 근본적 진실로 취급하기보다 추가 조사의 시작점으로 여겼습니다.
• 주요 선정 메커니즘: 리더보드가 아닌 동료 네트워크가 모델 선정의 지배적 메커니즘으로 떠올랐습니다. 여덟 명 중 일곱 명이 주로 동료 추천 (실험실 대화, 소셜 미디어, 신뢰할 수 있는 전문가) 에 의존했습니다. 한 NLP 연구자는 "내 사용의 90% 는 추천에 기반합니다"라고 언급했습니다.
• 증거보다 경험: 정량적 순위보다 개인적인 직접적인 시행착오 테스트가 우선시되었습니다. 참여자들은 최상위 옵션을 찾기보다 '충분히 좋은' 모델을 수용하는 '만족 (satisficing)'에 자주 종사했습니다.

2. 참여에서의 학문적 차이

리더보드의 영향력은 하위 분야에 따라 급격하게 달라졌습니다:

• NLP: 연구자들은 출판 규범으로 인해 최첨단 (SoTA) 모델과 비교하는 높은 압력에 직면했습니다. 그들은 리더보드에 깊이 관여했지만 그 안정성에 대해서는 회의적이었습니다.
• HCI 와 시스템/개인정보보호: 이러한 분야의 연구자들은 리더보드에 기반한 출판 압력을 보고하지 않았습니다. 그들의 평가 기준 (예: 지연 시간, 사용자 경험, 공식적인 개인정보보호 보장) 은 종종 표준 벤치마크 지표 밖이었습니다. 특히 여덟 명 중 다섯 명 (HCI 와 시스템/개인정보보호 연구자 포함) 이 특정 리더보드 플랫폼에 대한 사전 인식이 거의 없거나 전혀 없었으며, 이는 NLP 외의 청중을 위한 발견성 실패를 강조했습니다.

3. 신뢰성과 누락된 지표

• 아레나 대 정적: 모든 하위 분야에서 **전체적 합의 (8/8)**가 이루어졌는데, 아레나 기반 (인간 투표) 리더보드가 정적 벤치마크 리더보드보다 선호되었습니다. 참여자들은 아레나 결과가 더 해석 가능하고 실제 사용자 경험과 부합한다고 느꼈습니다.
• 비용 투명성: 여덟 명 중 일곱 명이 제기한 가장 요구되는 누락된 기능은 비용 투명성이었습니다. 연구자들은 가격 또는 효율성 데이터의 부재를 비판하며, 쿼리당 비용이 종종 학술 연구자들에게 구속력 있는 제약 조건이 된다고 지적했습니다.
• 세분화: 참여자들은 단일 집계 수치가 아닌 작업별 점수 세분화 (예: 수학, 코딩, 다국어용 별도 점수) 를 요청했습니다.
• 투명성: 편향을 평가하기 위한 유권자 인구 통계 공개와 모델 출처 및 기관적 이해 상충에 대한 정보가 요구되었습니다.

중요성과 주장

본 논문은 LLM 리더보드가 단순히 기술 인프라가 아니라 연구 문화에 내재된 사회기술적 산물로 이해되어야 한다고 주장합니다.

• 사회적 내재화: 본 연구는 더 나은 지표만으로는 채택이 개선될 것이라는 관점을 도전합니다. 모델 선정은 리더보드 신호를 필터링하고 해석 (또는 무시) 하는 동료 신뢰 네트워크에 의해 주도되는 깊은 사회적 과정임을 제기합니다.
• 유틸리티의 역설: 광범위한 불신에도 불구하고 리더보드 사용이 지속된다는 사실은 그 가치가 정확성에 있는 것이 아니라, 압도적인 검색 공간을 줄이는 조정 장치로서의 기능에 있음을 시사합니다.
• 윤리적 및 구조적 우려: 저자들은 현재 리더보드 문화가 자원 불평등을 부호화한다고 강조합니다. SoTA 벤치마크에서 경쟁할 수 없는 산업 규모 컴퓨팅 예산이 없는 연구자들을 처벌합니다. 또한 거버넌스의 투명성 부재와 벤치마크 게임화의 잠재력은 NLP 외의 실무자들에게 특히 윤리적 위험을 초래하며, 이들은 벤치마크 방법론을 비판적으로 평가할 전문 지식이 부족할 수 있습니다.

본 연구는 평가 인프라가 연구자들이 실제로 이를 사용하는 방식에 부합하도록 재설계되어야 한다고 결론지으며, 단일 점수 순위가 연구자들이 요구하는 이질적 유틸리티를 포착하지 못한다는 점을 지적합니다. 대신 비용 데이터, 작업별 세분화, 투표 인구 통계 및 거버넌스에 대한 투명성을 포함해야 합니다.