🤖 machine learning

Principled Evaluation with Human Labels: One Rater at a Time and Rater Equivalence

이 논문은 인간 평가자 간 의견 불일치가 존재하는 분류 작업에서 다수결 방식의 한계를 지적하고, 개별 평가자별 점수 평균화 및 평가자 동등성 개념을 도입하여 더 원칙적인 분류기 평가 및 벤치마크 비교 프레임워크를 제시합니다.

원저자: Paul Resnick, Yuqing Kong, Grant Schoenebeck, Tim Weninger

게시일 2026-04-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Resnick, Yuqing Kong, Grant Schoenebeck, Tim Weninger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (AI) 을 평가할 때, 인간이 어떻게 참여해야 가장 공정한지"**에 대한 새로운 규칙을 제안합니다.

기존의 방식은 "여러 인간 심사위원의 의견을 모아 다수결 (다수결) 로 정답을 만들고, AI 가 그 정답과 얼마나 일치하는지 점수를 매겼다"는 것입니다. 하지만 이 논문은 **"그건 틀릴 수 있다"**고 말합니다. 대신 **"한 명씩 따로 평가한 뒤 점수를 합산하라"**는 새로운 방식을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 왜 기존 방식이 문제일까? (다수결의 함정)

비유: "맛있는 피자"를 고르는 상황

가게 주인이 AI 를 도입해서 "이 피자가 맛있는지 아닌지"를 판단하게 하려고 합니다.
기존 방식은 10 명의 심사위원을 불러서 피자를 맛보고, **"다수결 (여러 사람이 맛있는다고 한 것)"**을 정답으로 정했습니다.

문제 상황: 어떤 피자는 10 명 중 6 명이 "맛있다", 4 명이 "맛없다"고 했습니다. (6:4)
- 다수결 정답은 "맛있다"가 됩니다.
- 하지만 AI 가 "맛없다"고 판단했다면, AI 는 틀린 것으로 처리되어 점수를 깎입니다.
논문의 주장: 사실 6:4 라면 "맛있다"는 의견이 60% 에 불과합니다. AI 가 "맛없다"고 한 것은 40% 의 의견을 따랐을 뿐인데, 다수결 정답에 맞춰 점수를 매기면 AI 가 가진 **진짜 가치 (40% 의 지지)**를 무시하게 됩니다.

핵심 메시지:

"여러 사람의 의견을 합쳐서 하나의 '정답'을 만드는 것은, 의견이 갈리는 상황에서는 오히려 AI 의 능력을 과소평가하거나 왜곡할 수 있습니다."

2. 새로운 평가 방식: "한 명씩 따로 점수 내기"

논문의 제안은 다음과 같습니다.

비유: "선생님들이 시험지를 채점하는 방식"

기존: 10 명의 선생님이 모여서 "이 답이 맞다"고 합의한 것을 정답으로 보고, AI 가 그 정답과 같은지 봅니다.
새로운 방식 (이 논문의 제안):
1. 10 명의 선생님에게 각각 시험지를 채점하게 합니다. (선생님 A 는 맞음, B 는 틀림, C 는 맞음...)
2. AI 가 A 선생님의 답과 일치하면 점수를 주고, B 선생님의 답과 일치하면 점수를 줍니다.
3. 마지막에 10 명의 점수를 모두 더해서 평균을 냅니다.

왜 이게 좋을까요?
이 방식은 AI 가 **"전체 인간 집단의 평균적인 의견"**을 얼마나 잘 반영하는지 정확히 보여줍니다. 의견이 갈리는 경우 (6:4) 에는 AI 가 어느 쪽을 선택하든 그 비율만큼 점수를 받기 때문에, AI 의 능력을 공정하게 평가할 수 있습니다.

3. AI 는 몇 명의 인간과 같은가? (레이터 동등성)

이 논문은 AI 의 성능을 숫자로만 표현하는 게 아니라, **"이 AI 는 인간 몇 명을 대변할 수 있는가?"**를 계산하는 새로운 개념을 만들었습니다. 이를 **'레이터 동등성 (Rater Equivalence)'**이라고 부릅니다.

비유: "인간 패널 vs AI"

상황: 어떤 AI 가 뉴스의 신뢰성을 판단합니다.
질문: "이 AI 는 인간 1 명이 판단하는 것보다 잘하나, 인간 3 명이 모여서 판단하는 것보다 잘하나?"
결과: "이 AI 는 인간 2.5 명이 모여서 내린 결론과 똑같은 성능을 냅니다."

이 숫자 (2.5 명) 가 높을수록 AI 가 더 똑똑하다는 뜻입니다. 만약 AI 가 인간 1 명보다도 못하다면 (0.5 명), 그 AI 는 쓸모가 없다는 뜻이 됩니다.

4. 언제 어떤 방식을 써야 할까? (두 가지 상황)

논문의 핵심은 상황에 따라 평가 방식이 달라져야 한다는 것입니다.

상황 A: 주관적인 문제 (맛, 유머, 콘텐츠 규제)

예시: "이 농담이 웃기다?", "이 댓글이 혐오 표현이다?"
특징: 정답이 하나만 있는 게 아닙니다. 사람마다 느낌이 다릅니다.
해결책: 한 명씩 따로 평가해서 평균 내세요. (다수결 정답은 쓰지 마세요.)
- 이유: "다수결"은 소수의 의견을 죽여버리기 때문입니다.

상황 B: 객관적인 문제 (수학 문제, 암 진단)

예시: "이 사진에 암이 있는가?", "이 수학 문제 답은 5 가 맞나?"
특징: 정답이 명확하게 존재합니다. (암이 있거나 없거나)
해결책: 가능하면 '진짜 정답 (Ground Truth)'을 찾으세요.
- 만약 진짜 정답을 알 수 없다면, 인간 심사위원들의 다수결을 쓸 수밖에 없지만, 그 점수가 100% 정확하지는 않다는 점을 인정해야 합니다.

5. 요약: 우리가 배울 점

다수결은 함정이다: 의견이 갈리는 주관적인 문제에서는 "여러 사람이 동의한 것"을 정답으로 삼으면 안 됩니다. AI 가 소수의 의견까지 고려할 기회를 줘야 합니다.
개별 평가가 정석: AI 를 평가할 때는 인간 심사위원 한 명 한 명과 따로 비교한 뒤 점수를 합산하는 것이 가장 공평합니다.
인간 몇 명과 같은가?: AI 의 성능을 평가할 때, "인간 1 명과 같다", "인간 3 명과 같다"는 식으로 표현하면 이해하기 훨씬 쉽습니다.
최고의 조합 도구: 논문의 저자들은 인간들의 다양한 의견을 가장 잘 합쳐내는 **'베이지안 조합기 (Anonymous Bayesian Combiner)'**라는 수학적 도구를 개발했습니다. 이는 AI 가 인간 집단 전체의 생각을 얼마나 잘 모방하는지 정확히 계산해 줍니다.

한 줄 요약:

"AI 를 평가할 때, '여러 사람의 다수결'을 정답으로 삼지 말고, '한 명 한 명의 개별 의견'을 모두 존중해서 평균 점수를 내세요. 그래야 AI 가 진짜로 얼마나 똑똑한지 알 수 있습니다."

이 논문은 **"Rater Equivalence (평가자 동등성)"**이라는 개념을 도입하여, 객관적인 정답 (Ground Truth) 이 없거나 인간 평가자들 간에 의견이 일치하지 않는 분류 작업에서 머신러닝 모델의 성능을 평가하고 벤치마크하는 새로운 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

많은 분류 작업 (예: 콘텐츠 중재, 감정 분석, 이미지 내 인물 식별 등) 에서는 명확한 정답이 존재하지 않거나, 인간 평가자들 (Raters) 간의 의견 불일치 (Disagreement) 가 빈번하게 발생합니다. 기존 관행은 다음과 같은 두 가지 주요 문제를 가지고 있습니다.

평가 (Evaluation): 여러 인간 평가자의 다수결 (Majority Vote) 을 '가상 정답 (Pseudo-ground Truth)'으로 간주하여 모델 점수를 산정합니다. 그러나 평가자 간 의견이 분열된 경우, 다수결은 편향된 결과를 초래할 수 있습니다.
벤치마킹 (Benchmarking): 모델의 성능을 인간 패널과 비교할 때, 패널의 크기와 조합 방식이 성능 지표에 큰 영향을 미치지만 이를 체계적으로 측정하는 방법이 부족했습니다.

2. 방법론 및 이론적 기반 (Methodology & Theory)

저자들은 평가 설정의 두 가지 속성인 **객관성 (Objectivity)**과 **공평성 (Equanimity)**을 기준으로 두 가지 유틸리티 모델을 정의하고, 이에 따른 최적의 평가 전략을 제시합니다.

A. 유틸리티 모델 구분 (Figure 1)

주관적 유틸리티 모델 (Subjective Utility Model):
- 특징: 객관적인 정답이 없거나 (예: 유머, 콘텐츠 중재), 평가자 간 의견 불일치가 '노이즈'가 아닌 '유효한 관점의 차이'로 간주되는 경우.
- 전략: 다수결을 사용하지 않고, 각 평가자별로 점수를 산정한 후 평균내는 것이 가장 원칙적입니다.
- 이유: 다수결은 가장 흔한 라벨을 과대평가하여 편향 (Bias) 을 발생시킵니다. 반면, 개별 평가자 점수의 평균은 기대 유틸리티 (Expected Utility) 의 편향 없는 추정치 (Unbiased Estimator) 가 됩니다.
객관적 유틸리티 모델 (Objective Utility Model):
- 특징: 객관적인 정답이 존재하지만 (예: 암 진단), 평가자 간 불일치가 노이즈로 간주되는 경우.
- 전략: 가능한 한 **실제 정답 (Ground Truth)**을 사용하여 평가해야 합니다. 정답이 없는 경우, 어떤 패널 크기를 사용하더라도 정답과 동일한 순위를 보장할 수 없음을 증명했습니다.

B. 평가자 동등성 (Rater Equivalence, $R_{EQ}$ )

정의: 분류기 (Classifier) 의 성능과 동일한 기대 점수를 내는 가장 작은 인간 벤치마크 패널의 크기.
의미: 예를 들어, $R_{EQ} = 3.5$ 라면, 해당 AI 모델은 약 3.5 명으로 구성된 인간 패널의 정보량과 동등한 성능을 가진다는 뜻입니다.
파워 커브 (Power Curve): 벤치마크 패널의 크기 ( $k$ ) 를 x 축, 해당 크기의 패널이 얻는 기대 점수를 y 축으로 하는 곡선입니다. 분류기의 점수와 이 커브가 교차하는 지점이 $R_{EQ}$ 입니다.

C. 최적의 벤치마크 조합기 (Optimal Combiner)

기존 다수결 (Majority Vote) 이나 빈도 기반 조합기는 작은 패널 크기에서 비효율적입니다.
저자는 **익명 베이지안 조합기 (Anonymous Bayesian Combiner, ABC)**를 제안했습니다. 이는 관찰된 라벨들의 패턴을 학습하여 다음 평가자의 라벨에 대한 베이지안 사후확률 (Bayesian Posterior) 을 예측합니다.
성능: 교차 엔트로피 (Cross-Entropy) 와 같은 적절한 스코어링 규칙 (Proper Scoring Rule) 을 사용할 때, ABC 는 이론적으로 최적의 조합기이며, 이는 $R_{EQ}$ 를 최소화 (모델의 성능을 가장 엄격하게 평가) 합니다.

3. 주요 기여 (Key Contributions)

의사결정 프레임워크: 객관성과 공평성에 따라 주관적/객관적 유틸리티 모델을 선택하고, 이에 따라 '개별 평가자 평균' 또는 '정답 직접 평가'를 적용해야 함을 제시.
이론적 증명:
- 주관적 모델에서 다수결은 편향된 점수를 내지만, 개별 평가자 점수의 평균은 편향되지 않음을 증명.
- 객관적 모델에서는 어떤 유한한 패널 크기도 정답에 대한 완벽한 대리자가 될 수 없으며, 패널 크기를 늘린다고 해서 항상 모델 순위를 올바르게 판단하는 보장이 없음을 반례로 증명.
평가자 동등성 ( $R_{EQ}$ ) 개념 도입: 모델 성능을 인간 패널의 크기와 직접 비교할 수 있는 정량적 지표 제시.
알고리즘 개발: 계산적으로 효율적이고 이론적으로 최적인 Anonymous Bayesian Combiner (ABC) 알고리즘 및 관련 소프트웨어 라이브러리 제공.

4. 실험 결과 (Results)

저자들은 세 가지 사례 연구 (Wikipedia 개인 공격 감지, 뉴스 신뢰도 평가, Reddit 투표 시스템) 를 통해 프레임워크를 검증했습니다.

Jigsaw Personal Attacks Classifier: 기존 연구에서는 5 명 패널보다 성능이 낮다고 평가되었으나, 저자의 방법 (ABC + Cross-Entropy) 으로 재평가한 결과, 약 7.63 명의 인간 평가자와 동등한 성능을 보임. 이는 기존 다수결 방식이 모델의 실제 가치를 과소평가했음을 시사.
News Credibility Classifier: 기존 모델은 인간 평가자 1 명보다도 성능이 낮음 ( $R_{EQ} = 0.48$ ). 즉, 인간 1 명이 절반의 경우에만 라벨을 붙이고 나머지는 기본값을 예측하는 것보다도 나쁘지 않다는 결과.
Reddit Scores: Reddit 의 네트 업보트 (Net Upvotes) 는 3 명 패널보다도 인간 선호도를 예측하는 데 덜 유익한 정보를 제공 ( $R_{EQ} = 2.39$ ). 수천 개의 투표가 모여도 3 명 패널의 정보력에는 미치지 못함.

5. 의의 및 시사점 (Significance)

모델 평가의 정확성 향상: 다수결에 의존하던 기존 관행의 편향을 제거하고, 인간 평가자의 다양한 관점을 더 정확하게 반영하여 모델의 실제 유용성을 측정할 수 있게 함.
배포 의사결정 지원: "이 AI 는 인간 몇 명과 맞먹는가?"라는 직관적이고 해석 가능한 지표를 제공하여, 조직이 모델 도입 시 비용 (인건비) 과 성능을 비교하는 데 도움을 줌.
LLM 평가에의 적용: LLM 이 인간 평가자를 대체하는 시대에, LLM 이 얼마나 많은 인간 평가자의 정보량을 대체할 수 있는지 정량화하는 표준을 제시.
주의점: 배포 환경이 고정되어 있다는 가정 (Fixed Environment Fallacy) 이 깨질 수 있음을 지적하며, 공정성 (Fairness) 과 같은 비정보적 요소도 고려해야 함을 강조.

요약하자면, 이 논문은 인간 평가자 간 의견 불일치가 존재하는 환경에서 머신러닝 모델을 평가할 때, 다수결 대신 개별 평가자 점수의 평균을 사용하고, 모델의 성능을 '인간 패널 몇 명과 동등한가'로 정의하는 체계적인 프레임워크를 제시하여, AI 평가의 이론적 토대와 실용적 도구를 모두 강화했습니다.