💬 NLP

FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge

이 논문은 적응성, 편향성 및 일관성의 한계를 극복하기 위해 고밀도 정보 데이터셋과 커리큘럼 방식의 SFT-DPO-GRPO 학습 패러다임을 채택하여, 여러 벤치마크에서 더 큰 지시어 튜닝 모델들을 능가하는 적응형 LLM-as-a-Judge 프레임워크인 FairJudge를 소개한다.

원저자: Bo Yang, Lanfei Feng, Yunkui Chen, Yu Zhang, Xiao Xu, Shijian Li

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bo Yang, Lanfei Feng, Yunkui Chen, Yu Zhang, Xiao Xu, Shijian Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 이야기 도서관이 있고, 당신이 그중 최고의 이야기를 골라야 한다고 상상해 보세요. 과거에는 인간이 이 일을 했습니다. 하지만 이제 우리는 강력한 AI(대규모 언어 모델)를 사용하여 자동으로 승자를 뽑는 '심판' 역할을 맡깁니다.

문제는 현재의 AI 심판들이 스포츠 경기에서의 믿을 수 없는 심판과 같다는 점입니다. 그들은 게임을 이해하지 못해서 실수를 하는 것이 아니라, 사소하고 무관한 것들에 정신이 팔려 실수를 저지릅니다.

다음은 이 심판들을 바로잡기 위해 설계된 새로운 시스템인 FairJudge에 대한 이야기입니다. 이를 쉽게 설명해 드리겠습니다.

현재 AI 심판들의 세 가지 큰 문제점

저자들은 현재의 AI 심판들이 세 가지 "나쁜 습관"을 가지고 있다는 것을 발견했습니다.

규칙에 쉽게 혼란을 느낍니다 (적응성 부족):
축구 경기를 판정하는 법을 아는 심판이 체스 경기를 판정하라는 요청을 받았을 때 완전히 길을 잃는 상황을 상상해 보세요. 현재의 AI 심판들은 규칙이 바뀌거나 특정 작업에 따라 세부 사항에 집중해야 할 때 어려움을 겪습니다. 그들은 매번 달라져야 함에도 불구하고 모든 게임을 똑같은 방식으로 처리합니다.
"사소한" 단서에 편향됩니다 (체계적 편향):
이 부분이 가장 재미있는 부분입니다. AI 심판들은 답변의 품질과 아무런 상관이 없는 것들을 바탕으로 승자를 결정하곤 합니다.
- 위치 편향 (Position Bias): 만약 답변 A가 먼저 작성되었다면, AI는 그것이 더 낫다고 생각합니다. 만약 답변 B를 먼저 오도록 순서를 바꾸면, 두 답변의 내용이 동일함에도 불구하고 AI는 갑자기 B가 더 낫다고 생각합니다.
- 길이 편향 (Length Bias): AI는 답변이 길면 내용이 중언부언하더라도 자동으로 더 똑똑하다고 생각합니다.
- 형식 편향 (Format Bias): AI는 문단 형태보다 불렛 포인트를 사용한 답변을 더 선호합니다.
- 비유: 이는 마치 선생님이 시험을 채점하면서 학생이 파란색 잉크로 썼다는 이유로, 혹은 페이지 상단에 이름을 썼다는 이유만으로 'A' 학점을 주는 것과 같습니다.
자기 모순을 일으킵니다 (불일치):
때때로 AI는 답변을 하나씩 개별적으로 채점할 때(Pointwise)와 두 답변을 나란히 놓고 비교할 때(Pairwise) 서로 다른 결과를 내놓습니다.
- 비유: 이는 심판이 "이 선수에게 10점 만점에 9점을 주겠다"라고 말해놓고는, "선수 A와 선수 B 중 누가 더 나은가?"라는 질문을 받으면 "선수 B가 더 낫다"라고 답하는 것과 같습니다. 심지어 선수 A가 9점을 받았음에도 말이죠. 이는 논리적인 엉망진창입니다.

해결책: FairJudge

저자들은 "판정"을 단순한 수학적 계산이 아니라, 훈련되고 교정될 수 있는 학습 가능한 행동으로 취급하는 FairJudge를 제안합니다. 이것은 경험 없는 초보 심판을 데려와 매우 구체적인 3단계 훈련 캠프에 보내는 것과 같습니다.

1단계: "규칙서" 훈련 (SFT)

먼저, AI에게 규칙을 명시적으로 가르칩니다. 규칙을 추측하게 하는 대신, AI에게 답변과 함께 "규칙서"(루브릭, Rubric)를 제공합니다.

비유: 경기가 시작되기 전, 심판에게 "이 특정 게임에서는 힘이 아니라 속도를 기준으로 판정하라"라고 적힌 코팅된 카드를 건네주는 것입니다. AI는 결정을 내릴 때마다 그 카드를 확인하는 법을 배웁니다.

2단계: "편향 제거" 드릴 (DPO)

다음으로, 나쁜 습관을 깨뜨리기 위한 드릴 훈련을 실시합니다. AI에게 동일한 답변을 순서를 바꾸거나, 길이를 조절하거나, 형식을 다르게 하여 보여줍니다.

드릴: "여기 답변 A 다음에 답변 B가 있습니다. 이제 답변 B 다음에 답변 A가 있습니다. 둘은 같습니다! 당신은 반드시 동일한 점수를 주어야 합니다."
결과: AI는 순서, 길이, 글꼴을 무시하는 법을 배웁니다. 즉, 오직 내용만을 보도록 학습합니다.

3단계: "일관성" 체크 (GRPO)

마지막으로, AI가 서로 다른 판정 방식 사이에서 일관성을 유지하도록 가르칩니다. AI가 두 가지 방식(하나씩 보기와 나란히 보기)으로 동일한 답변을 보게 하고, 논리가 일치할 때만 보상을 줍니다.

드릴: "만약 당신이 답변을 따로 보았을 때 A가 B보다 낫다고 했다면, 두 답변을 함께 볼 때도 A가 B보다 낫다고 해야 합니다. 만약 말을 바꾼다면 점수를 잃게 됩니다."

결과: 더 나은 심판

이 논문은 새로운 "FairJudge"를 다른 모델들과 비교 테스트했으며 다음과 같은 결과를 얻었습니다.

더 공정합니다: 누가 먼저 나왔는지 또는 답변이 얼마나 긴지에 신경 쓰지 않게 되었습니다.
더 일관적입니다: 모순되는 점수를 주는 일이 사라졌습니다.
더 똑똑합니다: 훨씬 더 크고 강력한 AI 모델들보다도 인간의 의견에 더 잘 부합하는 결과를 냈습니다.
더 빠릅니다: 긴 설명을 생략하고 결론만 내는 "패스트 모드(Fast Mode)"를 만들어, 정확도를 크게 떨어뜨리지 않으면서도 12~13배 더 빠르게 처리할 수 있게 만들었습니다.

핵심 요약

저자들은 혼란스럽고 편향된 심판을 공정하고 일관되며 규칙을 준수하는 공식 심판으로 바꾸기 위해 새로운 데이터셋(방대한 훈련 예시 모음)과 새로운 훈련 방법을 구축했습니다.

그들은 단순히 AI를 일반적인 의미에서 "똑똑하게" 만든 것이 아니라, 판정하는 방법을 구체적으로 훈련시켰습니다. 그 결과, 다른 AI 모델의 작업을 검증하는 데 있어 더 신뢰할 수 있는 시스템을 만들었으며, "승자"가 단순히 가장 긴 답변이나 우연히 먼저 작성된 답변이 아니라 실제로 가장 좋은 답변임을 보장하게 되었습니다.

기술 요약: FairJudge

1. 문제 정의

기존의 "LLM-as-a-Judge" 시스템은 범용 평가 도구로서의 신뢰성을 저해하는 세 가지 근본적인 한계에 직면해 있습니다:

제한된 적응성: 현재의 판사 모델들은 작업별 및 도메인별 평가 기준에 적응하는 데 어려움을 겪으며, 규칙이나 맥락이 변경될 때 종종 실패합니다.
체계적 편향: 판단이 콘텐츠의 품질이 아닌 비의미적 단서(예: 답변의 위치, 길이, 형식 또는 모델 출처)에 의해 빈번하게 좌우됩니다.
평가 불일치: 동일한 입력에 대해 서로 다른 평가 모드(예: 점수 부여 방식 vs. 쌍체 비교 방식) 간에 모순된 결과를 생성하는 경우가 많습니다.

저자들은 이러한 문제들이 평가를 단순한 정적 예측 작업으로 취급하기 때문이며, 평가 규칙, 맥락 및 설정에 의해 제약되는 학습 가능한 결정 프로세스로 다루지 못하기 때문에 발생한다고 주장합니다. 기존의 접근 방식들은 적응성, 공정성, 일관성이 명시적인 학습 목표로 다뤄지기보다는 자연스럽게 나타날 것이라고 가정하는 경향이 있습니다.

2. 방법론

FairJudge는 판정 행동을 $x$ 를 입력, $c$ 를 맥락(루브릭/참조), $m$ 을 평가 모드로 하는 학습 가능하고 정규화된 정책( $\pi_{judge}(y | x, c, m)$ )으로 재정의합니다. 이 프레임워크는 데이터 중심 접근 방식과 3단계 커리큘럼 학습 패러다임을 결합하여 사용합니다.

2.1. 데이터 구축 (FairJudge-16K)

저자들은 고밀도 정보 데이터셋인 FairJudge-16K를 구축하였습니다. 이 데이터셋은 가공되지 않은 평가 기록을 태스크, 참조, 답변 쌍, 명시적 루브릭, 추론 및 판단을 포함하는 정형화된 인스턴스로 변환합니다. 데이터 구축 과정은 다음과 같습니다:

정형화(Canonicalization): 암묵적인 기준을 학습 가능한 신호로 변환하기 위해 맥락적 조건을 명시적으로 노출합니다.
구조적 편향 제거(Structured Debiasing): 의미적 내용은 유지하되 비의미적 차원(순서, 길이, 형식)을 변형시킨 대조 쌍을 생성합니다. 이를 통해 모델이 이러한 요소들에 대해 불변성을 학습하도록 강제합니다.
교차 모드 일관성(Cross-Mode Consistency): 동일한 평가 콘텐츠를 점수 부여 방식과 쌍체 비교 방식 모두와 결합하여, 서로 다른 판단 형식 간의 직접적인 정렬을 가능하게 합니다.

2.2. 훈련 패러다임

FairJudge는 판정 정책을 점진적으로 정렬하기 위해 단계별 커리큘럼 최적화를 활용합니다:

1단계: 지도 미세 조정 (SFT): 명시적 루브릭을 조건부 입력으로 하는 정형화된 기록을 통해 모델을 훈련합니다. 이는 안정적이고 루브릭을 인식하는 판정 행동 공간을 구축하며, 출력 형식(추론 후 판단)을 표준화합니다.
2단계: 직접 선호 최적화(DPO)를 통한 편향 제거: 선택된 판단은 루브릭을 준수하면서 비의미적 변동에 불변하도록 구성하고, 거절된 판단은 편향을 보이도록 선호 쌍을 구성합니다. DPO는 명시적인 보상 모델 없이도 모델이 편향되지 않은 행동을 선호하도록 정책을 최적화합니다.
3단계: 그룹 상대 정책 최적화(GRPO)를 통한 일관성 확보: 교차 모드 불일치를 해결하기 위해, 모델은 서로 다른 모드(점수 부여/쌍체 비교) 하에서 동일한 인스턴스에 대해 여러 판단을 샘생합니다. 일관성을 인식하는 보상은 모순된 결정을 처벌하고 모드 간에 논리적으로 동등한 결과를 유도합니다.

전체 목적 함수는 다음을 결합합니다: $L = L_{SFT} + \lambda_{DPO}L_{DPO} + \lambda_{GRPO}L_{GRPO}$ .

3. 주요 기여

FairJudge 프레임워크: 판정을 최적화 가능한 정책으로 취급하여 적응성, 편향 제거, 일관성을 명시적으로 겨냥하는 새로운 관점을 제시합니다.
데이터셋 및 벤치마크:
- FairJudge-16K: 평가 행동에 대한 명시적 감독 신호를 갖춘 훈련 데이터셋입니다.
- FairJudge-Benchmark-1K: 실제 조건 하에서 판사 행동을 특성화하기 위해 설계된, 훈련 데이터와 엄격히 분리된 규모 제어형 고정 평가 서브셋입니다.
성능 향상: 이 방법은 여러 벤치마크에서 일치도(Agreement)와 F1 점수를 크게 개선하며, 비의미적 편향을 줄이고, 더 큰 규모의 범용 모델들과 경쟁 가능한 성능을 달고합니다.

4. 실험 결과

실험은 PandaLM(인간 주석), JudgeLM, 그리고 FairJudge-Benchmark-1K와 함께 멀티모달 및 보상 모델링 벤치마크에서 수행되었습니다.

전반적인 신뢰성: FairJudge(특히 8B 변체)는 일치도(Agreement)와 macro-F1 점수에서 유사한 크기의 범용 멀티모달 모델(예: Qwen3-8B, InternVL3-14B) 및 이전의 판사 전용 모델(PandaLM, JudgeLM)보다 우수한 성능을 보였습니다. 주목할 점은, 더 큰 범용 모델(예: DeepSeek-V3-671B)이 일률적으로 우월한 판정 성능을 보여주지 않았다는 것이며, 이는 규모 자체보다 특화된 데이터와 훈련이 더 중요하다는 것을 시사합니다.
절제 연구(Ablation Study): 세 가지 훈련 단계(SFT, DPO, GRPO) 중 하나라도 제거하면 성능 저하가 발생했습니다. SFT는 기본적인 판정 능력을 확립하는 데 가장 근본적인 구성 요소로 확인되었으며, DPO와 GRPO는 견고성과 일관성을 위한 필수적인 정교화 과정을 제공했습니다.
일관성: FairJudge는 벤치마크에서 점수 부여 방식과 쌍체 비교 모드 간에 **65.52%**의 일치도를 달성하여, 모든 베이스라인(46% ~ 60%)을 크게 앞질렀습니다.
멀티모달 능력: 모델은 시각-언어 작업(예: InfographicsVQA, MathVista)에서 경쟁력 있는 정확도를 달성하며 강력한 멀티모달 이해 능력을 유지하였고, 이는 판정 훈련이 기저의 표현 학습을 저해하지 않음을 입증합니다.
보상 모델링: Reward-Bench에서 FairJudge는 유사한 규모의 모델 중 가장 높은 전체 일치도와 macro-F1을 달성하여, 다운스트림 선호 최적화를 위한 더 안정적인 보상 신호를 제공했습니다.
효율성: 최종 결정만을 출력하는 "Fast Mode"는 "Full Mode"(추론 포함) 대비 성능 손실을 최소화하면서도 12배~13배의 속도 향상을 달성하여 대규모 자동 평가에 적합함을 보여주었습니다.

5. 의의 및 주장

본 논문은 FairJudge를 모든 신뢰성 문제를 해결하는 완전한 해결책이라기보다, 더 신뢰할 수 있는 자동 평가를 향한 실질적인 단계로 규정합니다. 주요 의의는 다음과 같습니다:

패러다임의 전환: 암묵적이고 정적인 판정 함수에서, 체계적으로 제약하고 최적화할 수 있는 명시적인 정책 기반 학습으로 이동합니다.
핵심 불안정성 해결: 적응성, 편향 완화, 일관성을 학습 가능한 목표로 다룸으로써 현재 판사 모델들의 "불안정성과 제한된 일반화" 문제를 직접 해결합니다.
실제 배포: 특화된 소규모 모델(8B)이 판정 작업에서 거대 범용 모델을 능가할 수 있음을 입증하는 동시에 상당한 추론 효율성 이점을 제공합니다.

저자들은 본 평가가 모든 가능한 루브릭이나 도메인을 다루지는 못한다는 점을 언급하며 한계를 인정하였고, 더 큰 백본(backbone)에 대한 훈련은 향후 과제로 남겨두었습니다. 그들은 FairJudge가 인간의 감독을 대체하기보다는 모델 평가의 공정성과 재현성을 높이기 위한 지원 도구로 의도되었음을 강조합니다.