Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

문제 정의
"LLM-as-a-Judge(판사로서의 LLM)" 패러다임은 영어에서의 높은 인간 평가와의 상관관계, 그리고 인간 주석 작업 대비 높은 비용 효율성과 확장성 덕분에 자연어 생성(NLG) 작업에서 지배적인 평가 방법이 되었습니다. 그러나 이 패러다임은 충분한 검증 없이 다국어 환경 및 저자원 언어(LRL)로 점점 더 확장되고 있습니다. 본 논문은 중요한 격차를 식별합니다. 즉, LLM이 저자원 언어에서 제한된 숙련도를 보임에도 불구하고, 연구자들이 이러한 환경에서 신뢰성을 검증하지 않은 채 이를 평가자로 적용하고 있다는 점입니다. 이는 일관되지 않은 평가 결과, 저자원 언어에서의 성능 과대평가, 그리고 인간의 검증이나 앙상블 방법 없이 단일 판사 모델에 과도하게 의존하는 현상과 같은 위험을 초래합니다. 저자들은 기존의 LLM-as-a-Judge 관련 조사들이 주로 영어에 집중되어 있어, 다국어 및 저자원 맥락에서의 판사 신뢰성에 관한 체계적인 분석이 부족하다고 지적합니다.

연구 방법론
이러한 격차를 해결하기 위해 저자들은 ACL Anthology에 대한 체계적인 문헌 검토를 수행했습니다.

• 검색 전략: 저자들은 세 가지 키워드 그룹인 (1) LLM, (2) 판사/평가 기능, (3) 저자원/다국어 맥락을 사용하여 ACL Anthology의 메타데이터(제목 및 초록)를 검색하는 재현 가능한 파이프라인을 구현했습니다.
• 필터링: LLM-as-a-Judge를 언급한 초기 650편의 논문 중에서, 저자원은 다국어 키워드를 포함한 49편의 후보를 추출했습니다.
• 주석 달기: 저자들은 이 49편의 논문을 수동으로 검토하여, LLM이 모델 출력을 평가하는 '평가자 지향(evaluator-oriented)' 방식이 아닌 직접 텍스트 레이블링을 수행하는 '주석가 지향(annotator-oriented)' 방식이거나, 비자연어(예: 코드)에 초점을 맞춘 논문들을 제외했습니다.
• 최종 코퍼스: 이 과정을 통해 최종적으로 33편의 범위 내 논문이 선정되었습니다.
• 분석 차원: 저자들은 이 33편의 논문을 다섯 가지 차원, 즉 판사 패러다임(예: 직접 점수 매기기, 쌍체 비교), 다운스트림 NLP 작업, 판사 모델 제품군(폐쇄형 vs 오픈 소스), 언어 범위, 그리고 판사의 신뢰성을 평가하기 위해 사용된 검증 프로토콜을 기준으로 분석했습니다.

주요 결과 및 발견
33편의 논문을 분석한 결과, 현재의 연구 관행에서 몇 가지 구조적 약점이 드러났습니다.

1. 저자원 언어 커버리지의 얕은 깊이: 많은 논문이 다국어 커버리지를 주장하지만, 진정한 저자원 언어에 대한 초점은 얕습니다. 33편 중 단 8편(24%)만이 저자원 언어를 평가 세트의 최소 절반 이상 포함했습니다. 커버리지는 고자원 언어에 크게 치우쳐 있으며, 특정 지역(예: 아메리카 원주민, 태평양 제도, 대부분의 사하라 이남 아프리카 언어)은 거의 누락되어 있습니다.
2. 폐쇄형 소스 및 단일 판사의 지배: 판사 생태계는 폐쇄형 모델, 특히 GPT 제품군이 지배하고 있습니다(79%의 논문에서 사용). 또한, 48%의 연구가 단일 판사 모델 제품군에 의존하며, 33%는 GPT를 유일한 판사로 사용합니다. 판사 간 교차 검증은 드뭅니다.
3. 검증 결함: 73%의 논문이 어떤 형태의 인간 비교를 보고하지만, 이 검증은 종종 영어 또는 고자원 하위 집합에 대해서만 수행됩니다. 예를 들어, 일부 연구는 다국어 판사를 영어 벤치마크로만 검증하여, 대상 저자원 언어에서의 신뢰성을 확인하지 않은 채 방치합니다. 여러 논문은 인간의 검증이나 골드 라벨(gold-label) 확인 없이, 판사의 다국어 능력에 기반한 가정을 바탕으로 저자원 언어(예: 네팔어, 요루바어)에 LLM 판사를 배치합니다.
4. 불일치 및 편향: 본 논문에서 인용된 기존 증거에 따르면, 저자원 언어에서는 인간-LLM 일치도가 크게 떨어집니다. 장황함 편향(verbosity bias), 자기 강화 편향(self-enhancement bias), 언어 특화적 성능 저하와 같은 문제들이 저자원 환경에서 더욱 두드럽게 나타납니다.

권고 사항
이러한 발견을 바탕으로 저자들은 NLP 커뮤니티에 네 가지 구체적인 권고 사항을 제안합니다.

1. 대상 맥락에서의 검증: 연구자들은 영어 기반 검증이 저자원 언어로 전이될 것이라고 가정하는 대신, 판사가 특정 대상 언어에 대해 신뢰할 수 있는지 조사해야 합니다.
2. 인간 참여 유지(Keep Humans in the Loop): 저자원 언어에 대해서도 최소한 데이터의 일부에 대해 인간 평가를 실시해야 하며, 통계적 신뢰 구간을 동반해야 합니다. 또한, 대표성을 확보하기 위해 인간 평가자의 인구통계학적 특성과 전문성을 문서화해야 합니다.
3. 지표 필요성 재평가: LLM-as-a-Judge를 도입하기 전에, 연구자들은 비-LLM 지표(예: chrF, Exact Match)가 동일하게 실행 가능한지 고려해야 합니다. LLM 판사는 더 나은 기존 지표가 없을 때만 사용되어야 하며, 언어 다양성 불일치와 같은 오류를 포착하기 위해 검증된 전통적 지표와 병행하여 사용되어야 합니다.
4. 문화적 및 도메인 관련성 고려: 평가는 언어적 능력을 넘어 문화적 역량과 도메인 특화적 관련성(예: 의료 또는 법률 맥락)을 포함해야 합니다. LLM은 문화적 스테레오타입을 증폭하거나 전문 분야에서 실패할 수 있기 때문입니다.

의의 및 주장
본 논문은 LLM-as-a-Judge가 효율성을 제공하지만, 검증 부족과 검증되지 않은 가정에 대한 과도한 의존으로 인해 현재 다국어 및 저자원 환경에서의 적용이 부실하다고 주장합니다. 저자들은 엄격한 검증 없이는 LLM을 판사로 사용하는 용이함이 평가 품질의 저하를 초래할 수 있으며, 결과적으로 스스로가 해당 언어에서 제대로 검증되지 않은 모델들에 의해 판단되는 순환 구조를 만들 수 있다고 경고합니다. 이 연구는 표면적인 다국어 주장을 넘어 저자원 언어를 위한 견고하고 인간에 의해 검증된 평가 프로토콜을 구축하라는 ACL 커뮤니티를 향한 촉구의 메시지 역할을 합니다. 저자들은 자신들의 작업이 새로운 실험 세트가 아니라 기존 문헌에 대한 조사임을 명시하며, 현재의 연구 트렌드에 있는 결함을 강조하는 것을 목표로 합니다.