Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study

거대하고 매우 똑똑한 로봇 도서관 사서 (대형 언어 모델, 즉 LLM) 가 다른 로봇들이 쓴 에세이를 채점한다고 상상해 보세요. 보통 이 사서는 영어로만 말합니다. 하지만 이제 우리는 이 사서가 스페인어와 바스크어 (바스크 지역에서 사용되는 독특한 언어) 로 쓰인 에세이도 채점하도록 해야 합니다.

이 논문은 다음과 같은 질문을 던집니다: 우리는 어떻게 이 로봇 사서에게 모국어가 아닌 언어에서도 공정하고 정확한 심판관이 되도록 가르칠 수 있을까요? 특히 이를 가르칠 '샘플 에세이'가 많지 않을 때는 어떻게 해야 할까요?

다음은 그들의 실험 이야기를 단순한 개념으로 나누어 설명한 것입니다:

1. 세 가지 언어 (테스트 대상)

연구자들은 데이터 가용성의 서로 다른 수준을 대표하는 세 가지 언어를 테스트 대상으로 선정했습니다:

• 영어: "고자원 (High-Resource)" 언어입니다. 수백만 권의 책이 있는 도서관과 같습니다. 로봇은 이를 잘 알고 있습니다.
• 스페인어: "중자원 (Mid-Resource)" 언어입니다. 영어만큼 거대하지는 않지만 괜찮은 도서관을 가지고 있습니다.
• 바스크어: "저자원 (Low-Resource)" 언어입니다. 매우 적은 책만 있는 작은 마을 도서관과 같습니다. 로봇은 자연스럽게 이에 대해 거의 알지 못합니다.

2. 시나리오 A: "교사 가이드"가 있을 때 (도메인 내 데이터)

교사의 코멘트와 점수가 포함된 채점된 에세이 더미 (이를 '도메인 내 데이터'라고 합니다) 가 있다고 상상해 보세요. 당신은 이 가이드를 사용하여 로봇이 새로운 에세이를 채점하도록 훈련시키고자 합니다.

큰 발견: 채점 기준 (Rubric) 을 영어로 유지하세요!
연구자들은 훈련 자료를 번역하는 두 가지 방법을 시도했습니다:

• 방법 1 (완전 번역): 에세이, 학생의 답변, 그리고 채점 기준 (점수 매김 규칙) 을 모두 스페인어나 바스크어로 번역합니다.
• 방법 2 (부분 번역): 에세이와 학생의 답변은 번역하되, 채점 기준과 지시 사항은 영어로 유지합니다.

결과: 채점 규칙이 영어로 유지되었을 때 로봇의 성능이 훨씬 더 좋았습니다.

• 유추: 채점 기준을 로봇의 '운영 체제'라고 생각하세요. 로봇이 스페인어로 된 이야기를 읽고 있더라도, 어떻게 채점할지에 대한 지시사항이 영어로 되어 있다면 로봇의 두뇌는 집중력을 유지하고 일관성을 갖습니다. 로봇이 덜 익숙한 언어로 규칙을 번역하면 오히려 혼란을 겪게 되어 채점이 부실해집니다.

크기는 중요하지만 (생각보다 덜 중요)
연구자들은 작은 로봇 (80 억 개의 '뇌 세포' 또는 파라미터) 과 거대한 로봇 (700 억 개) 을 테스트했습니다.

• 발견: 좋은 교사 가이드 (훈련 데이터) 가 있다면, 작은 로봇도 거대하고 비싼 로봇만큼 좋은 일을 할 수 있습니다. 좋은 데이터로 가르친다면 가장 큰 모델이 필요하지 않습니다.
• 보너스: 세 가지 언어를 한 번에 섞어서 로봇을 훈련시키는 것 (다국어) 이 한 번에 하나의 언어만 훈련시키는 것보다 스페인어와 바스크어에 대해 더 나은 결과를 낳았습니다. 세 가지 언어를 함께 배우면 모든 언어의 문법 규칙을 더 잘 이해하는 것과 같습니다.

3. 시나리오 B: "교사 가이드"가 없을 때 (도메인 외 데이터)

이제 완전히 새로운 유형의 에세이 (예: 이야기 대신 과학 보고서) 를 채점해야 하고, 로봇에게 보여줄 채점된 샘플 에세이가 없다고 상상해 보세요. 당신은 로봇의 자연스러운 지능 (Zero-Shot) 에 의존해야 합니다.

큰 발견: 거대 로봇을 "과도하게 훈련"하지 마세요
연구자들은 로봇이 새로운 에세이를 채점하는 데 도움이 될지 확인하기 위해 다른 주제 (도메인 외) 의 데이터를 사용하여 로봇을 가르쳐 보았습니다.

• 작은 로봇: 이 추가 연습으로 실제로 조금 더 나아졌습니다. 그들은 도움이 필요했습니다.
• 거대 로봇 (70B): 이는 역효과를 낳았습니다! 관련 없는 데이터로 거대 로봇을 미세 조정 (fine-tune) 하려고 했을 때, 그들은 환각 (hallucinating) 을 일으키기 시작했습니다. 그들은 과도하게 자신감을 갖게 되어, 에세이가 나쁘더라도 모두에게 완벽한 5 점 만점을 주었습니다.
• 유추: 이미 모든 것을 아는 천재 교수 (거대 로봇) 를 상상해 보세요. 그들이 하지 않는 게임의 기본 규칙을 가르치려고 하면, 그들은 혼란을 겪고 자신이 옳다고 생각하며 자신만의 이상한 규칙을 만들어내기 시작할 수 있습니다. 반면, 똑똑한 학생 (작은 로봇) 은 실제로 추가 연습의 혜택을 받습니다.

새로운 주제에 대한 최선의 전략:
구체적인 훈련 데이터가 없다면, 로봇을 전혀 미세 조정하지 마세요. 그냥 거대하고 똑똑한 로봇이 에세이를 있는 그대로 ("Zero-Shot" 방식으로) 채점하게 하세요. 관련 없는 데이터로 배우게 하려고 강요하는 것보다 훨씬 신뢰할 수 있습니다.

4. 발견 사항 요약

• 잘 아는 언어 (또는 데이터가 있는 언어) 의 경우: 더 작고 저렴한 로봇을 사용하세요. 에세이가 스페인어나 바스크어라 하더라도 채점 지시사항은 영어로 유지하세요.
• 잘 모르는 언어나 데이터가 없는 언어의 경우: 로봇에게 무작위 예시로 가르치려고 하지 마세요. 그냥 가장 크고 똑똑한 로봇을 사용하고 추가 훈련 없이 자연스럽게 채점하게 하세요.
• "번역의 함정": 게임의 규칙 을 저자원 언어로 번역하는 것은 종종 로봇을 더 나쁘게 만들지, 더 좋게 만들지 않습니다.

그들이 하지 않은 일

이 논문은 이것이 의료 진단, 법적 판결, 또는 정서적 상담을 해결할 것이라고 주장하지 않습니다. 이는 엄격하게 다른 언어로 텍스트를 자동으로 채점하는 더 나은 도구를 만드는 방법에 초점을 맞추고 있습니다. 또한 그들은 그들의 "훈련 데이터"가 인간이 아닌 다른 AI 모델에 의해 생성되었다고 지적했는데, 이는 한계이지만 바스크어와 같은 언어에 대해 사용 가능한 최선의 데이터였습니다.

한마디로 요약하자면: 신뢰할 수 있는 다국어 심판관을 만들기 위해서는, 때로는 로봇의 모국어 (영어) 로 지시사항을 전달해야 하고, 때로는 거대 로봇을 내버려 두어 그들의 자연스러운 지능을 발휘하게 해야 합니다.