당신이 거대한 인재 발굴 오디션의 심사위원이라고 상상해 보세요. 다만 노래가 아니라, 한 언어에서 다른 언어로 번역된 이야기들을 심사하는 역할입니다. 수년 동안 이 일을 하는 표준 방식은 심사위원에게 단 하나의 번역본을 건네주고, 그것만 따로 떼어 놓고 점수를 매기게 한 뒤 다음 단계로 넘어가는 것이었습니다. 이는 마치 다른 사과들을 전혀 보지 못한 채 사과 하나만을 평가하라고 요구하는 것과 같습니다. 문제는 무엇일까요? 그것은 매우 지치고, 비용이 많이 들며, 놀라울 정도로 엉망이라는 점입니다. 단 하나의 대상만을 홀로 바라볼 때, 우리의 뇌는 피로해지고 기분은 변하며, 그 결과 점수는 제각각이 될 수 있습니다. 이것이 바로 컴퓨터가 인간의 언어를 얼마나 잘 번역하는지 파악하는 데 전념하는 분야인 "기계 번역 평가(Machine Translation Evaluation)"의 세계입니다. 목표는 단순합니다. 최고의 AI 번역기를 찾아내어 우리가 실세계의 과업을 믿고 맡길 수 있도록 하는 것입니다. 하지만 이를 위해 인간이 심판 역할을 해야 하는데, 기존의 심판 규칙은 게임을 느리게 만들고 점수를 신뢰할 수 없게 만들었습니다.

연구진은 게임의 규칙을 뒤흔들기로 결심한 한 팀을 소개합니다. 그들은 **대조적 오류 구간 주석(Contrastive Error Span Annotation, cESA)**이라는 새로운 프로토콜을 도입했습니다. 심사위원에게 번역본을 하나씩 보여주는 대신, 세 개(또는 그 이상)의 번역본을 같은 화면에 나란히 배치했습니다. 이는 심사위원에게 사과 한 알 대신 사과 바구니를 주는 것과 같습니다. 갑자기, 빛나고 완벽한 사과들을 바로 옆에서 보고 있으면 멍든 사과를 찾아내는 일이 훨씬 쉬워집니다. 연구진은 이 "그룹 보기" 방식이 심사위원을 더 빠르게 만들 뿐만 아니라, 더 일관되고 정확하게 만든다는 것을 발견했습니다. 그들은 세 개의 번역본을 동시에 보여주는 것이 최적의 지점(sweet spot)이며, 이를 통해 시간을 약 31% 절약하면서도 점수의 품질을 실제로 향상시켰다는 사실을 발견했습니다. 또한, 다른 번역본을 보는 것이 심사위원을 속여 불공정하게 만들지는 않는지 확인했으며, 그 편향이 매우 미미하여 문제가 되지 않는다는 것을 밝혀냈습니다. 요컨대, 그들은 심사위원이 옵션들을 함께 비교하도록 허용할 때, 모두가 더 낫고, 빠르고, 공정한 결과를 얻는다는 것을 증명했습니다.

옛 방식: 외로운 사과

오랫동안 AI 번역기를 테스트하는 표준 방식은 "점수 기반 평가(pointwise evaluation)"였습니다. 당신이 에세이 뭉치를 채점하고 있다고 상상해 보세요. 옛 방식에서는 에세이 하나를 집어 들어 읽고, 점수를 매긴 뒤, 다시는 돌아보지 않고 다음 에스이를 집어 드는 식입니다. 첫 번째 에세이가 좋아 보여서 85점을 주었지만, 두 번째 에세이는 실제로는 더 나쁜데도 불구하고 당신이 지쳤거나 첫 번째 에세이가 너무 형편없었다는 이유만으로 90점을 줄 수도 있습니다. 이것을 "주석 노이즈(annotation noise)"라고 부릅니다. 이는 온도계 없이 추운 방 안에서 커피 한 잔의 온도를 만져보고 판단하려는 것과 같습니다. 논문은 이 방식이 높은 "주석 노이즈"를 겪으며, 신뢰할 수 있는 평균값을 얻기 위해 매우 많은 심사위원이 필요하기 때문에 매우 비용이 많이 든다고 언급합니다.

새로운 방식: 과일 바구니

Vilém Zouhar와 동료들이 이끄는 저자들은 cESA라는 새로운 방법을 제안했습니다. 원문(source text)을 진공 상태에서 하나씩 보는 대신, 주석 작성자는 여러 개의 번역본을 동시에 보게 됩니다. 이것을 "과일 바구니" 접근법이라고 생각하면 됩니다. 완벽한 사과 옆에 약간 멍든 사과가 있다면, 사과를 혼자 보고 있을 때보다 훨씬 더 빨리 멍을 발견할 수 있습니다.

이 새로운 시스템에서 심사위원은 원문(예: 이야기의 한 문장)을 보고, 예를 들어 동일한 문장에 대한 세 가지 서로 다른 AI 모델의 번역본을 나란히 봅니다. 그런 다음 심사위원은 다음 과정을 수행합니다:

1. 특정 "오류 구간(error spans)"(틀린 정확한 단어들)을 표시합니다.
2. 해당 오류가 "주요(major)"한 오류인지(큰 실수) 아니면 "경미(minor)"한 오류인지(작은 실수) 결정합니다.
3. 명확한 척도에 따라 0%에서 100% 사이의 점수를 부여합니다.

논문은 이것이 "공동 평가 대 개별 평가(joint vs. separate evaluation)"라는 심리학적 개념 덕분에 작동한다고 설명합니다. 사물들을 함께 볼 때, 다른 것들과 비교함으로써 한 번역본의 실수를 더 잘 찾아낼 수 있습니다. 또한, 이는 "가능한 번역의 범위"를 이해하는 데 도움을 주어 판단을 더 객관적으로 만듭니다. 게다가, 모든 번역본에 대해 원문 텍스트를 계속해서 반복해서 읽을 필요가 없으므로 엄청난 시간을 절약할 수 있습니다.

실험: 과일 바구니 테스트

이 새로운 방법이 실제로 효과가 있는지 확인하기 위해, 연구진은 영어-일본어 번역을 사용하여 대규모 실험을 진행했습니다. 그들은 뉴스, 소셜 미디어, 비디오에서 가져온 97개의 세그먼트를 사용하여 12가지의 서로 다른 AI 모델(Gemini, Claude, DeepSeek와 같은 유명 모델 포함)을 테스트했습니다.

그들은 기존 방식(한 번에 하나의 번역본을 보여주는 방식)과 새로운 방식(한 번에 1개, 2개, 3개 또는 4개의 번역본을 보여주는 방식)을 비교했습니다. 결과는 다음과 같습니다:

• 속도: 새로운 방식이 훨씬 빨랐습니다. 세 개의 모델을 동시에 보여줄 때(최적의 지점), 세그먼트당 평균 주석 시간은 77.8초에서 53.7초로 줄어들었습니다. 이는 항목당 시간을 31% 감소시킨 것입니다.
• 품질: 점수가 더 안정적이었습니다. 연구진은 "심사위원 간 일치도(inter-annotator agreement, 두 명의 서로 다른 심사위원이 얼마나 일치하는지)"와 "심사위원 내 일치도(intra-annotator agreement, 동일한 심사위원이 두 번째 시도에서 자신과 얼마나 일치하는지)"를 측정했습니다. 새로운 방식은 더 높은 일치도를 보였으며, 이는 심사위원들이 더 일관적임을 의미합니다.
• 마법의 숫자: 그들은 한 번에 1개, 2개, 3개, 4개의 모델을 보여주는 것을 테스트했습니다. 그들은 3개의 모델을 보여주는 것이 가장 좋은 균형임을 발견했습니다. 1개에서 2개로 늘리면 시간이 많이 절약되었지만, 4번째 모델을 추가하는 것은 시간을 더 많이 절약해주지 못했을 뿐만 아니라 화면을 다소 복잡하게 만들었습니다. 세 개가 심사위원을 만족시키고 효율성을 유지하는 완벽한 숫자였습니다.

"만약에"에 대한 답변: 심사위원이 편향되었는가?

연구진은 다른 번역본을 보는 것이 심사위원을 속일 수도 있다는 점을 우려했습니다. 그들은 다음과 같이 질문했습니다. "정말 형편없는 번역이 좋은 번역 옆에 있으면, 좋은 번역이 너무 좋아 보이지 않을까? 혹은 아주 훌륭한 것이 나쁜 것 옆에 있으면, 나쁜 것이 너무 나빠 보이지 않을까?"

그들은 두 가지 유형의 편향을 확인하기 위해 테스트를 수행했습니다:

1. 위치 편향(Position Bias): 왼쪽에 있는 번역이 오른쪽에 있는 것보다 더 높은 점수를 받는가? 데이터는 위치에 따른 차이가 거의 없음을 보여주었습니다.
2. 주변 편향(Surrounding Bias): "미끼(decoy)"(매우 나쁘거나 매우 좋은 번역)를 보는 것이 다른 것들의 점수를 바꾸는가? 그들은 아주 작은 효과를 발견했습니다. 어떤 모델이 훨씬 강력한 모델 옆에 있으면, 그 모델의 점수는 평균적으로 약 0.5점 정도 떨어졌습니다. 그러나 저자들은 이 차이가 모델 간의 실제 차이(10점 또는 20점까지 날 수 있음)에 비해 매우 작기 때문에 중요하지 않다고 언급했습니다. 이는 마치 러너가 우승자보다 10초 늦게 들어왔을 때, 그가 세계 챔피언 옆에서 뛰어서 0.5초 더 늦어진 것인지 여부는 중요하지 않은 것과 같습니다.

결론

논문은 cESA가 AI 번역기를 평가하는 더 나은 방법이라고 결론짓습니다. 이것은 더 빠르고, 저렴하며, 더 신뢰할 수 있는 점수를 만들어냅니다. 저자들은 누군가 번역의 인간 평가를 수행한다면 한 번에 세 개의 모델을 보여주는 방식으로 전환해야 한다고 제안합니다. 그들은 심지 even 튜토리얼과 가이드라인을 갖춘, 누구나 사용할 수 있는 간단한 도구(Pearmut이라 불리는)까지 만들었습니다.

결국, 이 논문은 심사위원이 사과를 하나씩 보는 대신 바구니에 담긴 사과들을 비교하게 함으로써, 어떤 AI가 진정으로 최고인지에 대한 훨씬 더 명확한 그림을 얻을 수 있다고 시사합니다. 이것은 우리가 작업을 바라보는 방식의 단순한 변화이지만, 기계를 심사하는 전체 과정을 훨씬 더 똑똑하고 인간 친화적으로 만듭니다.