When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

당신은 문자 메시지, 트윗, 포럼 게시물의 모음을 번역하도록 고용된 번역가라고 상상해 보세요. 이들은 공식적인 편지가 아닙니다. 오타, 은어, 강조를 위한 반복된 글자 (예: "soooooo"), 이모지, 심지어 욕설까지 가득 차 있습니다.

이제, 당신에게 이 messy 한 텍스트를 어떻게 처리할지 지시하는 네 명의 다른 상사가 있다고 상상해 보세요. 이것이 바로 이 논문에서 연구자들이 조사한 내용입니다. 그들은 다음과 같이 질문했습니다: "원본 텍스트가 messy 할 때, 무엇이 '좋은' 번역으로 간주되며, 우리는 이를 어떻게 공정하게 측정할 수 있는가?"

다음은 일상적인 비유를 사용하여 그들의 발견 사항을 정리한 것입니다.

1. "골드 스탠다드"는 실제로 스펙트럼입니다

번역 세계에는 보통 모두가 옳다고 동의하는 완벽한 참조 번역인 "골드 스탠다드"가 있습니다. 하지만 저자들은 사용자 생성 콘텐츠 (UGC) 의 경우 단 하나의 골드 스탠다드는 없다고 발견했습니다. 대신 스펙트럼이 존재합니다.

그들은 네 가지 다른 데이터셋 (번역된 텍스트의 모음) 을 분석했고, "상사들"(지침을 만든 사람들) 이 매우 다른 철학을 가지고 있음을 발견했습니다:

• 엄격한 편집자 (RoCS-MT): 이 상사는 말합니다. "모든 것을 고치세요! 맞춤법을 수정하고, 문법을 바로잡고, 은어를 제거하며, 제대로 된 신문 기사처럼 들리게 하세요." 그들은 결과가 깔끔하고 표준적이기를 원합니다.
• 보존주의자 (PFSMB): 이 상사는 말합니다. "분위기를 유지하세요! 원본 텍스트에 반복된 글자나 은어가 있다면, 번역에도 그대로 있어야 합니다. 정리하지 말고, 느낌만 번역하세요."
• 중도파 (FooTweets & MMTC): 이 상사들은 그 사이 어딘가에 위치하여, 일부는 수정하되 텍스트의 개성은 유지합니다.

비유: 친구의 손편지를 번역한다고 상상해 보세요.

• 엄격한 편집자는 친구의 메모를 완벽한 타이포그래피로 다시 쓰고, 맞춤법을 수정하며 낙서를 제거할 것입니다.
• 보존주의자는 단어는 번역하되, 필체 스타일, 낙서, messy 한 여백은 그대로 유지할 것입니다.
• 이 논문은 두 가지 접근 방식 모두 클라이언트가 무엇을 원하는지에 따라 "옳을" 수 있다고 주장합니다.

2. 번역가를 위한 "액션 메뉴"

이러한 다양한 스타일을 이해하기 위해 연구자들은 12 가지 유형의 "messy" 요소 (오타, 이모지, 해시태그, 욕설 등) 와 번역가가 취할 수 있는 5 가지 행동을 메뉴로 만들었습니다:

1. NORMALISE (정규화): 고치기 (예: "u"를 "you"로 변경).
2. COPY (복제): 그대로 유지하기 (예: 해시태그 #WorldCup 을 변경 없이 유지).
3. TRANSFER (전환): "messiness"를 대상 언어로 번역하기 (예: 영어 "LOL"을 프랑스어 "MDR"로 변경).
4. OMIT (생략): 완전히 무시하기 (예: 사용자 이름 건너뛰기).
5. CENSOR (검열): 모욕적인 단어를 순화하기 (예: "f**k"를 "heck"로 변경).

논문에 따르면, 서로 다른 데이터셋은 이러한 행동들의 서로 다른 조합을 사용합니다. 한 데이터셋은 "은어를 전환하라"고 말할 수 있는 반면, 다른 데이터셋은 "은어를 정규화하라"고 말할 수 있습니다.

3. AI 로봇과 "사용 설명서"

연구자들은 현대 AI 모델 (대규모 언어 모델 또는 LLM) 이 이러한 서로 다른 지시를 어떻게 처리하는지 테스트했습니다. 그들은 AI 에게 동일한 messy 한 텍스트를 주었지만, 네 가지 다른 데이터셋 중 하나에 맞게 "사용 설명서"(프롬프트) 를 변경했습니다.

그들이 발견한 바:

• AI 는 지시에 민감합니다: AI 에게 "은어를 보존하라"(보존주의자 상사와 일치) 고 지시했을 때, 그것은 훌륭한 성과를 냈습니다. "모든 것을 고치라"(엄격한 편집자와 일치) 고 지시했을 때도 마찬가지였습니다.
• 불일치는 혼란을 초래합니다: AI 에게 "은어를 보존하라"고 지시한 후, "엄격한 편집자" 참조 번역을 기준으로 채점하면, AI 는 지시를 완벽하게 따랐음에도 불구하고 나쁜 점수를 받습니다. 이는 케이크 레시피를 따라 만든 학생을 파이 원심판에게 채점하는 것과 같습니다.
• 일부 AI 는 고집스럽습니다: 하나의 모델 (Tower) 은 지시를 대부분 무시하고 제멋대로 행동했습니다. 다른 모델 (LLaMA) 은 욕설과 같은 "위험한" 단어가 포함된 경우 번역을 거부하여 사실상 직무를 포기했습니다.

4. "점수판" 문제

번역이 좋은지 어떻게 알 수 있을까요? 보통은 AI 의 출력을 "골드 스탠다드" 참조와 비교하는 자동 점수 도구 (지표) 를 사용합니다.

문제점: 이러한 점수 도구들은 편향되어 있습니다.

• 참조 번역이 "깔끔하고 표준적"이라면, 점수 도구는 깔끔한 번역을 좋아하고 messy 한 번역을 싫어합니다.
• 참조 번역이 "messy 하고 은어로 가득 차" 있다면, 점수 도구는 혼란을 겪고 messy 한 번역에 낮은 점수를 줄 수 있으며, 이는 원작에 충실하더라도 마찬가지입니다.

비유: 재능 쇼의 심사위원을 상상해 보세요. 만약 심사위원이 클래식 바이올리니스트를 찾고 있다면, 록 기타리스트에게 낮은 점수를 줄 것입니다. 비록 그 록 기타리스트가 록 음악에서 놀라운 실력을 발휘하더라도요. 논문은 현재의 AI 점수 도구들이 바로 그런 심사위원과 같다고 보여줍니다. 그들은 "깔끔한" 텍스트에 편향되어 있으며, 어떤 스타일을 기대해야 하는지 정확히 알려지지 않는 한 "messy 한" 텍스트를 공정하게 평가하는 데 어려움을 겪습니다.

5. 주요 교훈

이 논문은 게임의 규칙을 알지 않고는 번역을 공정하게 평가할 수 없다고 결론 내립니다.

• 데이터셋 제작자를 위해: 지침을 매우 명확하게 해야 합니다. 텍스트를 정리하길 원하는지, 개성을 보존하길 원하는지 말입니다.
• AI 개발자를 위해: AI 에게 정확히 어떤 스타일을 사용해야 하는지 알려야 합니다.
• 평가자를 위해: 단순히 일반적인 점수를 사용할 수 없습니다. AI 가 "엄격한 편집자"가 되어야 했는지 "보존주의자"가 되어야 했는지 이해하는 "지침 인식형" 평가 시스템이 필요합니다.

요약하자면: "좋은" 번역은 단순히 정확한 것에 관한 것이 아니라, 요구된 스타일에 맞게 정확하게 수행하는 것에 관한 것입니다. 스타일을 정의하지 않으면 결과물을 공정하게 판단할 수 없습니다.