APEX-VW: A Document-Level English-Spanish Post-Editing Dataset in the Healthcare Domain

컴퓨터가 인간의 언어를 배우려고 노력하고 있지만, 여전히 조금은 서툰 세상이 있다고 상상해 보세요. 이것이 바로 구글 번역(Google Translate)이나 딥엘(DeepL) 같은 소프트웨어가 한 문장을 다른 언어로 바꾸려고 시도하는 **기계 번역(Machine Translation, MT)**의 영역입니다. 때로는 컴퓨터가 정답을 맞히기도 하지만, 종종 실수를 저지르곤 합니다. 특히 까다로운 단어나 의학 같은 특정 주제에서 더욱 그렇습니다. 이를 해결하기 위해 인간이 **포스트 에디터(Post-Editors)**로서 개입합니다. 이들을 컴퓨터의 거친 초안을 가져와 완벽하게 다듬는 "교정자"라고 생각하면 됩니다.

오랫동안 연구자들은 개별 문장을 하나씩 살펴보는 방식으로 이러한 오류를 연구해 왔습니다. 마치 테이블 위에 놓인 퍼즐 조각 하나하나를 검사하는 것과 같습니다. 하지만 현실 세계에서 번역가들은 고립된 문장이 아니라, 책 한 권이나 의료 보고서와 같은 전체 문서 단위로 작업합니다. 이러한 긴 문서에서는 까다로운 단어들이 반복해서 나타나곤 합니다. 만약 컴퓨터가 처음에 의학 용어를 틀리게 번了다면, 열 번째에도 똑같이 틀릴 가능성이 높습니다. 연구자들이 던지는 핵심 질문은 이것입니다: "우리가 인간의 첫 번째 수정을 학습하여, 문서 내의 동일한 실수를 인간처럼 자동으로 수정하도록 컴퓨터를 가르칠 수 있을까?" 이 논문은 바로 그 문제를 파고듭니다. 단일 문장에서 벗어나, 수정 사항이 하나의 이야기 전체를 통해 어떻게 "전파"되는지를 살펴봅니다.

---

번역의 "가상 병동"

새로운 오픈 데이터 보물 상자인 APEX-VW를 소개합니다. 이 데이터는 연구팀에 의해 만들어졌습니다. 모든 책이 "가상 병동(virtual wards)"에 관한 의료 문서인 거대한 도서관을 상상해 보세요. 가상 병동이란 환자를 건물 안이 아닌 집에서 치료하는 현대적인 방식입니다. 이 문서들은 영어로 작성되었으며, 연구진은 컴퓨터가 이를 스페인어로 얼마나 잘 번역하는지, 그리고 더 중요한 것은 인간 편집자들이 그 번량들을 어떻게 수정했는지를 확인하고자 했습니다.

연구팀은 단순히 무작위 문장을 가져온 것이 아닙니다. 그들은 7개의 완전한 문서(총 42,108단어)를 가져와 4가지 서로 다른 번역 엔진(DeepL, ModernMT, Language Weaver, 그리고 OpenAI 기반 시스템)에 입력했습니다. 그런 다음, "편집자" 역할을 수행할 3명의 전문 인간 번역가를 고용했습니다. 이 인간들은 단순히 오타를 고치는 것에 그치지 않았습니다. 특정 의학 용어가 첫 번째 단락에서 한 가지 방식으로 번역되었다면, 마지막 단락에서도 그 방식이 유지되도록 해야 했습니다.

"복사-붙여넣기" 문제 vs. "스마트 메모리"

여기에 이 논문이 다루는 핵심 문제가 있습니다. 당신이 긴 이야기를 편집하고 있다고 상상해 보세요. 1페이지에서 컴퓨터가 "virtual ward"를 "virtual room"으로 번역했습니다. 당신은 그것이 틀렸다는 것을 알고 "virtual hospital unit"으로 바꿉니다. 계속 읽다 보니 5페이지에서 컴퓨터가 다시 "virtual room"이라고 말합니다. 당신은 한숨을 쉬며 다시 수정합니다. 10페이지에 이르러서도 이 일이 세 번째로 발생합니다.

현실 세계에서 전문적인 도구들(이 연구에서 사용된 Trados Studio와 같은 도구)은 "메모리"를 가지고 있습니다. 당신이 단어를 한 번 바꾸면, 도구는 이를 기억하고 문서의 다른 모든 곳에서도 변경할 것을 제안합니다. 하지만 대부분의 컴퓨터 연구 데이터셋은 단일 문장만을 보기 때문에, 이러한 "메모리"가 작동하는 모습을 볼 수 없습니다. 즉, 인간이 한 문서 내에서 동일한 수정을 수십 번 반복해야 하는 상황을 놓치게 됩니다.

APEX-VW 데이터셋이 특별한 이유는 전체 문서를 하나로 유지하기 때문입니다. 이는 페이지 순서와 번역 도구의 맥락을 보존합니다. 이를 통해 연구자들은 "수정 전파(correction propagation)"를 연구할 수 있습니다. 이는 멋진 표현으로 다음과 같습니다: 하나의 실수를 고치는 것이 나머지 문서를 고치는 데 어떻게 도움이 되는가?

발견한 것 (그리고 발견하지 못한 것)

연구진은 데이터를 분석하여 몇 가지 흥able한 패턴을 발견했습니다. 다만, 이것이 최종 답변이 아니라 시작점이라는 점을 명시하고 있습니다.

• 반복은 실재한다: 문서에는 반복되는 용어들이 가득했습니다. "반복률(Repetition Rate, 단어가 얼마나 자주 반복되는지를 측정하는 척도)"은 문서마다 0.07에서 0.21 사이였습니다. 이는 어떤 텍스트는 매우 반복적이고, 어떤 텍스트는 더 다양하다는 것을 의미하며, 연구자들에게 다양한 유형의 도전 과제를 제공했습니다.
• 모든 컴퓨터가 평등한 것은 아니다: 네 가지 번역 시스템은 서로 다르게 작동했습니다. 예를 들어, DeepL과 ModernMT는 할당된 텍스트에서 오류가 적었습니다(오류율인 TER이 6.35와 9.66까지 낮았습니다). 그러나 Language Weaver와 OpenAI 시스템은 훨씬 많은 오류를 범했으며, 해당 텍스트의 TER 점수는 각각 55.47과 39.32에 달했습니다.
• 인간은 단순히 단어를 바꾸는 것 이상을 한다: 인간이 텍스트를 수정할 때, 단순히 단어 하나를 다른 것으로 교체하는 데 그치지 않았습니다. 그들은 많은 내용을 추가, 삭제 및 교체했습니다. 총 6,790번의 삽입, 1,285번의 삭제, 그리고 9,523번의 교체가 이루어졌습니다. 문장당 평균 수정 횟수는 6.49회였습니다. 이는 기계 번역을 수정하는 것이 단순히 적절한 단어를 선택하는 문제가 아니라, 종종 문장 전체를 의미가 통하도록 다시 쓰는 작업임을 시사합니다.
• 두 가지 유형의 실수: 팀은 인간이 힘겹게 작업해야 했던 두 가지 주요 시나리오를 식별했습니다.
  1. "일관되지만 틀린" 시나리오: 컴퓨터가 용어를 매번 동일하게 번역했지만, 그 용어 자체가 틀린 경우입니다. 인간은 "virtual ward"라는 용어를 위해 한 문서 내에서 35번이나 수동으로 수정해야 했습니다.
  2. "불일치" 시나리오: 컴퓨터가 동일한 용어를 문서 전체에서 서로 다른 방식(예: "virtual room", "virtual unit", "virtual service")으로 번역한 경우입니다. 인간은 탐정이 되어 모든 다른 버전들을 찾아내고 이를 하나로 통일시켜야 했습니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 데이터셋은 벤치마크, 즉 미래 연구자들을 위한 표준 테스트 세트입니다. 이는 더 나은 AI 번역기를 만들기 위해서는 문장을 개별적으로 보는 것을 멈추고 문서 전체를 바라봐야 함을 시사합니다. 또한 미래의 도구들은 인간의 첫 번째 수정을 "학습"하여 문서의 나머지 부분에 자동으로 적용할 수 있어야 함을 보여줍니다. 이를 통해 번역가의 시간을 절약하고 스트레스를 줄일 수 있습니다.

하지만 저자들은 이 데이터셋이 무엇이 아닌지에 대해서도 매우 명확하게 밝히고 있습니다. 이것은 모든 번역 문제를 해결하는 마법 같은 해결책이 아닙니다. 이 데이터셋은 영어-스페인어로 제한되어 있으며, 오직 의료 문서만을 다룹니다. 또한 이는 특정 시점(구체적으로 2026년 4월의 AI 상태)의 스냅샷이며, 시간이 흐름에 따라 어떻게 변하는지는 보여주지 않습니다. 또한, 서로 다른 컴퓨터로 서로 다른 문서들이 테스트되었기 때문에, 이 데이터를 사용하여 어떤 컴퓨터가 전체적으로 "최고"인지 엄격하게 순위를 매길 수는 없습니다. 그보다는 인간이 실제 워크플로우에서 어떻게 수정 작업을 수행하는지를 연구하는 데 더 적합합니다.

"스마트" 편집의 미래

논문은 이 리소스가 새로운 종류의 연구를 위한 문을 열어준다고 결 결론짓습니다. 미래의 번역 도구가 유능한 부조종사(co-pilot)처럼 작동하는 모습을 상상해 보세요. 만약 당신이 의학 용어 하나를 수정한다면, 도구가 이렇게 속삭이는 것입니다. "방금 그걸 수정하셨네요. 이 문서의 다른 곳에도 적용할까요?"

저자들은 APEX-VW와 같은 데이터를 통해 우리가 **일관성(consistency)**과 **전파(propagation)**를 이해하는 시스템을 구축할 수 있다고 제안합니다. 그들은 이것이 단어를 번역하는 것을 넘어, 문서 전체의 흐름을 이해하여 인간이 더 빠르고 스트레스 없이 작업할 수 있도록 돕는 도구로 이어지기를 희망합니다. 하지만 현재로서는, 이 데이터셋은 복잡한 인간과 기계의 협업이라는 풍경을 탐험하기 위해 정교하게 제작된 지도이자, 그 첫걸음일 뿐입니다.