Building an English–Arabic Benchmark Corpus for Evaluating AI Translation of Implicit Political Meaning in U.S. Presidential Discourse

당신이 비밀 메시지를 한 언어에서 다른 언어로 번역하려고 노력하고 있다고 상상해 보십시오. 오늘날 대부분의 번역 도구는 초고속 복사기와 같습니다. 단어를 복사하고, 문법과 철자를 완벽하게 복제하는 데 매우 뛰어납니다. 만약 당신이 "The cat sat on the mat(고양이가 매트 위에 앉았다)"를 번역해 달라고 하면, 그들은 오류 없이 다른 언어로 정확한 등가물을 제공할 것입니다. 하지만 메시지가 단순히 단어에 관한 것이 아니라면 어떻게 될까요? 화자가 실제로 말하지 않으면서 무언가를 말하려고 하는 중이라면 어떨까요?

언어의 세계에서는 이를 "함축(implicature)"이라고 부릅니다. 이것은 암시하고, 피하고, 내비치는 기술입니다. 정치인이 "과거의 몇몇 사람들이 몇 가지 실수를 저질렀다"라고 말하며 특정 인물의 이름을 부르는 대신 "밥은 형편없었다"라고 말하는 것을 생각해보십시오. 의미는 그곳에 있지만, 그림자 속에 숨겨져 있으며 듣는 사람이 점들을 연결하기를 기다리고 있습니다. 이것은 까다로운 일인데, 문화마다 비밀을 숨기는 방식이 다르기 때문입니다. 영어에서는 "워싱턴"에 대해 이야기함으로써 무언가를 암시할 수 있는 반면, 아랍어에서는 특정한 유형의 모호한 구절을 사용할 수 있습니다. 만약 번역 도구가 단어만 복사하고 숨겨진 힌트를 놓친다면, 정중한 제안을 직접적인 모욕으로 바꾸거나 그 반대로 만들 수도 있습니다. 이는 정치에서 매우 큰 문제인데, 지도자들은 문제를 피하거나 동맹들에게 비밀 신호를 보내기 위해 이러한 숨겨진 힌트를 자주 사용하기 때문입니다.

이것이 바로 모하마드 하나카(Mohammad Hanaqtah)와 요르단 대학교 팀이 해결하기로 결심한 퍼즐입니다. 그들은 컴퓨터가 언어의 "표면"을 번역하는 데는 뛰어나지만, 쓰여 있지 않은 부분인 언어의 "영혼"을 번역하는 법은 여전히 배우는 중이라는 것을 깨달았습니다. 이를 해결하기 위해 그들은 단순히 이론을 쓴 것이 아니라, AI와 인간 번역가가 영어와 아랍어 사이를 전환할 때 이러한 교묘한 정치적 힌트를 얼마나 잘 다루는지 테스트할 수 있는 특별한 훈련장, 즉 "벤치마크"를 구축했습니다.

대통령 연설의 비밀 코드

연구진은 2008년부터 2024년 사이에 행해진 두 명의 미국 대통령, 버락 오바마와 조 바이든의 연설에서 121개의 짧은 구절을 수집하는 것으로 시작했습니다. 그들은 무작위 문장을 고른 것이 아닙니다. 그들은 연설의 "숨겨진" 부분들을 구체적으로 찾아냈습니다. 이는 대통령이 직접적이지 않았던 순간들입니다. 예를 들어, "이전 행정부가 실패했다"라고 말하는 대신, "문제가 악화되는 동안 우리는 수십 년을 기다려 왔다"라고 말할 수 있습니다.

그 후 팀은 이 121개 구절에 대한 특별한 "정답지"를 만들었습니다. 그들은 이 구절들을 격식 있는 아랍어로 번격했는데, 매우 엄격한 규칙을 적용했습니다: 비밀을 유지하라. 만약 영어 화자가 책임을 피하기 위해 모호하게 말했다면, 아랍어 번역도 똑같은 방식으로 모호해야 했습니다. 빈칸을 실제 이름이나 명확한 설명으로 채워서는 안 되었습니다. 그들은 "간접성"을 보존해야 했습니다.

그들이 발견한 가장 흥ente한 패턴 중 하나는 "이름 회피(name avoidance)"라고 부르는 패턴입니다. 121개 구간 중 24개에서 대통령들은 영리한 기술을 사용했습니다. 실제 인물을 이름 대신 역할(예: "전임자" 또는 "지난 행정부")로 언급한 것입니다. 이것은 "조지"라고 말하는 대신 "내 앞의 자리에 앉았던 사람"이라고 말하는 것과 같습니다. 연구진은 정성스럽게 만든 아랍어 번역본에서 이러한 "이름 회피"를 성공적으로 유지했음을 발견했습니다. 그들은 실수로 정보를 누설하여 실제 이름을 밝히지 않았습니다. 사실, 전체 데이터셋에서 이 규칙을 어긴 경우는 단 한 번뿐이었는데, 그것은 원래의 영어 연설 자체가 실제로 그 사람의 이름을 직접 언급했기 때문이었습니다. 이는 그들의 번역 방식이 언제 모호함을 유지하고 언제 명확해져야 하는지를 알 만큼 똑똑하다는 것을 보여주었습니다.

AI를 위한 새로운 "시험"

이 논문은 단순히 데이터셋을 만드는 데서 그치지 않고, 번역을 채점하는 완전히 새로운 방법을 구축합니다. 선생님이 시험을 치르는 상황을 상상해 보십시오. 보통 선생님은 학생이 단어의 철자를 맞게 썼는지 확인합니다. 이 새로운 프레임워크는 학생이 농담이나 힌트를 이해했는지 확인하는 선생님과 같습니다.

그들은 다섯 단계의 점수 체계를 만들었습니다:

1. 완전 보존 (Fully Preserved): 독자가 원문 청자와 정확히 동일한 숨겨진 의미를 얻음.
2. 대체로 보존 (Mostly Preserved): 힌트는 존재하지만, 약간 약해짐.
3. 부분적 보존 (Partially Preserved): 의미를 추측하기 위해 매우 열심히 노력해야 하거나, 의미가 약간 변함.
4. 최소한 보존 (Minimally Preserved): 힌트가 거의 사라졌으며, 주로 문자 그대로의 단어만 보임.
5. 보존되지 않음 (Not Preserved): 힌트가 완전히 사라졌거나, 의미가 다른 것으로 뒤틀림.

그들은 또한 번역이 잘못될 때 어떤 일이 발생하는지도 정의했습니다. 때때로 번역가(또는 로봇)는 힌트를 "과잉 설명"하여 미묘한 암시를 큰 외침으로 바꿀 수 있습니다. 이를 "명시화(explicitation)"라고 합니다. 다른 경우에는 힌트를 너무 약하게 만들거나 너무 강하게 만들기도 합니다. 연구진은 이를 "변이(shifts)"라고 부릅니다.

이것이 미래에 갖는 의미

이 논문을 이해하는 데 있어 가장 중요한 점은 이 논문이 아직 말하지 않은 내용입니다. 저자들은 놀이터와 게임의 규칙을 만들었지만, 아직 게임을 직접 플레이하지는 않았습니다. 그들은 현재의 AI(우리가 사용하는 거대 언어 모델 같은)나 인간 번역가가 이 특정 테스트에서 얼마나 잘하는지 테스트하지 않았습니다. 그들은 "우리는 이것을 측정할 도구를 만들었고, 어떻게 측정할 것인지에 대한 방법도 제시한다"라고 말하고 있는 것입니다.

그들은 현재의 AI가 이러한 숨겨진 의미를 다루는 데 어려움을 겪을 수 있다고 시사합니다. 왜냐하면 AI는 보통 유창하고 완전하도록 훈련되기 때문입니다. AI는 빈칸을 채우고 명확하게 만드는 것을 좋아합니다. 하지만 정치에서는 때때로 명확하게 하고 싶지 않을 때가 있습니다. 당신은 모호함을 원합니다. 연구진은 만약 자신들의 테스트를 실행한다면, AI가 간접적인 힌트를 직접적인 진술로 바꾸어 정치적 의미를 완전히 변화시키는, 즉 실수로 "비밀을 누설하는" 경우가 자주 발생할 것이라고 추측합니다.

이 특정한 121개의 까다로운 문장 컬렉션과 명확한 채점 방식을 만듦으로써, 팀은 과학계에 새로운 자를 제공했습니다. 이전에는 번역이 얼마나 매끄러운지만 측정할 수 있었습니다. 이제 우리는 번역이 비밀을 지켰는지 드디어 측정할 수 있습니다. 이것은 기계가 정치적 암시라는 복잡하고 미묘하며 매우 인간적인 기술을 어떻게 다루는지 이해하는 데 있어 큰 진전입니다. 저자들이 향다면 계획하고 있는 다음 단계는, 실제로 테스트를 실행하여 로봇이 인간 외교관만큼 비밀을 잘 지킬 수 있는지 확인하는 것입니다.