An Investigation of Translationese in the Generations of Multilingual Large Language Models

사람이 모국어가 아닌 언어로 말하거나 글을 쓸 때, 그들의 단어에는 종종 미묘하고 보이지 않는 지문이 남곤 합니다. 그들은 약간 딱딱하게 느껴지는 문장 구조를 사용하거나, 기술적으로는 정확하지만 현지인들은 거의 사용하지 않는 단어를 선택하거나, 모국어의 영향을 드러내는 방식으로 구절을 배열하기도 합니다. 언어학자들은 이 현상을 '번역투(translationese)'라고 부릅니다. 이는 텍스트가 성공적으로 번역되었음에도 불구하고 여전히 남아 있는 원래 언어의 잔향입니다. 수십 년 동안 이 개념은 인간 번역 분야에서 연구되어 왔으며, 학자들은 번역이라는 행위가 언어의 질감을 어떻게 변화시키는지 분석해 왔습니다. 그러나 오늘에는 인공지능 분야에서 새로운 질문이 등장했습니다. 수십 개의 언어로 유창하게 글을 쓸 수 있는 강력한 컴퓨터 시스템인 대규모 언어 모델이 점점 더 흔해지고 있습니다. 이 기계들은 표면적으로는 완벽해 보이는 텍스트를 생성할 수 있지만, 연구자들은 이들이 쓰는 언어로 진정으로 사고하고 있는지, 아니면 최종 결과물을 출력하기 전에 지배적인 내부 언어인 영어로부터 모든 것을 비밀리에 번역하고 있는 것인지 의문을 갖기 시작했습니다. 만약 그렇다면, 그들의 출력물은 인간 번역가가 남기는 것과 같은 숨겨진 지문을 지니게 될 것입니다.

연구팀은 이러한 가능성을 조사하기 위해 인공지능 모델이 생성한 텍스트를 마치 번역된 것처럼 취급하며 연구를 시작했습니다. 그들은 기계가 특정 언어로 직접 쓰도록 요청받았을 때도 번역된 것처럼 들리는 텍ales를 생성하는지 알고 싶었습니다. 이를 위해 연구진은 영어, 독일어, 스페인어, 그리스어, 파슈토어 등 다섯 가지 언어로 텍스트 샘플을 수집했습니다. 그들은 세 가지 뚜렷한 유형을 포함하는 방대한 저작물을 만들었습니다: 원어민이 자연스럽게 작성한 텍스트, 실제로 인간에 의해 번역된 텍스트, 그리고 가장 발전된 두 가지 AI 모델이 생성한 텍스트입니다. 또한, AI가 대상 언어로 직접 쓰는 것과 비교하기 위해, AI가 영어로 글을 쓰고 별도의 컴퓨터 프로그램이 이를 대상 언어로 번역한 네 번째 유형도 포함했습니다. 그런 다음 연구진은 번역투를 인식하도록 훈련된 정교한 컴퓨터 프로그램을 사용했습니다. 이 프로그램은 수천 개의 인간 저작물과 인간 번역 사례를 통해 학습되었으며, 원어민과 번역가를 구분 짓는 미묘한 통계적 차이를 포착하는 법을 익혔습니다.

결과는 명확한 패턴을 보여주었습니다. AI 모델이 영어로 글을 쓸 때는 텍스트가 번역된 것으로 분류되는 경우가 드물었는데, 이는 그들이 지배적인 언어에서 자연스럽게 작동하고 있음을 시사합니다. 그러나 모델이 다른 언어로 전환하자 이야기가 달라졌습니다. 독일어와 스페인어에서 AI 생성 텍스트는 강한 번역투의 징후를 보였습니다. 컴퓨터 프로그램은 독일어 텍스트의 상당 부분과 스페인어 텍의 많은 양이 번역의 뚜렷한 표식을 가지고 있다고 식별했습니다. 이는 모델이 이 언어들로 직접 쓰도록 유도될 때조차, 아마도 영어를 먼저 생각한 뒤 변환하는 것과 유사한 내부 프로세스에 의존하고 있을 수 있음을 시사합니다. 이러한 효과는 연구진이 모델이 선택한 특정 단어들을 살펴보았을 때 더욱 두드러졌습니다. 연구진은 AI가 인간이 저지를 법한 가장 명백하고 서투른 실수는 피하는 경향이 있지만, 일반적인 단어들의 미묘한 분포 측면에서는 여전히 어려움을 겪고 있다는 것을 발견했습니다. 예를 들어, 독일어의 경우 모델은 원어민의 언어보다는 번역된 텍스트와 일치하는 패턴으로 특정 일반 접속사를 사용했으며, 스페인어의 경우 원어민보다 관사(the/the)를 훨씬 적게 사용했습니다.

흥미롭게도, 이러한 '번역' 효과의 정도는 언어 자체에 크게 좌우되었습니다. 모델은 디지털 자원이 적은 언어인 그리스어와 파슈토어에서 독일어나 스페인어보다 더 나은 성능을 보였습니다. 이러한 저자원 언어에서는 AI 생성 텍스트가 번역된 것으로 분류될 가능성이 더 낮았습니다. 연구진은 이것이 독일어와 스페인어의 훈련 데이터에 기존의 번역된 자료가 방대하게 포함되어 있어 모델이 이를 단순히 모방하기 때문일 수 있다고 제안합니다. 반면, 그리스어와 파슈토어의 훈련 데이터는 번역된 콘텐츠가 적어 모델이 가용한 원어 구조에 더 많이 의존하게 만들었을 수 있습니다. 연구진은 또한 인간 독자들에게 텍스트 샘 Phúc 샘플을 판단하도록 요청했습니다. 놀랍게도, 인간은 컴퓨터 프로그램이 매우 쉽게 찾아낸 번역투를 감지하지 못하는 경우가 많았습니다. 인간은 주로 이상한 단어 선택이나 어색한 조합을 알아차린 반면, 컴퓨터는 단어가 배열되는 방식의 더 깊은 통계적 변화를 감지했습니다. 이는 AI가 가장 눈에 띄는 오류는 숨길 수 있을지 몰라도, 그 밑바탕에 깔린 구조는 원어민 수준의 유창함이 부족함을 드러낸다는 것을 나타냅니다.

이 연구는 이 강력한 언어 모델들이 영어 이외의 언어에 대해 진정으로 원어민적인 방식으로 텍스트를 생성하지 못한다고 결론짓습니다. 대신, 그들의 출력물은 종종 번역의 숨겨진 서명을 지니고 있으며, 이는 그들의 내부 프로세스가 여전히 영어에 기반을 두고 있을 수 있음을 시사합니다. 이것이 모델이 실패하고 있다는 뜻은 아닙니다. 그들은 종-종 매우 효과적이고 유용합니다. 그러나 이는 그들이 배우고 작동하는 방식의 근본적인 한계를 드러냅니다. 그들은 많은 언어의 표면적인 수준을 숙달하고 있는 듯 보이지만, 여다면 영어 중심의 프레임워크에 의존하여 추론하고 있습니다. 연구진은 이러한 발견이 왜 이 모델들이 영어가 아닌 언어의 문화적 뉘앙스나 자연스러운 흐름을 가끔 어려워하는지를 설명하는 데 도움이 된다고 언급했습니다. 이러한 숨겨진 지문을 식별함으로써, 이 연구는 단순한 정확성을 넘어 기계가 모방하려는 목소리의 진정한 자연스러움을 평가하는 새로운 방법을 제공하며, 기계 생성 텍스트의 진정한 품질을 측정하는 길을 열어줍니다.