"대규모 언어 모델이 저자원 번역에서 실패하는 이유는 무엇인가?"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 제시합니다.

큰 그림: "보편적 번역기"의 결함

대규모 언어 모델 (LLM) 을 거의 전 세계의 모든 책을 읽은 지극히 똑똑하고 여행을 많이 한 사서들로 상상해 보세요. 그들은 영어, 프랑스어, 중국어와 같은 언어를 번역하는 데 탁월합니다. 수백만 권의 책을 읽었기 때문입니다.

하지만 덜 흔한 언어 (크메르어나 타밀어 등) 나 영어가 포함되지 않은 언어 쌍 (아랍어에서 히브리어로) 을 번역하라고 요청하면 그들은 비틀거리기 시작합니다. 그들은 터무니없는 말을 생성하거나, 불필요한 설명을 추가하거나, 단순히 의미를 잘못 전달할 수 있습니다.

이 논문은 다음과 같은 질문을 던집니다: 왜 이 지극히 똑똑한 사서들은 이러한 특정 작업에서 실패하며, 우리는 그 이유를 정확히 측정할 수 있는가?

---

1. 문제: "영어 중심" 편향

연구자들은 22 개의 서로 다른 언어 쌍에 대해 15 개의 서로 다른 AI 모델을 테스트했습니다. 그들은 명확한 패턴을 발견했습니다:

• 영어 중심 쌍(예: 영어에서 독일어로) 은 매우 잘 작동했습니다.
• 비영어 쌍(예: 아랍어에서 히브리어로) 이나 저자원 쌍(온라인에 책이 적은 언어) 은 훨씬 더 나쁜 성능을 보였습니다.

비유: AI 의 어휘를 거대한 도구상자로 생각하세요. 영어의 경우, 이 도구상자는 상상할 수 있는 모든 도구가 들어 있는 거대한 창고입니다. 희귀 언어의 경우, 이 도구상자는 몇 개의 녹슨 도구만 들어 있는 작고 먼지 낀 서랍입니다. AI 가 희귀 언어로 문장을 만들려고 할 때, 그것은 망치와 숟가락으로 자동차를 수리하려는 것과 같습니다.

2. 새로운 도구: "토큰 활성화율" (TAR)

도구상자가 왜 그렇게 비어 있는지 이해하기 위해, 저자들은 **토큰 활성화율 (Token Activation Rate, TAR)**이라는 새로운 측정 도구를 발명했습니다.

• "토큰"이란 무엇인가? 컴퓨터는 전체 단어를 읽지 않습니다. 대신 텍스트를 "토큰"이라고 불리는 작은 덩어리로 자릅니다 (예: "cat"은 하나의 토큰일 수 있지만, "unbelievable"은 "un", "believe", "able"로 잘릴 수 있습니다).
• TAR 란 무엇인가? 그것은 AI 가 특정 언어를 읽을 때 실제로 사용되는 AI 의 가용한 "덩어리"(토큰) 의 비율을 측정합니다.

비유: 10 만 권의 책이 있는 도서관을 상상해 보세요.

• 영어에 관한 책을 찾으라고 사서에게 요청하면, 그들은 5 만 권의 책을 꺼냅니다. 이것이 높은 활성화율입니다. 도서관이 영어로 "생기"가 넘칩니다.
• 크메르어에 관한 책을 요청하면, 그들은 고작 500 권의 책만 찾을 수 있습니다. 이것이 낮은 활성화율입니다. 도서관은 그 주제에 대해 대부분 비어 있습니다.

이 논문은 낮은 TAR = 나쁜 번역임을 증명합니다. AI 의 "도구상자"에 해당 언어를 위한 충분한 특정 도구가 없으면 번역이 실패합니다.

3. "생각하는" 모델: 그들은 더 열심히 노력할까?

연구자들은 또한 "추론 대규모 언어 모델"을 살펴보았습니다. 이들은 답변하기 전에 "생각"하도록 훈련된 최신 AI 모델로, 종종 문제를 풀기 전에 수학 풀이 과정을 작성하는 학생처럼 추가적인 내부 단계를 생성합니다.

발견:
이러한 "생각하는" 모델이 낮은 TAR(희박한 도구상자) 을 가진 언어를 마주치면, 그들은 더 많은 내부 사고 토큰을 생성하는 경향이 있습니다.

• 비유: 수학 문제의 답을 모르는 학생과 같습니다. 추측하는 대신, 그들은 첫 원리에서부터 문제를 해결하려고 시도하며 길고 복잡한 단계를 작성하기 시작합니다. 그들은 더 열심히 생각함으로써 도구 부족을 "보상"하려고 노력합니다.

그것이 도움이 될까?

• 가끔은, 그렇습니다: 일부 모델 (특정 Qwen 모델 등) 의 경우, 더 많은 "사고" 토큰을 생성하는 것이 실제로 번역 품질을 향상시켰습니다. 추가적인 노력이 보상을 받은 것과 같습니다.
• 가끔은, 아닙니다: 다른 모델 (일부 DeepSeek 모델 등) 의 경우, 더 많은 토큰을 생성하는 것이 도움이 되지 않았거나 오히려 상황을 악화시켰습니다. 그것은 학생이 자신의 노트에 너무 빠져서 원래 질문을 잊어버린 것과 같습니다.

4. "거리" 요인

이 논문은 **형질적 거리 (Typological Distance)**도 살펴보았습니다. 이는 두 언어가 얼마나 "관련되어" 있는지를 나타냅니다.

• 가까운 사촌: 프랑스어와 이탈리아어는 형제처럼 서로 많은 DNA 를 공유합니다.
• 먼 사촌: 영어와 중국어는 먼 사촌처럼 거의 공유하는 것이 없습니다.

발견: 언어가 적절한 수의 도구 (TAR) 를 가지고 있더라도, 원문과 목표 언어가 서로 매우 다르면 AI 는 더 어려움을 겪습니다. 젓가락을 사용하는 요리에서 포크를 사용하는 요리로 레시피를 번역하려는 것과 같습니다. 근본적인 논리가 너무 다르기 때문입니다.

5. "노이즈" 문제

연구자들이 직면한 주요 장애물 중 하나는 AI 모델이 종종 말을 너무 많이 한다는 것이었습니다. 번역만 제공하는 대신, 다음과 같은 내용을 추가할 수 있습니다: "여기가 번역입니다: [번역]. 저는 이 단어들을 선택했습니다 왜냐하면..."

이러한 "수다"는 번역을 채점하는 컴퓨터를 혼란스럽게 만듭니다. 저자들은 AI 가 입을 다물고 단순히 번역하도록 강제하는 특수한 프롬프트를 설계해야 했습니다. 그들은 일부 모델 (Google 번역이나 특정 "Tower" 모델 등) 이 다른 모델들보다 이러한 엄격한 지시를 따르는 데 훨씬 더 뛰어났음을 발견했습니다.

연구 결과 요약

1. 도구상자 이론: AI 가 저자원 번역에서 실패하는 이유는 해당 특정 언어에 대한 내부 "도구상자"(어휘) 가 너무 비어 있기 때문입니다. 우리는 **토큰 활성화율 (TAR)**을 사용하여 이 빈 emptiness 를 측정할 수 있습니다.
2. 보상 시도: 도구상자가 비어 있을 때, "생각하는" 모델은 더 많은 내부 단계를 생성함으로써 더 열심히 일하려고 시도합니다. 이는 일부 모델에는 도움이 되지만 모든 모델에는 도움이 되지 않습니다.
3. 관계가 중요합니다: 언어 자체뿐만 아니라 두 언어가 서로 얼마나 다른지도 중요합니다.
4. 결론: AI 번역이 실패하는 이유를 이해하려면 최종 결과뿐만 아니라 AI 가 사용하는 작은 구성 요소 (토큰) 를 살펴봐야 합니다.

이 논문이 주장하지 않는 것:

• 번역에 AI 사용을 중단해야 한다고 주장하지 않습니다.
• "생각하는" 모델이 모든 언어에 대한 궁극적인 해결책이라고 주장하지 않습니다.
• 이러한 발견에 대한 구체적인 의학적 또는 임상적 사용을 제안하지 않습니다.
• 즉시 새로운 제품을 구축하는 것이 아니라, 실패가 발생하는 이유를 설명하는 데만 집중합니다.