Cross-Lingual Information Access in the LLM Era: Architectures, Alignment Strategies, and Open Challenges for Low-Resource Languages

당신이 모든 책이 서로 다른 언어로 쓰인 거대한 글로벌 도서관에 서 있다고 상상해 보세요. 만약 당신이 사서에게 "드래곤(용)"에 대한 이야기를 달라고 요청한다면, 사서는 영어로 된 "드래곤"에 관한 책을 건네줄 것입니다. 하지만 당신이 사서가 모르는 언어로 요청한다면, 사서는 잘못 짐작하여 "토스터기"에 관한 책을 건네주는 대신 어깨를 으쓱할지도 모릅니다. 수십 년 동안 컴퓨터는 이 문제를 해결하기 위해 초고속 번역기처럼 작동하려고 노력했습니다. 즉, 당신의 질문을 영어로 번역하여 답을 찾은 뒤 다시 원래 언어로 번역하는 방식이었죠. 하지만 이것은 천 명의 사람과 함께 "전화기 놀이(말 전달 게임)"를 하는 것과 같습니다. 메시지가 당신에게 돌아올 때쯤이면 내용이 뒤섞이거나, 컴퓨터가 혼란에 빠져 엉뚱한 이야기를 지어내기도 합니다.

최 최근 과학자들은 여러 언어를 동시에 읽을 수 있는 "슈퍼 브레인(거대 언어 모델)"을 구축하여, 어떤 언어를 사용하더라도 "드래곤"이라는 개념 자체를 이해할 수 있기를 기대했습니다. 하지만 여기 함정이 있습니다. 이 "슈퍼 브레인"들은 주로 크고 부유한 언어(영어, 중국어, 프랑스어 등)로 된 책들을 학습했으며, 규모가 작고 덜 흔한 언어의 책은 아주 적게 학습했다는 점입니다. 이 논문은 비판적인 질문을 던집니다. 이 새로운 슈퍼 브레인들이 실제로 모두가 정보를 찾는 것을 돕고 있는가, 아니면 의도치 않게 일부 사람들을 어둠 속에 남겨두고 있는가? 이 질문에 답하기 위해 저자들은 이러한 시스템이 "저자원(low-resource)" 언어(디지털 도서가 적은 언인)를 어떻게 다루는지, 그리고 이 시스템들이 공정하고 정확한지, 아니면 그저 이야기를 지어내고 있는지를 조사합니다.

---

거대한 도서관의 강탈 사건: AI가 번역 중에 길을 잃을 때

이 논문은 글로벌 도서관에서 일어난 강탈 사건을 조사하는 탐정 소설과 같습니다. 용의자는 다양한 언어를 통해 우리가 정보를 찾는 것을 돕기 위해 설계된 새로운, 화려한 AI 시스템들입니다. Softwarica College의 연구진인 저자들은 이 시스템들이 진정으로 "똑똑한" 것인지, 아니면 그들이 잘 아는 언어에 대해서만 "운이 좋은" 것인지 확인하기 위해 엄격한 스트레스 테스트를 실시하기로 했습니다.

옛날 방식 vs 새로운 방식

이 새로운 AI 거인들이 등장하기 전에는, 어떤 문장이든 완벽하고 중립적인 의미(비밀 코드와 같은 것)로 변환한 뒤, 그 코드를 다시 어떤 언어로든 바꿀 수 있는 "만능 번역기"를 만드는 것이 계획이었습니다. 이것은 마치 레시피를 보편적인 "풍미 코드"로 변환하여 어떤 주방에서도 요리할 수 있게 만드는 것과 같습니다. 하지만 이를 완벽하게 해내는 것은 매우 어려웠습니다.

그 후 새로운 접근법인 "거대 신경망"이 등장했습니다. 이들은 100가지 언어로 된 수백만 권의 책을 읽은 학생들과 같습니다. 이들은 번 번역하는 대신, 단어의 "느낌"이나 "의미"를 직접 배우려고 노력합니다. 희망 사항은 만약 당신이 스와힐리어로 질문한다면, AI가 영어로 번역할 필요 없이 스와힐리어로 직접 답을 찾아내는 것이었습니다. 하지만 저자들은 이 학생들이 부유한 국가의 책들만 제대로 공부했을 뿐, 나머지 언어에 대해서는 그저 추측하고 있을지도 모른다고 의심했습니다.

세 가지 큰 발견

연구진은 18개 언어를 다루는 세 가지 "시험 문제(데이터셋)"를 사용하여 이 AI 시스템들을 테스트했습니다. 그리고 다음과 같은 결과를 얻었으며, 이는 당신이 기대할 법한 행복한 결말이 아닙니다.

1. "해로운 네트워크(Net-Harmful)"의 함정
가장 충격적인 발견은, 일부 언어의 경우 이 AI 시스템들이 단순히 서툰 수준이 아니라 적극적으로 위험하다는 것입니다. 연구진은 **결합 실패 점수(Combined Failure Score, CFS)**라는 새로운 점수를 고안했습니다. 이 점수는 두 가지 유형의 실수를 합산합니다:

• 환각(Hallations): AI가 실제 답을 찾지 못해 가짜 답을 만들어내는 것.
• 오류(Errors): AI가 정답이 바로 눈앞에 있음에도 불구하고 정답을 놓치는 것.

만로 시스템이 정답보다 실수를 더 많이 하면 점수가 1.0을 넘게 됩니다. 연구 결과, 요루바어(Yoruba), 스와힐리어(Swahili), **텔루구어(Telugu)**와 같은 언어의 경우, 시스템이 너무 심하게 실패하여 각각 1.63, 1.23, 1.17의 점수를 기록했습니다.

• 의미: 요루바어로 질문하는 사용자에게 AI는 정답을 주는 것보다 거짓말을 하거나 틀린 답을 줄 확률이 더 높습니다. 저자들은 시스템의 이 점수가 1.0 미만으로 내려가기 전까지는 해당 언어에 사용해서는 안 된다고 주장합니다. 이는 의사가 올바른 약보다 잘못된 약을 더 자주 처방하는 것과 같으므로, 당신은 그 의사에게 치료를 맡겨서는 안 되는 것과 같습니다.

2. "더 많은 책"이라는 신화
오랫동안 사람들은 이 AI 시스템이 작은 언어들에 대해 실패하는 이유가 단순히 학습할 책(데이터)이 부족하기 때문이라고 생각했습니다. 일반적인 믿음은 "요루바어에 대한 위키피디아 문서를 더 추가하기만 하면 AI가 더 똑똑해질 것이다"라는 것이었습니다.
저자들은 각 언어의 위키피디아 말뭉치(위키피디아 문서의 수)를 살펴보며 이를 테스트했습니다. 그리고 계산을 통해 놀라운 사실을 발견했습니다: 위키피디아 도서관의 크기는 AI의 성능과 거의 아무런 관련이 없었습니다.

• 비유: 두 학생을 상상해 보세요. 한 명은 200만 권의 책을 가지고 있고, 다른 한 명은 50만 권을 가지고 있습니다. 당신은 책이 더 많은 학생이 더 똑똑할 것이라고 생각할 것입니다. 하지만 연구 결과, 책이 더 적은 학생이 때때로 더 좋은 성적을 받았고, 책이 더 많은 학생이 때때로 낙제하기도 했습니다.
• 실제 이유: 그것은 AI가 얼마나 많은 책을 가졌느냐의 문제가 아니라, AI를 어떻게 가르쳤느냐의 문제였습니다. 만약 AI가 특정 언어의 구조에 맞춰 특별히 훈련되었다면(마치 개인 과외 교사처럼), 더 적은 책을 가지고도 훨씬 더 잘 수행했습니다. 반면, 단순히 모든 언어가 섞인 곳에 던져졌다면 혼란을 겪었습니다.

3. 격차는 좁힐 수 있다 (고정된 것이 아니다)
많은 이들은 "부유한 언어"(영어 등)와 "가난한 언어"(요루바어 등) 사이의 격차가 데이터가 부족하기 때문에 극복할 수 없는 영구적인 벽이라고 생각했습니다.
이 논문은 이것이 틀렸음을 증명합니다. 격차는 자연 법칙이 아니라 디자인의 선택입니다.

• 증거: 연구진이 표준 AI 모델을 사용했을 때는 "부유한" 언어들이 훨씬 더 잘했습니다. 하지만 "가난한" 언어에 특화되어 미세 조정(fine-tuning)된 모델로 전환하자, "가난한" 언어가 오히려 "부유한" 언어보다 더 나은 성과를 보였습니다!
• 교훈: 성능 격차는 언어가 "어려워서" 발생하는 것이 아니라, AI 시스템의 설계자들이 그들을 위한 적절한 도구를 만들지 않았기 때문에 발생하는 것입니다. 특정 언어를 위한 맞춤형 도구를 만든다면, 불평등을 해결할 수 있습니다.

공정한 도서관을 위한 세 가지 규칙

저자들은 이 문제를 해결하기 위해 시스템을 구축하고 테스트하는 방식을 바꿔야 한다고 제안합니다. 그들은 새로운 "3차원" 체크리스트를 제 제안합니다:

1. 투명성(Transparency): 우리는 단 하나의 커다란 평균 점수만을 봐서는 안 됩니다. 모든 개별 언어에 대한 결과를 확인해야 합니다. 만약 어떤 시스템이 영어로는 훌륭하지만 요루바어로는 실패한다면, 그것은 성공이 아니라 실패입니다.
2. 의미론적 충실도(Semantic Fidelity): 우리는 AI가 단지 단어를 아는 것이 아니라 실제로 의미를 이해하는지 확인해야 합니다. 때때로 AI는 엉뚱한 언어로 답을 내놓기도 하는데(예: 프랑스어 질문에 영어로 답함), 이는 현재의 테스트들이 놓치기 쉬운 중대한 실패입니다.
3. 언어적 형평성(Linguistic Equity): 우리는 엄격한 규칙을 세워야 합니다: 만약 시스템이 정답보다 실수를 더 많이 한다면(CFS > 1.0), 그 시스템은 사용이 금지되어야 합니다. 60%의 정답률을 포함하여 실수가 섞여 있다면, 우리는 그것을 "60% 정확하다"라고 말해서는 안 됩니다.

핵심 요약

이 논문은 경종을 울리는 메시지입니다. 새로운 AI 시스템들은 놀랍지만, 현재는 데이터가 가장 많은 언어들에 편향되어 있습니다. 이 시스템들은 작은 언어들에 대해 단순히 "덜 정확한" 것이 아니라, 일부 언어에 대해서는 완전히 망가져 있으며 위험하기까지 합니다.

좋은 소식은 이 문제가 해결 불가능한 것이 아니라는 점입니다. 이것은 더 많은 책이 쓰이기를 기다리는 문제가 아니라, 각 언어의 특정 구조를 존중하도록 AI의 구조를 바꾸는 문제입니다. 저자들은 우리가 하나의 "보편적인" 뇌가 모든 것을 하도록 강요하는 것을 멈추고, 모든 언어를 위한 전문적이고 공정한 도구를 만들기 시작한다면, 마침내 소수가 아닌 모두를 위한 글로벌 도서관을 만들 수 있다고 제안합니다. 그때까지 우리는 요루바어, 스와힐리어, 텔루구어와 같은 언어들에 대해 이 시스템을 신뢰하는 데 매우 주의를 기울여야 합니다.