Structural Silence: When AI Infrastructure Fails Speakers of Underrepresented Languages

기계 속의 보이지 않는 벽

인터넷을 모든 책, 영상, 대화가 저장된 거대하고 북적이는 도서관이라고 상상해 보세요. 이것이 인공지능(AI)이 말하고, 쓰고, 문제를 해결하는 법을 배우기 위해 사용하는 '학습 데이터'입니다. 오랫동안 이 도서관은 거의 전적으로 영어로 쓰인 책들로 채워져 있었습니다. AI는 영어 책만을 읽었기 때문에 영어에는 전문가가 되었지만, 그 외의 다른 것들을 이해하는 데는 어려움을 겪게 되었습니다. 이것이 바로 '저자원 언어(low-resource languages)'의 핵심 문제입니다. 만약 어떤 언어가 디지털 세상에서 충분히 표현되지 않는다면, 그 언어를 사용하는 사람들을 돕기 위해 만들어진 AI는 태생적인 장애를 안고 태어나게 됩니다.

왜 이것이 중요한지 이해하려면 두 가지 간단한 개념을 살펴봐야 합니다. 첫째, **인지 부하(Cognitive Load)**는 뇌가 메고 다니는 배낭과 같습니다. 새로운 것을 배울 때 배낭은 점점 무거워집니다. 만약 당신이 어려운 수학 개념을 배워야 하는 동시에, 잘 알지 못하는 언어로 된 것을 번역까지 해야 한다면, 배낭은 너무 무거워져 터져버릴 것이고 결국 수학을 배울 수 없게 됩니다. 둘째, **토큰화(Tokenization)**는 컴퓨터가 단어를 이해하기 위해 아주 작은 조각으로 나누는 방식입니다. 이것은 퍼즐과 같습니다. 만약 한 언어의 퍼즐 조각이 완벽하게 잘려 있다면 그림이 명확하게 보일 것입니다. 하지만 다른 언어의 조각들이 작고 지저 обнаружи한 파편으로 잘려 있다면, 컴퓨터는 그 그림을 다시 맞추기 위해 훨씬 더 많은 노력을 기울여야 합니다.

왜 우리가 관심을 가져야 할까요? AI는 누구에게나, 어디에서나 코딩을 가르치거나 문제를 해결하는 법을 알려줄 수 있는 마법 같은 튜터로 판매되고 있기 때문입니다. 하지만 그 튜터가 영어 책으로만 학습되었고, 영어로만 말하며, 초고속 인터넷 연결이 있을 때만 작동한다면, 그 튜터는 벵골어와 같은 언어를 사용하는 뱅골리(Bengali) 학생들처럼 도움이 가장 절실한 사람들에게 실패하게 됩니다. 이 논문은 왜 이 '마법 같은' 튜터가 그들에게는 고장 난 상태인지 조사합니다. 이는 기술이 나빠서가 아니라, 그것이 구축된 토대가 애초에 그들을 위해 설계되지 않았기 때문입니다.

---

침묵의 실패: 왜 AI는 벵골어 사용자를 무시하는가

"구조적 침묵(Structural Silence)"이라는 제목의 이 논문은 AI 인프라가 어떻게 의도치 않게 소외된 언어 사용자 주변에 벽을 쌓는지, 벵골어를 사례 연구로 사용하여 설명합니다. 벵골어는 약 2억 8,500만 명, 즉 전체 인구의 약 4%가 사용하는 거대한 언어입니다. 1,400년 이상의 역사를 가지고 있으며 두 국가의 공식 언어이기도 합니다. 이 정도 규모라면 AI 세계에서 슈퍼스타가 될 것이라고 생각할 수도 있습니다. 하지만 저자들은 벵골어가 스타가 되는 대신, 네 가지 구체적인 구조적 실패가 카드 집처럼 쌓이면서 '침묵'당하고 있다는 사실을 발견했습니다.

1. 빈 책장 (웹 존재감의 격차)

로봇에게 벵골어를 가르치기 위해 도서관을 제공한다고 상상해 보세요. 문제는 그 도서관이 거의 비어 있다는 점입니다. 벵골어 사용자가 세계 인구의 4%를 차지함에도 불구하고, 인터넷상의 모든 콘텐츠 중 벵골어가 차지하는 비중은 0.5% 미만입니다. 반면, 모국어 사용자 수가 비슷한 영어가 웹의 약 **49.5%**를 차지하고 있습니다.

AI 모델은 웹을 '크롤링(crawling)'하여 텍스트를 가져오며 학습됩니다. 벵골어 텍스트가 매우 적기 때문에 AI는 연습할 기회를 거의 얻지 못합니다. 이는 마치 영어로 된 노래 백만 곡을 듣는 친구와 달리, 벵골어 친구는 단 한 곡의 노래만 듣고 바이올린을 배우려는 것과 같습니다. 저자들은 이것이 단순히 인터넷 접속 능력의 문제가 아니라, 수십 년 동안 누가 온라인에 콘텐츠를 쓰고 게시해 왔느냐의 문제라고 지적합니다. 결과적으로 AI는 단 한 단어를 배우기도 전에 이미 엄청난 불리함을 안고 학습을 시작합니다.

2. 데이터 기아 (학습 토큰 결핍)

웹에 벵골어 콘텐츠가 너무 적기 때문에 AI는 '토큰'에 굶주리게 됩니다. 토큰은 컴퓨터가 학습하는 데 사용하는 아주 작은 텍스트 조각입니다. 논문은 충격적인 격차를 강조합니다. 주요 학습 데이터셋에서 영어 토큰 67개당 벵골어 토큰은 단 1개뿐입니다.

이를 식단에 비유해 봅시다. 영어가 67접시의 성찬을 즐기는 동안, 벵골어는 단 한 조각의 부스러기를 먹는 셈입니다. 저자들은 벵골어가 '다국어' 모델(여러 언어를 배우려는 모델)에 포함되더라도 여전히 영어보다 훨씬 낮은 성능을 보인다고 언급합니다. 데이터가 단순히 부족한 것이 아니라, 너무나 희소해서 AI가 언어의 규칙을 제대로 배울 만큼 충분한 예시를 보지 못한 것입니다.

3. 깨진 퍼즐 조각 (토큰화 페널티)

여기서부터 까다로운 문제가 발생합니다. 설령 당신이 AI에게 영어와 동일한 양의 벵골어 텍스트를 준다 하더라도, AI는 여전히 어려움을 겪을 것입니다. 왜일까요? 바로 컴퓨터가 단어를 나누는 방식 때문입니다.

영어는 라틴 문자를 사용하며, 컴퓨터가 조각내기에 비교적 단순합니다. 반면 벵골어는 글자가 작은 기호(부호)와 결합하고 복잡하게 연결되는 '음절 문자(alphasyllabary)' 체계를 사용합니다. 영어용으로 설계된 표준 컴퓨터 도구들은 벵골어 단어를 아주 작고 지저분한 파편으로 잘라버립니다. 저자들은 이를 "토큰화 페널티(tokenization penalty)"라고 부릅니다.

퍼즐을 맞추는 상황을 상상해 보세요. 영어의 경우 퍼즐 조각이 크고 명확한 모양입니다. 하지만 벵골어의 경우, 같은 그림이 수천 개의 작고 들쭉날쭉한 파편으로 잘려 있습니다. 컴퓨터는 이 파편들이 어떻게 맞물리는지 파악하기 위해 훨씬 더 많은 노력을 기울여야 합니다. 이는 AI가 동일한 의미를 이해하기 위해서도 훨씬 더 많은 데이터를 '먹어야' 함을 의미합니다. 논문은 벵ola어 모델이 영어와 동일한 성능을 내기 위해서는 이 지저분한 조각내기 문제를 극복하기 위해 실질적으로 훨씬 더 많은 데이터가 필요하다고 제안합니다.

4. 클라우드 함정 (연결성 배제)

마지막 실패는 AI의 지능에 관한 것이 아니라, AI의 '몸'에 관한 것입니다. 오늘날 대부분의 AI 도구는 '클라우드'에 존재합니다. 즉, 질문을 인터넷을 통해 거대한 서버로 보내면, 서버가 이를 처리한 뒤 답을 다시 보내주는 방식입니다.

논문은 냉혹한 현실을 지적합니다. 많은 벵골어 사용자가 거주하는 방글라데시 농촌 지역의 개인 인터넷 보급률은 도시의 71.4%와 비교했을 때 **36.5%**에 불과합니다. 게다가 컴퓨터를 보유한 가구는 **9.2%**뿐입니다. 만약 AI 튜터가 작동하기 위해 지속적이고 빠른 인터넷 연결을 요구한다면, 그 튜터는 농촌 학생들에게 기능적으로 보이지 않는 존재가 됩니다. 이는 마치 개인 제트기가 있어야만 입장할 수 있는 도서관을 설계하는 것과 같습니다. 저자들은 이것이 단순한 불편함이 아니라, 모두가 이미 연결되어 있다고 가정하는 '설계상의 선택'이며, 결과적으로 도움이 가장 필요한 사람들을 차단하는 결과를 낳는다고 주장합니다.

이중의 부담: 무거운 배낭

이 네 가지 실패가 결합되면 학습자에게는 '이중의 부담'이 발생합니다. 농촌 마을의 한 학생이 컴퓨터 프로그래밍을 배우려고 한다고 상상해 봅시다.

1. 언어 장벽: AI 튜터는 (주로 영어로 학습되었기 때문에) 코드를 영어로 설명합니다. 학생은 복잡한 프로그래밍 개념을 이해하려고 노력하는 동시에 머릿속으로 영어 설명을 번역해야 합니다.
2. 인지적 과부하: 학생의 뇌는 두 가지 어려운 일을 동시에 수행해야 합니다. 언어를 번역하는 것과 수학을 배우는 것 말입니다. 이들의 '배낭'(작업 기억)은 너무 무거워지고, 결국 학습을 포기하게 됩니다.

논문은 지원 없이 제2외국어로 기술적 개념을 배울 때 학생들이 덜 배우고 덜 기억한다는 연구 결과를 인용합니다. 벵골어 사용자에게 영어로 말하는 AI 튜터는 단순히 불편한 수준이 아니라, 효과적으로 사용하는 것이 거의 불가능한 도구입니다.

논문이 제시하는 해결책

저자들은 이것이 단순히 '코드를 수정하는 것'만으로는 해결될 문제가 아니라고 신중하게 밝힙니다. 우리는 단순히 AI를 조금 손보는 것만으로는 부족하며, 기초 자체가 비영어권 사용자를 배제하도록 구축되어 있다고 주장합니다.

• 데이터를 부차적인 프로젝트로 취급하지 말 것: 논문은 벵골어와 같은 언어를 위한 데이터셋을 구축하는 것이 단순히 '사전 작업'으로 간주되어서는 안 된다고 제안합니다. 새로운 AI 모델을 발명하는 것만큼이나 중요한 주요 과학적 기여로 인정받아야 합니다.
• "오프라인 우선(Offline-First)"을 지향할 것: 모두가 인터넷을 사용할 수 있다고 가정하는 대신, 인터넷 연결 없이도 휴대폰이나 컴퓨터에서 작동하는 AI 도구를 설계해야 합니다. 이것은 '열등한' 버전의 AI가 아니라, 세계 대다수에게 실제로 작동하는 유일한 버전입니다.
• 언어학자의 목소리를 들을 것: 논문은 표준 컴퓨터 도구가 왜 벵골어와 같은 언어에서 실패하는지 설명하기 위해 언어학자들이 개입해야 한다고 촉구합니다. 그들은 엔지니어들이 놓칠 수 있는 이러한 구조적 결함을 포착할 수 있는 전문 지식을 갖추고 있습니다.

결론

이 논문은 벵골어 사용자를 위한 완벽한 AI를 만들었다고 주장하는 것이 아닙니다. 대신, 현재의 시스템이 왜 그들에게 실패하고 있는지 네 가지 구조적 이유를 지목하는 탐정 역할을 하고 있습니다. 저자들은 성능의 격차가 벵골어가 '어려운' 언어라서도, 학생들이 똑똑하지 않아서도 아니라고 말합니다. 그것은 AI 인프라가 읽는 책부터 단어를 자르는 방식, 그리고 모두가 빠른 인터넷 연결을 가지고 있다는 가정에 이르기까지, 처음부터 영어를 염두에 두고 구축되었기 때문입니다. 이러한 구조적 침묵을 해결하지 않는 한, 보편적인 스승으로서의 AI라는 약속은 오직 소수만을 위한 약속으로 남을 것입니다.