Rethinking Indic AI from a Lens of Cultural Heritage Preservation

기술 요약: 문화 유산 보존의 관점에서 본 인딕(Indic) AI의 재고

문제 제기
본 논문은 인도 아대륙에서 나타나는 인공지능(AI)의 양날의 검과 같은 성격을 다룬다. AI는 포용성과 인프라의 비약적 발전을 위한 잠재력을 제공하지만, 현재의 거대언 언어 모델(LLM)은 "알고리즘적 균질화(algorithmic homogenization)"의 위험을 내포하고 있다. 이는 주류 모델들이 도시 중심적이고 영어 중심적인 세계관을 과도하게 반영하는 데이터로 학습되어, 이 지역의 방대한 언어적·해석학적 다양성을 지워버릴 수 있음을 의미한다. 핵심 문제는 기존의 인딕 NLP 시스템이 인도 언어들의 고유한 구조적 복잡성(풍부한 형태론, 자유 어순, 복잡한 스크립트 등)을 포착하지 못하며, 더 결정적으로는 이러한 언어들에 내재된 독특한 문화적 세계관과 "해석적 다원성(hermeneutic plurality)"을 보존하는 데 실패한다는 점이다. 그 결과, 모델들은 저자원 방언에서 성능이 저하되고, 소외된 집단에 대해 편향성을 보이며, 문화적 뉘앙스가 결여된 출력을 생성하게 된다.

방법론 및 역사적 배경
저자들은 인딕 NLP의 진화를 세 가지 구별된 패러다임을 통해 종단적으로 조사한다.

1. 규칙 기반 접근법(Rule-Based Approaches): 초기 연구는 수작업으로 정교화된 언어 규칙과 파니니(Paninian) 문법 체계(예: Astadhyayi)에 의존했다. 이 시스템들은 자유 어순과 복잡한 형태론을 처리하기 위해 카라카(Kaaraka)(의미역)와 비박티(Vibhakti)(격 표지)와 같은 개념을 활용했다. 주요 이니셔티브로는 기계 번역 시스템(예: Anusaaraka, Anglabharti)과 인도 언어들을 교착어이자 형태론적으로 풍부한 언어로 취급하는 의존 구문 분석 프레임워크가 있었다.
2. 코퍼스 기반 및 통계적 NLP(Corpus-Based and Statistical NLP): 이 단계는 통계적 모델(HMM, MEMM)과 통계적 기계 번역(SMT)으로 전환되었다. 연구는 병렬 코퍼스(예: ILCI)를 구축하고 인도 언어들 간의 공유된 언어적 특징을 활용하여 번역과 구문 분석을 개선하는 데 집중했다. 그러나 이러한 방법들은 형태론적 변이와 방언의 다양성이라는 규모를 감당하는 데 어려움을 겪었다.
3. 딥러닝 및 파운데이션 모델(Deep Learning and Foundation Models): 현재의 시대는 트랜스포머(Transformer) 아키텍처와 사전 학습된 임베딩을 활용한다. 논문은 IndicBERT, MuRIL, IndicTrans2와 같은 모델들을 검토한다. 제시된 중요한 방법론적 통찰은 명시적 규칙 기반 어간 추출에서 서브워드 토큰화(예: SentencePiece, Byte Pair Encoding)를 통한 "암시적 어간 추출(implicit stemming)"로의 변화이다. 저자들은 다국어 모델(mBERT 등)이 존재함에도 불구하고, 언어 특화적 사전 학습(예: 텔루구어를 위한 BERT-Te)이나 인딕 스크립트 및 코드 믹싱(code-mixing)에 특화된 모델(예: MuRIL)이 형태론적 작업에서 일반적인 다국어 베이스라인보다 우수한 성능을 보이는 경우가 많다고 강조한다.

식별된 주요 과제
논문은 네 가지 주요 기술적 및 사회언어학적 병목 현상을 상세히 설명한다.

• 복잡한 형태론 및 문법: 인도 언어들은 고도로 굴절적이며 교착적이다. 산디(Sandhi)(단어 경계에서의 음운 변화)와 사마사(Samaasa)(합성어 형성)와 같은 특징은 단어 경계를 모호하게 만들어 토큰화와 분절을 어렵게 만든다. 고정된 통사 구조가 아닌 카라카(Kaaraka) 관계에 의해 지배되는 자유 어순은 표준 시퀀스 모델링에 도전 과제를 던진다.
• 양층언어 현상(Diglossia): 언어의 형식적/문어적 변체(학습 코퍼스에 사용됨)와 대다수 인구가 사용하는 구어/방언 사이에는 상당한 격차가 존재한다. 공식적인 데이터로 학습된 모델은 방언이나 코드 믹스된 구어에 일반화되는 데 실패하는 경우가 많다.
• 자원 부족(Resource Scarcity): 지역의 인구수에도 불구하고, 저자원 언어 및 방언을 위한 고품질의 라벨링된 디지털 데이터는 심각하게 부족하다. 기존 데이터셋은 영어 또는 도시 맥락에 치우쳐 있어, 농촌 및 소수 공동체에 대한 성능이 낮다.
• 토큰화의 비효fer 효율성: 라틴 스크립트에 맞춰 설계된 표준 토크나이저는 인도 언어의 단어를 의미 없는 서브워드로 파편화하여, 시퀀스 길이를 늘리고 계산 비용과 지연 시간을 증가시키며 의미론적 이해를 저해한다.

제안된 솔루션: 컬처 센싱(Culture Sensing)
문화적 대표성의 상실을 해결하기 위해, 저자들은 **"컬처 센싱(Culture Sensing)"**이라 명명된 새로운 연구 방향을 제안한다. 이 프레임워크는 해석적 추론(hermeneutic reasoning)을 바탕으로 AI를 재구상한다.

• 정의: 컬처 센싱은 원주민 및 농촌 공동체의 삶의 경험, 구전 전통, 다양한 세계관을 AI 모델에 통합하는 것을 목표로 한다. 이는 단순한 텍스트 생성을 넘어 근저에 깔린 문화적 맥락과 가치 체계를 이해하는 것으로 나아간다.
• 구현: 저자들은 두 가지 애플리케이션을 통해 이를 입증한다.
  1. 그라마 칸나다(Graama Kannada): 노이즈가 있는 방언적 음성을 처리하도록 설계된, 농촌 커뮤니티 라디오 방송 코퍼스를 활용한 ASR 및 퍼지 키워드 검색 기반의 오디오 검색 시스템.
  2. 파리차야(Parichaya): 백단향(sandalwood) 재배에 관한 구어 오디오 코퍼스를 관리하는 시스템으로, 비정형 음성에서 통찰을 추출하기 위해 키워드-문맥-내(KWIC) 분석과 질의응답 인터페이스를 특징으로 한다.
• 아키텍처: 제안된 파이프라인은 ASR을 통해 구어(oral speech)를 텍xt로 변환한 후, NLP 작업(키워드 검색, NER) 및 RAG(검색 증강 생성)를 수행하여 커뮤니티의 세계관을 주류 내러티브와 비교하는 과정을 포함한다.

결과 및 발견

• 성능 격차: 조사는 파운데이션 모델이 개선되었음에도 불구하고, 단일 언어 및 언어 특화 모델에 비해 미세한 형태론적 작업(예: 성별 태깅)에서 여전히 어려움을 겪고 있음을 보여준다.
• 토큰화의 영향: 인용된 연구들은 어휘 크기를 늘리고 언어 특화적 토크나이저(예: MuRIL의 토크나이저)를 사용하는 것이 "번식도(fertility)"(단어당 서브워드 수)를 유의미하게 감소시켜, 더 나은 성능과 낮은 지연 시간을 이끌어낸다는 것을 보여준다.
• 문화적 균질화: 논문은 현재의 LLM이 서구적 규범과 지배적인 문화적 가정에 정렬되는 경향이 있으며, 이로 인해 사회언어학적 표식과 방언적 뉘앙스가 지워진다고 지적한다.
• 컬처 센싱의 효과: 파일럿 애플리케이션은 주류 디지털 아카이브에서 배제된 구전 및 방언 지식을 보존하고 검색 가능하게 만드는 시스템을 구축하는 것이 가능하다는 것을 입증했다.

의의 및 주장
본 논문은 인딕 NLP의 급격한 발전이 문화적 헤리티지의 보존을 위한 의식적인 노력과 결합되어야 한다고 주장한다. 저자들은 기술적 효율성만으로는 불충분하며, 알고리즘적 편향과 문화적 침식을 방지하기 위해 모델이 이 지역의 다원적 세계관을 포용해야 한다고 강조한다.

• 연구 방향: 논문은 "컬처 센싱"을 중요한 미래 연구 방향으로 설정하며, 비전형적인 출처(커뮤니티 라디오, 구전 역사)로부터의 데이터 수집, 방언에 대한 모델 적응, 그리고 인간 참여형(human-in-the-loop) 검증을 촉구한다.
• 목표: 궁극적인 목표는 단순히 텍스트를 번역하거나 생성하는 것을 넘어, 인도 아대륙의 다양한 공동체의 "삶의 경험"과 고유한 지식 체계에 능동적으로 참여하고 이를 보존할 수 있는 견고하고 문화적으로 포용적인 인딕 파운데이션 모델을 개발하는 것이다. 저자들은 이것이 단순한 기술적 과제가 아니라, 한 문명의 문화 유산이 균질화되는 것을 막기 위한 필수적인 단계임을 강조한다.