💬 NLP

IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages

이 논문은 소외된 지역을 위한 다국어 대화형 AI를 발전시키기 위해 설계된, 9개 인도 계열 언어의 18개 변종에 걸친 130만 개 이상의 페르소나 기반, 이벤트 근거 코드 혼합 대화로 구성된 대규모 자동 생성 코퍼스인 IndicTalk을 소개한다.

원저자: Sahil Deepak Gawande, Mayank Singh

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sahil Deepak Gawande, Mayank Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 전 세계적인 마을 광장이라고 상상해 보세요. 오랫동안 영어 사용자들은 가장 큰 확성기를 가졌고 가장 편안한 벤치에 앉아 있었던 반면, 다른 언어 사용자들은 종종 소음 속에서 소리를 지르거나 주변부에 머물러야 했습니다. 인공지능의 세계에서 이 "마을 광장"은 컴퓨터가 대화하는 법을 배우는 곳입니다. 최근 이 컴퓨터들, 즉 거대 언어 모델(LLLLM)은 대화를 나누는 데 놀라울 정도로 능숙해졌지만, 주로 영어 사용자들의 말을 들으며 학습했습니다.

하지만 세계의 많은 지역에서 사람들은 단 하나의 언어만 사용하지 않습니다. 그들은 언어를 섞어서 사용합니다. 이것을 "코드 믹싱(code-mixing)"이라고 부릅니다. 친구가 이야기를 하다가 문장 중간에 갑자기 모국어에서 영어로 전환하거나, 심지어 자신의 모국어를 영어 알파벳으로 표기하는 것(예를 들어 "नमस्ते" 대신 "hello"라고 타이핑하는 것)을 상상해 보세요. 이것이 수십억 명의 사람들이 온라인에서 실제로 대화하는 방식입니다. 문제는 대부분의 AI 챗봇이 한 번에 한 가지 언어만 이해하는 엄격한 선생님과 같다는 점입니다. 언어를 섞어서 사용하면 혼란을 느끼기 때문에, 이렇게 혼합된 방식으로 말하는 수십억 명의 사람들과 자연스럽게 대화하는 데 어려움을 겪습니다. 이를 해결하기 위해서는 이 복잡하고 아름다운 언어의 혼합을 포착할 수 있는 방대한 연습 대화 라이브러리가 필요합니다.

바로 여기에 인도 언어들을 위한 정확히 그러한 종류의 라이브러리를 구축하는 거대한 새로운 프로젝트인 IndicTalk가 있습니다. 이 연구를 진행한 연구진들은 영어에 대한 데이터셋은 풍부하지만, 9개의 다양한 인도 언어 전반에서 일어나는 복잡한 혼합 언어 대화에 대해서는 거의 아무것도 없다는 사실을 깨달았습니다. 기존의 자원들은 규모가 너무 작거나, 하나의 언어 쌍(예: 힌디어와 영어)에만 집중되어 있거나, 완전한 흐름이 있는 대화가 아닌 단순한 문장 목록에 불과했습니다.

이를 해결하기 위해 팀은 완전히 자동화된 "대화 공장"을 만들었습니다. 수천 명의 사람을 고용하여 대화를 직접 쓰게 하는 대신, 그들은 실제 세상의 뉴스 기사에서 시작되는 파이프라인을 구축했습니다. 신문의 헤드라인을 가져와 주요 사실을 요약한 다음, 그 요약본을 매우 똑똑한 AI에게 전달하는 것을 상상해 보세요. 이 AI는 그 후 특정 "페르소나"—예를 들어 호기심 많은 친구, 엄격한 선생님, 또는 걱정 많은 가족—를 부여받고, 해당 뉴스 기사에 대해 대화를 나누도록 요청받습니다. 시스템은 이 과정을 반복하며 수백만 개의 채팅을 생성합니다.

그 결과, IndicTalk라는 거대한 데이터셋이 탄생했습니다. 여기에는 1,328,604개 이상의 다회차(multi-turn) 대화가 포함되어 있습니다. 이것들은 단순히 무작위적인 채팅이 아닙니다. 실제 사건에 근거하고 있으며, 벵골어, 힌디어, 타밀어, 텔루구어를 포함한 9개의 인도 언어에 걸친 18가지의 서로 다른 언어 변체를 다룹니다. 이 데이터셋이 특별한 이유는 두 가지 방식의 표기법을 모두 포착하고 있기 때문입니다: 전통적인 고유 스크립트(데바나가리 또는 타밀 스크립트 등)와 사람들이 휴대폰으로 메시지를 보낼 때 사용하는 방식인 로마자 표기(영어 알파벳으로 해당 언어를 타이핑하는 방식)입니다.

연구진은 단순히 데이터를 쏟아부은 것이 아니라, 엄격한 품질 검사를 거쳤습니다. 그들은 대화가 실제로 언어를 올바르게 섞었는지, 그리고 실수로 영어로만 넘어가거나 하나의 모국어로만 빠지지 않았는지 확인하기 위해 자동 필터를 사용했습니다. 또한 인간 전문가와 다른 강력한 AI 모델들이 심판 역할을 하여 채팅의 등급을 매겼습니다. 결과는 유망했습니다. 대화는 유창하고 일관되며, 실제 인간의 채팅처럼 자연스럽게 코드 믹싱이 되어 있다는 것이 밝혀졌습니다.

요컨대, 이 논문은 스마트하고 자동화된 파이프라인을 사용함으로써, 사람들이 말하는 실제의 혼합된 방식을 AI가 이해하도록 돕는 고품질의 대규모 자원을 만들 수 있음을 시사합니다. 저자들은 이것이 합성된(컴퓨터가 생성한) 대화이며 실제 인간의 대화가 가진 아주 작고 무질서한 결함들을 놓칠 수 있다고 언급했지만, 경직된 AI와 유동적인 다중 언어 생활 사이의 간극을 메울 수 있는 거대하고 다양한 데이터셋을 구축하는 것이 가능하다는 것을 성공적으로 입증했습니다. 이 데이터셋은 다른 사람들이 사용할 수 있도록 공개되어 있으며, 궁극적으로 글로벌 마을 광장에 마침내 소속감을 느낄 수 있는 챗봇과 음성 비서를 만드는 데 도움을 줄 수 있을 것입니다.

기술 요약: INDICTALK

문제 정의
대규모 언어 모델(LLM)이 대화형 AI에 혁신을 가져왔지만, 고품질의 대규모 다국어 대화 자원은 여전히 부족하며, 특히 인도계 언어(Indic languages)의 경우 더욱 그러하다. 모국어와 영어를 혼용하여 사용하면서 고유 문자와 로마자 표기법을 모두 사용하는 코드 믹싱(code-mixed) 대화 데이터에서는 심각한 격차가 존재한다. 기존의 인도계 데이터셋은 주로 판별 작업(예: 감성 분석, 혐오 표현 탐지)을 대상으로 하거나, 힌글리시(Hinglish)로 제한된 소규모 수동 큐레이션 컬렉션에 국한되어 있다. 여러 인도계 코드 믹싱 언어 변체들을 통합된 생성 프레임워크 아래에서 대규모로, 이벤트에 기반하여(event-grounded) 제공하는 공개 가능한 자원은 존재하지 않는다. 이러한 데이터의 부재는 소외된 언어들을 위한 다국어 대화형 LLM의 학습, 인스트럭션 튜닝 및 평가를 저해한다.

방법론
저자들은 수동 주석 작업 없이 완전히 자동화된 파이프라인을 통해 생성된 코퍼스인 INDICTALK를 소개한다. 이 과정은 네 가지 주요 단계로 구성된다:

소스 문서 처리: 파이프라인은 12개 도메인(예: 정치, 기술, 라이프스타일)을 아우르는 공개 뉴스 기사 및 블로그 포스트(약 142,053개 문서) 컬렉션을 활용한다. 불필요한 내용(boilerplate)을 제거하고, 텍스트가 불충분한 문서는 폐기한다.
언어 독립적 의미 표현: 언어 간의 사실적 일관성을 보장하고 문서 길이 또는 스타일로 인한 편향을 줄이기 위해, 각 소스 문서는 Sarvam-M 모델을 사용하여 간결하고 언어 독립적인 영어 요약본(6~8개의 사실적 문장)으로 요약된다. 이 요약본은 이후의 모든 대화 생성의 근거가 되는 컨텍스트(grounding context) 역할을 한다.
페르소나 조건부 대화 생성: 각 의미적 요약본에 대해, 다국어 LLM(GPT-OSS-120B)이 특정 페르소나(친구, 가족, 동료, 전문가, 학생-교사)를 조건으로 하여 다회차 대화(6~8턴)를 생성한다. 시스템은 9개의 대상 인도계 언어 각각에 대해 두 가지 변체를 생성한다:
- 고유 문자 코드 믹싱: 인도계 언어는 고유 문자로 작성되고, 영어는 로마자로 작성됨.
- 로마자 표기 코드 믹싱: 두 언어 모두 로마자로 작성됨.
자동 검증: 자동 검증 모듈이 생성된 대화를 필터링하여 품질을 보장한다. 기준은 다음과 같다:
- 스크립트 검증: (고유 문자 변체의 경우) 대상 인도계 문자와 로마자 토큰의 존재 여부를 확인.
- 코드 믹싱 임계값: 최소 코드 믹싱 지수(CMI)를 강제함.
- 길이 제약: 발화당 최소 토큰 수를 강제함.
- 참고: 로마자 변체의 경우, 스크립트 검증은 로마자 문자를 확인하지만, 공유된 스크립트에서의 토큰 수준 언어 식별이 신뢰하기 어렵기 때문에 CMI는 생략되며, 대신 인간 평가를 통해 품질을 평가한다.

주요 기여

INDICTALK 코퍼스: 현재까지 가장 큰 규모의 다국어 인도계 코드 믹싱 대화 코퍼스로, 1,328,604개의 이벤트 기반 다회차 대화와 18개의 언어 변체(9개 인도계 언어 × 2개 스크립트 변체)를 포함한다.
자동 생성 파이프라인: 실제 뉴스 근거 생성, 페르소나 조건부 생성, 자동 품질 검증을 결합하여 수동 큐레이션이 필요 없는 확장 가능한 프레임워크를 제공한다.
포괄적 평가: 언어적 코드 믹싱 지표, 자동 유창성 측정(Pseudo Perplexity), LLM-as-a-Judge 평가(Gemini-2.5-Flash 및 GPT-OSS-120B 사용), 그리고 원어민/숙련된 화자에 의한 인간 평가를 통해 코퍼스를 엄격하게 평가한다.

결과 및 평가

규모: 코퍼스는 9개 인도계 언어(벵골어, 구자라트어, 힌디어, 칸나다어, 말라얄람어, 마라티어, 오디아어, 타밀어, 텔루구어)를 다루며, 대화당 평균 7.55턴을 가진다.
코드 믹싱 특성: 코퍼스는 높은 수준의 코드 믹싱을 보여준다. 고유 문자 변체는 평균 37.81의 코드 믹싱 지수(CMI)를 나타내며, 빈번한 언어 전환(SPF: 0.438)과 균형 잡힌 이중 언어 기여도(M-index: 0.865)를 보인다. 로마자 변체 또한 의미 있는 코드 믹싱을 보여주지만, 스크립트의 균일성으로 인해 지표는 더 보수적이다.
유창성 및 품질:
- 자동 유창성: 고유 문자 변체는 낮은 Pseudo Perplexity(PPPL) 점수(9.14–18.52)를 기록하여, 유창하고 잘 형성된 텍스트임을 나타냈다.
- LLM-as-a-Judge: 두 판사 모델 모두 모든 변체에 대해 높은 전반적 품질 점수(대부분 5.0점 만점에 4.0점 초과)를 부여했으며, 두 판사 간의 강력한 상관관계( $\rho = 0.91$ )를 보였다.
- 인간 평가: 원어민들은 대화를 높게 평가했다(대부분 5.0점 만점에 3.0점 초과). 고유 문자 변체가 로마자 변체보다 일반적으로 약간 더 높은 점수를 받았다. 마라티어와 칸나다어가 가장 높은 고유 문자 점수를 받았고, 힌디어는 로마자 대화에서 가장 높은 점수를 받았다.
일치도: Spearman 순위 상관계수는 LLM 판사와 인간의 순위 사이에 강한 일치 및 중간 정도의 양의 상관관계를 나타내어, 품질 평가의 일관성을 입증했다.

의의
본 논문은 INDICTALK가 인도계 언어를 위한 다국어 대화형 AI 개발의 주요 병목 현상을 해결한다고 주장한다. 대규모의, 이벤트에 기반하며, 자연스러운 코드 믹싱을 제공함으로써, 이 데이터셋은 복잡한 언어적 현실을 다루는 모델의 학습과 평가를 가능하게 한다. 저자들은 이 데이터셋을 소외된 언어들을 위한 더 포용적이고 유능한 대화 시스템 구축을 지원하는 기초적인 자원으로 위치시킨다.

한계 및 윤리적 고려사항
저자들은 INDICTALK가 합성 코퍼스이기 때문에 자연스러운 대화에서 발생하는 화용론적 뉘앙스, 방언적 변이 또는 비정형성(disfluencies)을 완전히 포착하지 못할 수 있음을 인정한다. 소스 자료가 뉴스 및 블로그에 집중되어 있어 형식적이고 이벤트 중심적인 담론으로의 주제적 편향이 발생할 수 있다. 또한, 인간 평가는 대학원생 주석가들로 제한되었기에 지역 방언 및 로마자 표기 관습의 다양성을 충분히 반영하지 못할 수 있다. 윤리적으로, 이 데이터셋은 개인 식별 정보(PII)가 제거된 공개 소스에서 파생되었으며, 소스 문서는 공개되지 않는다.

유사한 논문