Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

현대 컴퓨팅의 광활한 풍경 속에서, 자연어 처리라고 알려진 한 분야는 기계가 인간의 언어를 읽고, 이해하고, 조직하는 법을 가르치기 위해 노력하고 있습니다. 수십 년 동안 이 작업은 문법 규칙이 비교적 단순하고 디지털 도구가 풍부한 영어와 같은 언어에 집중해 왔습니다. 그러나 세상은 매우 다르게 작동하는 언어들로 가득 차 있습니다. 스리랑카에서 널리 쓰이는 싱할라어와 타밀어 같은 언어들은 교착어로서, 이는 많은 작은 의미 조각들을 하나로 엮어 복잡한 단어를 만들어냄을 의미하며, 이로 인해 표준 컴퓨터 프로그램이 서로 다르게 보이는 두 단어가 실제로는 동일한 어근을 공유하고 있다는 사실을 인식하는 것을 어렵게 만듭니다. 더욱이, 세계의 많은 지역에서 사람들은 단 하나의 언어로만 말하지 않고, 한 문장 안에서 자유롭게 언어를 섞어서 사용하는데, 이를 코드 믹싱(code-mixing)이라 부르는 현상이라고 합니다. 이러한 언어적 복잡성이 종종 형식이 엉망인 디지털 문서로 전달되는 공식 정부 기록물의 무질서한 현실과 만날 때, 그 결과는 표준 소프트웨어가 도저히 올라설 수 없는 텍스트의 산더미가 됩니다. 이 기록들에 담긴 내용이 무엇인지 이해하는 것은 매우 중요한데, 왜냐하면 그 기록들이 한 국가의 정치적 우선순위, 경제적 고충, 그리고 사회적 관심사를 쥐고 있는 열쇠를 담고 있기 때문입니다. 그럼에도 불구하고 이 기록들은 체계적인 분석으로부터 오랫동안 격리되어 있었습니다.

스리랑카 모라투와 대학교의 연구팀은 이제 이 정보의 보물창고를 열 수 있는 새로운 방법을 구축했습니다. 그들은 싱할라어, 타밀어, 영어가 혼용되어 있으며, 종종 단일 연설 내에서도 이 언어들이 뒤섞여 나타나는 스리랑카 의회의 공식 회의록인 한사드(Hansards)에 주목했습니다. 이 문서들은 혼란스러운 2단 구성 레이아웃과 전통적인 독서 소프트웨어를 깨뜨리는 일관성 없는 서식 때문에 가진 PDF 스캔본 형태로 존재하여 처리하기가 매우 까다롭습니다. 이를 해결하기 위해 연구진은 먼저 페이지의 시각적 노이즈를 무시하고 실제 발화된 단어만을 추출할 수 있는 강력한 인공지능 도구를 사용하여 이 지저분한 문서들을 읽어냈습니다. 그런 다음, 그들은 정제된 텍스트를 단순히 단어가 얼마나 자주 등장하는지를 세는 것이 아니라, 서로 다른 언어 간의 단어 의미를 이해하도록 설계된 시스템에 입력했습니다. 유사한 아이디어가 사용된 언어와 상관없이 디지털 공간에서 가깝게 위치하도록 매핑함으로써, 그들은 수천 개의 개별 연설을 일관된 주제로 그룹화할 수 있었습니다.

이 노력의 결과는 2017년부터 2026년까지 약 10년 동안의 국가적 정치 대화에 대한 명확한 지도입니다. 연구진은 19,553개의 연설을 분석하여 에너지 안보와 경제 위기부터 국가 안보와 의료에 이르기까지 30개의 주요 주제로 성공적으로 분류했습니다. 이 성과가 중요한 이유는 컴퓨터가 무엇을 찾으라고 지시받지 않은 상태에서 스스로 주제를 발견했기 때문입니다. 시스템은 경제에 관한 연설이 2022년 금융 위기와 그에 따른 사회적 소요 기간 동안 급격히 증가했다는 점과, 국가 안보에 관한 논의가 2019년 부활절 일요일 테러 공격 이후 급증했다는 점을 찾아냈습니다. 결정적으로, 모델은 세 가지 언어를 하나의 통합된 대화 흐름으로 취급했습니다. 특정 정책 이슈에 관한 타밀어 연설은 동일한 이슈에 관한 싱할라어 연설과 함께 그룹화되었으며, 이는 근저에 깔린 의미가 그것을 표현하는 데 사용된 언어보다 더 중요하다는 것을 입증했습니다.

연구진은 또한 기존의 더 전통적인 텍스트 분석 방법들이 이 과업을 수행할 수 있는지 테스트했습니다. 그들은 단어 조합을 세는 것에 의존하는 표준적인 접근 방식들이 완전히 실패했음을 발견했습니다. 이러한 오래된 방식들은 서로 다른 언어 사이의 간극을 메우지 못하거나 싱할라어와 타밀어의 복잡한 단어 구조를 처리하지 못하여, 파편화되고 의미 없는 그룹들을 만들어냈습니다. 반면, 맥락을 이해하기 위해 딥러고잉을 사용하는 새로운 접근 방식은 토론의 구조를 성공적으로 식별해 냈습니다. 팀은 또한 의미에 대한 깊은 이해와 특정 키워드에 대한 집중을 결합한 하이브리드 방식을 탐구하여, 이것이 그룹을 더욱 날카롭게 만들 수 있는지 확인했습니다. 이 방식은 주제 간의 경계를 더 명확하게 만들었지만, 일부 연설이 그룹에서 제외되기도 하여 정밀도와 포괄성 사이의 상충 관계(trade-off)가 있음을 시사했습니다.

궁극적으로, 이 연구는 인간의 개입 없이도 복잡한 다국어 정치 담론을 이해하는 것이 가능하다는 것을 보여줍니다. 스리랑카의 다양한 언어들을 하나의 풍부한 데이터 세트로 취급함으로써, 연구진은 국가의 관심사가 실제 사건들에 반응하여 어떻게 변화하는지를 밝혀낼 수 있었습니다. 연구 결과는 의회에서 논의되는 주제들이 무작위적인 것이 아니라, 공공 부채 관리에서부터 환자 돌봄에 이르기까지 국가의 과제들에 직접적으로 반응하여 상승하고 하락한다는 것을 보여줍니다. 이 새로운 프레임워크는 미래 연구를 위한 견고한 토대를 제공하며, 연구자와 대중이 이전에는 불가능했던 명확성을 가지고 정치적 우선순위의 진화를 추적할 수 있게 함으로써, 혼란스러운 연설 기록을 한 국가의 여정을 담은 구조화된 이야기로 탈바꿈시켰습니다.