Multilingual Artificial Intelligence for Classifying Ethiopian FinTech User Reviews

에티오피아의 활기찬 디지털 시장에서는 조용한 혁명이 일어나고 있습니다. 수백만 명의 사람들이 핀테크(FinTech)라고 알려진 애플리케이션을 통해 모바일 전화를 사용하여 돈을 보내고, 공과금을 납부하며, 저축을 관리하고 있습니다. 이러한 도구들은 전통적인 은행 지점이 결코 닿지 못했던 곳까지 뱅킹 서비스를 가져왔지만, 이러한 급격한 성장과 함께 피드백의 홍수가 밀려왔습니다. 매일 사용자들은 휴대폰으로 리뷰를 작성하며 성공 사례를 공유하거나 결함에 대해 불평합니다. 이 메시지들은 항상 하나의 정형화된 언어로 작성되지 않습니다. 대신, 영어, 암하라어(에티오피아에서 가장 널리 사용되는 언어), 그리고 한 문장이 한 언어로 시작해 다른 언어로 끝나는 독특한 혼합 형태가 어우러진 역동적인 모습을 띱니다. 이러한 언어적 창의성은 텍스트를 풍부하고 인간적이게 만들지만, 컴퓨터가 이를 이해하는 것을 매우 어렵게 만듭니다. 수년간의 과제는 기계가 이 무질서한 다국어 메모를 읽고 사용자가 정확히 무엇에 대해 말하고 있는지 파악하도록 가르치는 것이었습니다. 사용자가 앱의 디자인에 만족하고 있는 것일까요? 아니면 결제가 실패하여 화가 난 것일까요? 로그인을 하는 데 도움이 필요한 것일까요? 명확한 답이 없으면 은행과 앱 개발자들은 고객을 좌절시키는 구체적인 문제를 해결하지 못한 채 추측만 할 뿐입니다.

연구팀은 이러한 리뷰들을 다섯 가지의 뚜리한 서비스 카테고리로 자동 분류할 수 있는 시스템을 구축함으로써 이 퍼즐을 풀기 위해 나섰습니다. 그들은 27개의 서로 다른 에티오피아 금융 애플리케이션에서 추출한 수천 개의 실제 사용자 댓글을 수집했습니다. 수집량은 8,000개 이상의 항목으로 시작된 방대한 규모였으나, 연구진은 신중을 기해야 했습니다. 그들은 중복, 스팸, 빈 메시지를 제거하여 데이터를 정제했고, 최종적으로 7,000개 이상의 견고한 리뷰 세트를 남겼습니다. 이 리뷰들은 사람들이 실제로 말하는 방식을 진실되게 반영하고 있었습니다. 어떤 것은 완전히 영어로 작성되었고, 어떤 것은 암하라어로 작성되었으며, 많은 것들은 두 언어가 유동적으로 섞여 있었습니다. 연구진은 그런 다음 컴퓨터 집단에게 이 텍스트를 읽고 라벨을 붙이도록 가르쳤습니다. 카테고리는 구체적이었습니다: 일반적인 찬사 또는 제안, 앱 디자인이나 사용자 경험의 문제, 거래 또는 결제의 실패, 로그인 또는 본인 인증 관련 문제, 그리고 고객 지원에 대한 불만이었습니다.

어떤 접근 방식이 가장 효과적인지 확인하기 위해 팀은 세 가지 다른 유형의 컴퓨터 지능을 테스트했습니다. 첫째, 특정 단어와 구절을 찾는 더 오래되고 단순한 방법을 시도했습니다. 다음으로, 인간의 뇌처럼 패턴을 학습하도록 설계되었지만 언어의 복잡한 맥락은 없는 심층 신경망을 사용했습니다. 마지막으로, 고급 "트랜스포머(transformer)" 모델을 테스트했습니다. 이들은 전 세계의 방대한 텍스트를 학습한 강력한 시스템으로, 단어들이 언어 간에 섞여 있을 때조차 단어의 맥락과 의미를 이해할 수 있게 해줍니다. 연구진은 테스트를 수행할 때 매우 엄격했습니다. 그들은 컴퓨터가 데이터를 암기하는 것을 방지하기 위해 학습하는 동안 테스트 정답을 절대 보지 못하도록 했습니다. 또한, 대부분의 리뷰가 긍정적인 찬사인 반면, 돈을 잃거나 로그인 오류와 같은 심각한 실패에 관한 리뷰는 매우 적다는 주요 문제에 대처해야 했습니다. 만약 컴퓨터가 다수파로부터만 학습한다면, 드물지만 중요한 불만 사항들을 무시하게 될 것입니다. 이를 해결하기 위해, 그들은 컴퓨터가 희귀한 문제에도 동일한 주의를 기울이되, 그 균형이 최종 테스트로 새어 나가지 않도록 학습 데이터를 세심하게 조정했습니다.

결과는 명확한 승자를 보여주었습니다. 특히 아프리카 언어를 염두에 두고 설계된 가장 진보된 모델들이 다른 모든 것들을 압도했습니다. 아프리카의 언어적 뉘앙스를 이해하도록 훈련된 한 모델은 96.7%의 정확도와 96.0%의 매크로-F1(macro-F1) 점수를 기록하며 가장 강력한 성능을 달 achievement 했습니다. 그 뒤를 다른 강력한 다국어 모델들이 바짝 뒤쫓았습니다. 오래되고 단순한 방법들과 표준 신경망들도 잘 작동했지만, 특히 까다로운 혼합 언어 리뷰에 있어서는 정밀한 시스템의 수준을 따라잡지 못했습니다. 연구는 컴퓨터가 순수 영어 혹은 순수 암하라어를 읽는 데는 탁월하지만, 언어가 뒤섞인 코드 스위칭(code-switched) 메시지에서는 여전히 약간 어려움을 겪는다는 것을 발견했습니다. 이는 언어의 혼합이 학습하기 어려운 독특한 패턴을 만들어내기 때문에 발생하는 자연스러운 장애물입니다. 또한 연구진은 맥락이 부족한 경우가 많은 매우 짧은 리뷰들이 컴퓨터가 올바르게 분류하기에 가장 어렵다는 사실을 발견했습니다.

이 작업은 단순히 컴퓨터 모델의 순위를 매기는 것을 넘어, 에티오피아의 독특한 언어적 지형을 다루는 방법에 대한 명확한 로드맵을 제공합니다. 연구진은 이러한 결과가 맥락적 다국어 표현의 가치를 입증하는 동시에, 데이터 불균형, 언어적 변이, 짧은 리뷰, 그리고 자원 제약이 여전히 중요한 한계점으로 남아 있음을 보여준다고 설명했습니다. 단순히 영어 사용자를 위해 만들어진 도구를 가져와 에티오피아 리뷰에 완벽하게 작동할 것이라 기대하는 대신, 이 연구는 시스템이 현지 언어와 사람들이 실제로 언어를 섞어 쓰는 방식에 맞춰 조정되어야 한다고 제안합니다. 또한 이 연구는 기술이 이러한 리뷰를 높은 정확도로 분류할 수는 있지만, 완벽한 해결책은 아니라는 점을 강조했습니다. 시스템은 데이터가 양호하고 리뷰가 충분한 맥락을 제공할 수 있을 만큼 길 때 가장 잘 작동합니다. 에티오피아의 은행과 앱 개발자들에게 이는 이제 고객의 불만과 제안을 자동으로 분류하여, 결제나 로그인에 문제가 있는 사용자가 누구인지 정확히 식별하고 이를 빠르게 해결할 수 있는 신뢰할 수 있는 방법을 갖게 되었음을 의미합니다. 연구는 인공지능이 이러한 복잡한 다국어 대화를 이해하는 데 있어 거대한 도약을 이루었지만, 여дя 여정은 끝나지 않았다고 결론짓습니다. 기술은 도움을 줄 준비가 되어 있지만, 진정으로 결점 없는 상태가 되기 위해서는 특히 혼합 언어 리뷰를 위한 더 많은 데이터가 여전히 필요합니다.