Development and Evaluation of HEAL A Bilingual English-Luganda RAG Chatbot for Disease Surveillance in Uganda

인공지능의 세계를 거대하고 매우 똑똑한 도서관이라고 상상해 보십시오. 그곳에는 당신이 묻는 어떤 질문에도 답할 수 있는 로봇 사서가 있습니다. 하지만 여기에는 함정이 있습니다. 대부분의 사서들은 영어만 구사하며, 특정 국가의 의사들이 사용하는 구체적인 규칙서가 아니라 전 세계의 책들을 학습했다는 점입니다. 이것은 '검색 증강 생성(Retrieval-Augmented Generation, RAG)'에 문제를 일으킵니다. RAG를 단순히 기억력에서 답을 추측하는 로봇이 아니라, 특정 교과서를 펼쳐 정확한 페이지를 찾아 답을 소리 내어 읽기 전까지는 말하지 못하도록 강제되는 로봇이라고 생각해 보십시오. 이것은 로봇이 말을 지어내는 것을 방지합니다. 그다음은 이 로봇들의 두뇌인 '거대 언어 모델(Large Language Models, LLMs)'의 문제입니다. 이들은 매우 뛰어나지만, 우간다의 루간다어처럼 디지털 도서가 수백만 권 존재하지 않는 언어에는 어려움을 겪곤 합니다. 이것이 왜 중요할까요? 질병 발생 시, 보건 요원들은 지금 당장 무엇을 해야 하는지 정확히 알아야 하기 때문입니다. 만약 유일한 지침서가 그들이 빠르게 읽을 수 없는 두꺼운 기술적 영어 책뿐이거나, 혹은 로봇이 우간다의 특정 규칙을 몰라서 틀린 답을 준다면, 사람들은 병에 걸리거나 심지어 사망할 수도 있습니다.

이 논문은 우간다를 위한 완벽한 사서가 되도록 설계된 이중 언어 챗봇인 HEAL(보건 형평성을 위한 AI)이라는 새로운 프로젝트를 소개합니다. 연구팀은 단순히 추측하는 것이 아니라, 우간다의 공식 질병 감시 지침(IDSR 매뉴얼)을 실제로 읽고 영어와 루간다어 양쪽으로 질문에 답할 수 있는 로봇을 구축할 수 있는지 확인하고 싶었습니다. 그들은 수백 페이지에 달하며 복잡한 영어로 작성된 공식 지침서를 가져와 이를 루간다어로 번역했습니다. 그런 다음, 강력한 AI 두뇌(GPT-4-turbo)를 사용하여 지침서에서 올바른 페이지를 찾고 답을 생성하면서, 특수한 번로 도구가 답변이 루간다어로 적절하게 구성되도록 보장하는 시스템을 구축했습니다.

연구진은 이 새로운 HEAL 봇을 우간다 보건 요원들이 일상 업무 중에 실제로 던졌던 50개의 질문을 사용하여 세 가지 유명한 상용 로봇(GPT-4, GPT-3.5, Gemini)과 비교 테스트했습니다. 보건부와 감염병 연구소(Infectious Diseases Institute) 출신의 전문가 6명이 심사위원이 되어 답변의 관련성, 정보의 완전성, 그리고 문장 구성의 적절성을 평가했습니다. 결과는 HEAL의 압승이었습니다. HEAL은 전체 분석에서 모든 상용 모델보다 높은 점수를 기록했으며, 전문가들로부터 가장 일관되게 가장 높은 평가를 받았습니다. 이 논문은 AI를 특정 국가 지침에 근거하게 하고 현지 언어 계층을 추가하는 것이 일반적인 기성 제품보다 훨씬 더 유용하게 만들었다는 점을 시사합니다.

하지만 이 이야기가 완벽한 동화는 아닙니다. 전문가들은 HEAL을 좋아했지만, 영어에서 루간다어로의 번역이 결점 없이 완벽하지는 않았습니다. 연구팀은 번역 품질을 측정하였으며, 의료적 사실을 이해하기에는 충분히 좋았으나 루간다어 문구 표현이 때때로 다소 투박하거나 부자연스럽게 느껴졌음을 발견했습니다. 논문은 단순한 영어 전용 도구가 이 노동자들에게 작동할 것이라는 아이디어를 명시적으로 배제합니다. 즉, 루간다어 계층 없이는 그 도구가 접근성 문제를 해결하는 데 실패한다는 것을 발견했습니다. 나아가, 이 연구는 AI가 똑똑하더라도 여전히 인터넷과 클라우드 서버에 의존하고 있으며, 이는 연결 상태가 좋지 않은 농촌 지역의 보건 요원들에게 장벽이 될 수 있음을 강조합니다. 저자들은 이 도구가 유망하고 정확하기는 하지만, 장기적으로 질병 발생을 실제로 막거나 생명을 구한다는 것이 아직 입증되지 않았음을 주의 깊게 언급했습니다. 그들은 오직 질문에 얼마나 잘 답하는지와 사용자들이 얼마나 만족하며 사용하는지를 측정했을 뿐입니다.

결국, 이 논문은 우간다와 같은 곳에서의 보건 AI의 미래는 가장 크고 비싼 두뇌를 갖는 것이 아니라, 현지의 규칙을 알고 현지의 언어로 말하는 두뇌를 갖는 것에 있다고 제안합니다. 연구팀은 강력한 AI에 특정 국가 지침과 번역 계층을 결합함으로써, 실제 환경에서 거대한 상용 모델들을 능가하는 도구를 만들 수 있음을 발견했습니다. 그러나 그들은 이 도구가 어디에서나 사용되기 전에 번역이 더 매끄러워져야 하며, 시스템이 지속적인 인터넷 연결 없이도 작동해야 한다고 경고합니다. 이는 성공적인 프로토타입으로서 나아갈 길을 보여주지만, 완전히 작동하는 생명을 구하는 도구로 가는 여정은 여전히 진행 중입니다.