Uncertainty-Aware Assessment of LLM-Enhanced Topic Models: An Experton-Based Approach to Interpretability

당신이 수백만 페이지의 문서, 메모, 그리고 포스트잇이 뒤섞여 소용돌이치는 거대한 도서관 속에서 익사하고 있다고 상상해 보십시오. 책들은 단순히 선반에 쌓여 있는 것이 아니라, 혼란스럽게 휘몰아치고 있습니다. 당신은 이 난장판 속에서 숨겨진 이야기들을 찾아내야 하지만, 모든 페이지를 다 읽는 것은 불가능합니다. 이것이 바로 방대한 양의 텍스트 데이터를 다루는 과학자와 분석가들이 매일 마주하는 현실입니다. 이를 해결하기 위해 그들은 '토픽 모델링(topic modeling)'이라는 것을 사용하는데, 이는 마치 마법 같은 분류 기계와 같습니다. 기계가 모든 단어를 읽는 대신, 유사한 단어들을 함께 묶어 패턴을 찾아냄으로써 어떤 '숨겨진 주제'가 있는지 추측하는 방식입니다. 오랫동안 이 기계들은 성실하지만 약간은 서투른 사서와 같았습니다. 책 표지에 적힌 단어들로 책을 분류할 수는 있었지만, 더 깊은 의미를 놓치거나 발음은 같지만 뜻이 다른 단어들 때문에 혼란을 겪기도 했습니다.

최но근, 시를 쓰거나 당신과 대화를 나눌 수 있는 AI인 대규모 언어 모델(LLM)의 힘을 빌린 새로운 세대의 '스마트 사서'들이 등장했습니다. 이 새로운 모델들은 문맥과 뉘وع스를 이해하는 데 매우 능숙합니다. 하지만 여기서 까다로운 점이 있습니다. 기계가 똑똑하다고 해서 반드시 정답을 맞히는 것은 아니며, 자신감 있게 말한다고 해서 반드시 확신을 가지고 있는 것도 아니라는 사실입니다. 이 AI 사서들이 주제를 추측하기 시작할 때, 그들은 90%의 확신을 가질 수도 있고, 혹은 터무니없는 추측을 할 수도 있습니다. 연구자들의 큰 질문은 이것입니다: "우리는 이 새로운, 화려한 AI 모델들이 기존의 모델들보다 실제로 더 잘하고 있다는 것을 어떻게 알 수 있으며, 그들의 답변에 담긴 '모호함'이나 불확실성을 어떻게 측정할 것인가?" 이것이 바로 로비라 이 비르지비니 대학(Universitat Rovira i Virgili)의 연구팀이 관광에 관한 방대한 글의 모음을 통해 해결하고자 했던 퍼즐입니다.

연구진은 여섯 가지 서로 다른 '사서' 모델을 특화된 관광 관련 기사 라이브러리를 사용하여 테스트하기로 했습니다. 그들은 전통적인 방식(잠재 의미 인덱싱 및 잠재 디리클레 할당과 같은 방식)과 새로운 신경망 모델, 그리고 최신 AI가 강화된 버전들을 비교했습니다. 기존의 방식들을 책의 등표지에 적힌 단어에 따라 엄격하게 분류하는 사서라고 생각한다면, 새로운 AI 강화 모델들은 책 전체를 읽고 줄거리를 이해하며, 심지어 저인과 대화를 나누어 요약본을 얻을 수 있는 사서와 같습니다. 연구팀은 승자가 하이브리드 접근 방식임을 발견했습니다. 바로 BERTopic이라는 모델에 AI 비서(구체적으로는 Mixtral-8x7b라는 LLM)를 결합하여 레이블을 정교하게 다듬는 방식이었습니다. 이 '터보 차저를 장착한' 사서는 단순히 책을 그룹화하는 데 그치지 않고, 가장 정확하고 다양한 설명을 제공함으로써, 그룹이 얼마나 잘 결합되어 있는지와 각 그룹이 서로 얼마나 구별되는지에 대한 측면 모두에서 전통적인 모델들을 압도했습니다.

그러나 연구는 단순히 승자를 뽑는 데서 멈추지 않았습니다. 연구진은 AI 모델에서 사용되는 '온도(temperature)' 설정에 대해 흥미로운 사실을 발견했습니다. AI의 세계에서 온도는 모델이 얼마나 창의적이거나 무작위적일 수 있는지를 조절합니다. 낮은 온도는 AI를 매우 엄격하고 반복적이게 만들며, 높은 온도는 AI가 더 자유롭고 창의적이게 만듭니다. 논문은 이것이 단순히 조절 가능한 기술적인 다이얼이 아니라, 모델의 핵심적인 '성격'의 일부라고 제안합니다. 온도를 바꾸는 것은 실제로 AI가 찾는 '주제' 자체를 바꾸고, 그 주제에 대한 확신 정도를 변화시켰습니다. 연구는 '최적의' 온도가 모두에게 적용되는 하나의 마법 같은 숫자가 아니라는 것을 발견했습니다. 즉, 사용하는 AI 사서가 무엇인지, 그리고 어떤 품질을 우선시하는지에 따라 달라진다는 것입니다. 예를 들어, Mixtral은 온도 1.0에서 전반적으로 최고의 성능을 보였고, Gemini-1.5-Pro는 1.5에서 가장 높은 주제 다양성을 달了一种으며, Claude-3.5-Sonnet은 0.5에서 주목할 만한 다양성을 보여주었습니다. 이는 이상적인 설정이 당신이 사용하는 AI 사서와 당신이 우선시하는 특정 품질에 전적으로 달려 있음을 의미합니다.

모델들이 얼마나 잘하고 있는지 진정으로 이해하기 위해, 연구팀은 '해석 가능성(interpretability)'을 측정하는 새로운 방법을 제안했습니다. 기본적으로 "이 주제가 좋은가? 예/아니오"라고 묻는 대신, 기존의 '엑스퍼튼 이론(Theory of Expertons)'에 기반한 방법을 사용했습니다. 이는 전문가 집단에게 주제를 평가하게 하되, 단일한 숫자를 주는 것이 아니라 "나는 이것이 70%에서 90% 사이 정도로 좋다고 확신한다"와 같이 확신의 범위를 제공하게 하는 것과 같습니다. 이 방법은 인간이 가진 불확실성과 '아마도'라는 느낌을 포착합니다. 연구진은 인간 전문가와 다양한 AI 모델들로 구성된 패널을 모두 사용하여 주제를 평가했습니다. 그들은 AI 심사위원들이 올바른 테마를 포착하는 데 매우 뛰어나다는 것을 발견했는데, 결합된 AI 패널은 약 82.6%의 정밀도를 달성한 반면, 인간 전문가는 89.2%에 도달했습니다. 흥적으로, 특정 AI 모델인 Gemma 4 31B는 0.98이라는 매우 높은 정밀도를 달성했지만, 그룹 전체로서의 일관성은 인간보다 약간 낮았습니다.

또한 연구팀은 '단어 침입(word intrusion)' 게임을 통해 모델들을 테스트했습니다. 그들은 특정 주제(예: "해변", "태양", "바다")에 속하는 단어 목록을 가져온 뒤, 몰래 하나의 단어를 어울리지 않는 단어(예: "세금")로 바꾼 후, 모델들에게 침입자를 찾아내라고 요청했습니다. 가장 뛰어난 성능을 보인 모델들, 특히 AI가 강화된 BERTopic은 이 게임에서 매우 우수했으며, 일부 개별 AI 심사위원들은 거의 98%의 확률로 정답을 맞혔습니다. 그러나 연구진은 온도가 높아질수록 AI의 성능이 약간 떨어진다는 점에 주목했습니다. 즉, AI가 너무 '창의적'이 되면 때때로 명백한 침입자를 놓치기도 한다는 것입니다.

결론적으로, 이 논문은 거대한 텍스트 컬렉션을 분석하는 미래가 기존 방식과 새로운 AI 사이에서 하나를 선택하는 것이 아니라, 이 둘을 결합하는 것에 있다고 제사합니다. 최상의 결과는 데이터를 그룹화하는 무거운 작업을 수행하는 강력한 클러스터링 모델을 사용하고, 그 후에 AI 언어 모델을 사용하여 레이블을 다듬고 읽기 쉽게 만드는 방식에서 나왔습니다. 하지만 가장 중요한 교훈은, 우리가 이러한 AI 모델들의 확실성에 대해 약간의 회의론을 가지고 대해야 한다는 것입니다. 이들은 강력한 도구이지만, 그들만의 '모호함'을 가지고 있습니다. 그리고 그 불확실성을 이해하는 것은 그들이 제공하는 답변만큼이나 중요합니다. 이 연구는 AI가 완벽하다는 것을 증명한 것이 아니라, 적절한 설정과 의구심을 측정하는 좋은 방법이 뒷받나 된다면, AI가 세상의 가장 혼란스러운 도서관들을 이해하는 데 도움을 줄 수 있음을 보여주었습니다.