LLMs for Survey Text Analysis – A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis

질적 연구는 단어의 의미를 파악하는 예술입니다. 과학자, 사회학자 또는 정책 입안자들이 사람들의 생각, 감정, 경험을 이해해야 할 때, 그들은 종종 개방형 질문을 던집니다. 단순히 상자에 체크를 하는 대신, 사람은 자신의 삶, 고충, 혹은 희망에 대해 한 단락의 글을 씁니다. 이러한 수천 개의 단락을 유용한 지식으로 바꾸기 위해, 연구자들은 모든 글을 하나하나 읽고, 반복되는 아이디어를 찾아내며, 이를 범주로 묶어야 합니다. 콘텐츠 분석(content analysis)이라고 알려진 이 과정은 인간 행동을 이해하는 근간이지만, 믿을 수 없을 정도로 느리고 까다로운 작업입니다. 수십 년 동안 이를 수행하는 유일한 방법은 인간의 정신이 문장을 한 줄씩 읽는 것이었습니다. 이제, 새로운 종류의 도구가 등장했습니다. 바로 거대 언어 모델(large language models)입니다. 이들은 방대한 양의 텍텍스트로 학습되어 언어를 읽고, 이해하고, 요약할 수 있는 인공지능 시스템입니다. 과학계의 큰 질문은 단순히 이 기계들이 글을 읽을 수 있는지 여부가 아니라, 미리 정해진 규칙 책 없이도 숨겨진 패턴을 찾아내야 하는 과업을 수행할 때 인간 연구자처럼 생각할 수 있는지 여부입니다.

유럽 전역의 대학 연구진은 직접적인 비교를 통해 이 질문에 답하고자 했습니다. 그들은 유럽 전역의 박사 과정 학생 2,800명을 대상으로 한 설문조사의 실제 데이터셋을 가져왔으며, 그중 10%의 응답이 연구의 데이터 기초로 무작위 추출되었습니다. 이 표본으로부터 6개의 특정 개방형 질문에 걸친 총 903개의 응답이 심층적으로 분석되었습니다. 실험의 한쪽 측면에서는 다섯 명의 인간 연구자가 이 답변들을 읽고 '귀납적 콘텐츠 분석(inductive content analysis)'을 수행했습니다. 이는 그들이 답변을 강제로 끼워 맞출 목록을 미리 가지고 시작하지 않았음을 의미합니다. 대신, 그들은 텍스트를 읽고 핵심 아이디어를 식별한 뒤, 그 아이디어들을 위한 자체적인 라벨을 만들고, 그런 다음 그 라벨들을 더 넓은 주제로 그룹화했습니다. 이것은 인간의 판단력에 의존하여 무엇이 중요한지를 결정하는 창의적이고 해석적인 과정입니다. 다른 한쪽에서, 연구진은 정교한 언어 모델을 사용하여 동일한 텍스트에 대해 정확히 똑같은 작업을 수행하게 했습니다. 기계에게는 답변을 읽고, 주요 아이디어를 찾고, 미리 무엇을 찾으라고 알려주지 않은 상태에서 그 아이디어들을 주제로 그룹화하라는 동일한 지침이 주어졌습니다.

연구진은 기계가 인간과 얼마나 밀접하게 일치하는지 보기 위해 두 세트의 결과를 비교했습니다. 그들은 완벽한 일치를 찾으려 하지 않았는데, 왜냐하면 서로 다른 인간 전문가들조차 특정 문장에 어떻게 라벨을 붙일지에 대해 의견이 다를 수 있기 때문입니다. 대신, 그들은 그룹의 전반적인 일치도를 측정했습니다. 결과는 중간 수준의 일치도를 보였습니다. 연구자와 기계가 텍스트에 대해 만든 구체적인 라벨을 살펴보았을 때, 그들은 61%의 확률로 일치했습니다. 그 라벨들로부터 구축한 더 넓은 주제를 보았을 때, 일치도는 54%로 약간 더 낮았습니다. 이를 이해하기 위해, 연구진은 다섯 명의 인간 전문가들이 서로 얼마나 일치하는지도 확인했습니다. 인간들은 라벨과 주제에 대해 약 68%의 확률로 일치했습니다. 이는 인간과 기계 사이의 격차가 크지 않음을 의미하며, 기계가 인간 전문가가 다른 인간 전문가와 일치하는 수준만큼이나 일관되게 수행했음을 보여줍니다.

하지만 이야기가 모든 주제에서 균일하게 나타나는 것은 아닙니다. 인간과 기계 사이의 일치도는 학생들이 무엇에 대해 쓰고 있는지에 따라 크게 달랐습니다. 재정 상황에 관한 질문의 경우, 기계는 더 어려움을 겪으며 인간 연구자들과 낮은 일치도를 보였습니다. 개인적인 경험이나 일반적인 피드백에 관한 질문의 경우, 일치도는 훨씬 강력했습니다. 이 연구는 기계의 신뢰성이 데이터의 성격과 텍스트의 명확성에 크게 의존한다는 점을 시사합니다. 텍스트가 모호하거나 기계 자체의 그룹화 논리가 불안정할 때, 인간과의 일치도는 떨어졌습니다. 연구진은 기계가 스스로와 불일치할 때마다 인간과도 불일치했다는 것을 발견했으며, 이는 인간 팀의 경우에도 마찬가지였습니다. 이는 특정 주제의 난이도가 도구가 얼마나 잘 작동하는지에 중요한 역할을 한다는 것을 나타냅니다.

연구에 참여한 인간 코더(coders)들은 기계의 작업에 대한 인상도 요청받았습니다. 그들은 기계의 범주화가 자신들의 사고를 반영한다고 보고했으며, 향후 데이터를 분석하는 데 이 도구를 신뢰할 것이라고 답했습니다. 연구진은 결론적으로, 이러한 인공지능 시스템이 특히 이론을 구축하는 복잡하고 고차원적인 작업에 있어 인간의 판단을 완전히 대체할 준비가 되지는 않았다고 보았습니다. 그러나 이번 연구 결과는 이 도구들이 텍스트를 분류하는 초기 단계의 노동 집약적인 작업들을 처리하는 데 매우 효과적이라는 점을 시사합니다. 이들은 수천 개의 응답을 읽고 초기 패턴을 찾는 힘든 일을 수행함으로써, 인간 연구자들이 더 깊은 해석과 패턴의 검증에 집중할 수 있도록 해줄 수 있습니다. 이 연구는 기계가 완벽하다거나 텍ext 분석 문제를 해결했다고 주장하는 것이 아니라, 방대한 양의 인간 이야기를 이해해야 하는 연구자들에게 강력하고 확장 가능한 파트너가 될 수 있음을 제안합니다.