Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보십시오. 하지만 당신은 지문 대신, 생각이 비슷한 사람들의 집단을 찾고 있습니다. 사회과학의 세계에서 연구자들은 사람들에게 기후 변화나 팬데믹 기간 동안 어떻게 느꼈는지와 같은 거대 담론에 대한 생각을 적게 하는 설문조사를 배포하곤 합니다. 목표는 이 수천 개의 무질서한 답변들을 깔끔한 작은 더미, 즉 '클러스터(군집)'로 분류하여 서로 다른 유형의 사람들을 이해하는 것입니다. 오랫동안 과학자들은 이 더미들이 '좋은지' 확인하기 위해 수학을 사용해 왔습니다. 그들은 답변들이 얼마나 촘촘하게 모여 있는지를 살피는데, 이는 마치 구슬 더미가 상자 안에 깔끔하게 쌓여 있는지 확인하는 것과 같습니다. 구슬들이 서로 가깝게 모여 있고 다른 더미들과는 멀리 떨어져 있다면, 수학은 "잘했어!"라고 말합니다.

하지만 여기 함정이 있습니다. 구슬 더미가 완벽하게 깔끔할 수는 있지만, 그것이 실제 세상에 대해 아무것도 알려주지 않을 수도 있다는 점입니다. 예를 들어, 수학은 두 그룹이 뚜렷하게 구분된다고 말할지 모르지만, 실제로는 그 그룹에 속한 사람들이 똑같은 식료품을 사거나 똑같은 후보에게 투표할 가능성이 높을 수도 있습니다. 이 논문은 단순하면서도 결정적인 질문을 던집니다. "사람들을 그룹으로 나누는 것이 실제로 그들이 누구인지, 혹은 무엇을 할 것인지를 예측하는 데 도움이 되는가?" 저자들은 '교차 검증 예측 정확도(CVPA)'라고 불리는 새로운 테스트 방법을 소개합니다. 단순히 "이 그룹들이 수학적으로 깔끔해 보이는가?"라고 묻는 대신, "만약 내가 당신에게 어떤 사람의 그룹 이름을 알려준다면, 당신은 그 사람의 나이, 성별, 또는 소득을 그냥 추측했을 때보다 더 잘 맞출 수 있는가?"라고 묻는 것입니다. 이것은 카드를 색깔별로 분류하는 것(보기에는 좋지만)과 가치(실제로 게임에서 이기는 데 도움이 되는 것)에 따라 분류하는 것의 차이입니다.

논문의 이야기

이 연구에서 연구자들인 리나 파랏(Leena Farhat), 사이먼 윌콕(Simon Willcock), 윌리엄 티한(William Teahan)은 이 새로운 '유용성 테스트'를 극한의 도전 과제로 삼기로 했습니다. 그들은 세 가지 실제 설문 조사를 활용했습니다. 하나는 노르웨이에서 사람들이 '기후 변화'라는 말을 들었을 때 무엇이 떠오르는지 묻는 조사였고, 다른 하나는 영국에서 사람들이 조수 간만의 차를 얼마나 잘 이해하고 있는지에 대한 조사였으며, 마지막 하나는 웨일스에서 사람들이 코로나19 팬데믹 기간 동안 삶을 어떻게 경험했는지에 대한 조사였습니다.

먼저, 그들은 이 모든 서술형 답변을 컴퓨터가 이해할 수 있는 숫자로 바꾸어야 했습니다. 그들은 세 가지 다른 방식을 시도했습니다. 단어의 출현 빈도만을 계산하는 고전적인 방식인 TF-IDF, 그리고 인공지능을 기반으로 한 더 똑똑하고 새로운 두 가지 방식인 S-BERT와 BERT입니다. TF-IDF를 단어가 몇 번 사용되었는지만 아는 사전라고 생각한다면, S-BERT와 BERT는 문장 뒤에 숨겨진 '의미'를 이해하는 현명한 사서와 같습니다. 결과는 명확했습니다. 똑똑한 사서들(S-BERT와 BERT)이 문장의 의미를 유지하는 데 훨씬 더 뛰어난 성능을 보였습니다. 데이터를 시각화했을 때, 오래된 방식은 모든 것을 무질서하고 밀집된 덩어리로 보이게 했지만, 새로운 방식들은 사람들이 가진 서로 다른 생각들을 실제로 반영하는 방식으로 답변들을 펼쳐 놓았습니다.

다음으로, 그들은 여섯 가지 서로 다른 컴퓨터 알고리즘을 사용하여 이 답변들을 그룹으로 분류했습니다. 어떤 알고리즘은 사람들을 깔끔하고 둥근 원 모양으로 찾으려 했고, 다른 알고리즘은 흩어져 있더라도 어떤 형태든 상관없이 클러스터를 찾으려 했습니다. 보통 과학자들은 수학적으로 가장 '단단한' 원을 만드는 알고리즘을 선택하곤 합니다. 하지만 저자들은 거기서 멈추지 않았습니다. 그들은 새로운 CVPA 테스트를 적용했습니다. 그들은 물었습니다. "우리가 컴퓨터에게 '이 사람은 A 그룹이다'라고 말했을 때, 컴퓨터가 그 사람의 성별, 나이, 또는 소득을 추측할 수 있는가?"

연구 결과는 매우 흥가스러웠습니다. 코로나19 설문 조사에서 컴퓨터는 사람들의 경험이 돈(소득) 및 성별과 깊게 연결되어 있다는 것을 발견했습니다. 알고리즘은 어떤 그룹에 속해 있는지만 알아도 그 사람의 소득이나 성별을 놀라운 정확도로(성별 약 60%, 소득 약 54%) 맞출 수 있었습니다. 이는 이 그룹들이 단순히 무작위적인 수학적 결과가 아니라, 실제의 서로 다른 사회적 세계를 나타낸다는 것을 의미했습니다. 예를 들어, 한 그룹은 강아지를 집 앞 문 앞에서만 산책시킬 수 있는 사람들이고, 다른 그룹은 넓은 정원을 누릴 수 있는 사람들이라는 식의 차이가 존재했습니다. 컴퓨터는 이 분리 지점을 완벽하게 포착해 냈습니다.

하지만 다른 설문 조사에서는 이야기가 달라졌습니다. 노르웨이의 기후 조사에서 컴퓨터는 나이와 성별이 약간의 영향을 미치기는 하지만, 돈(소득)은 그룹을 전혀 나누지 못한다는 것을 발견했습니다. 모든 소득 수준의 사람들이 홍수나 얼음이 녹는 것과 같은 동일한 문제들을 걱정하고 있었습니다. 소득에 대한 CVPA 점수는 매우 낮았는데, 저자들은 이것이 오히려 좋은 발견이라고 말합니다! 이는 정책 입안자들에게 기후 변화에 대해 부자와 가난한 사람에게 서로 다른 메시지를 보낼 필요가 없음을 알려줍니다. 하나의 통합된 메시지가 모두에게 효과적일 것이라는 뜻입니다.

이 논문에서 가장 흥미로운 부분은 컴퓨터가 인간 전문가와 어떻게 대결하는가 하는 점입니다. 연구진은 컴퓨터가 생성한 그룹을 인간 전문가들이 답변을 직접 읽고 수동으로 분류한 그룹과 비교했습니다. 컴퓨터는 놀라운 성과를 보였습니다. 코로나 조사에서 컴퓨터의 그룹은 인구통계학적 특성을 인간 전문가만큼이나 잘 예측했습니다(0.605 대 0.609). 노르웨이 조사에서는 컴퓨터가 실제로 약간 더 나은 성적을 보였습니다(0.572 대 0.571). 이는 컴퓨터가 인간이 하나하나 읽으며 찾아내는 것만큼이나 의미 있고, 때로는 더 일관되게 언어 속의 패턴을 찾아낼 수 있음을 시사합니다.

이 논문은 우리가 클러스터의 '깔끔함'만을 믿어서는 안 된다고 결론짓습니다. 어떤 그룹은 수학적으로는 완벽할 수 있지만 현실 세계에서는 쓸모없을 수 있습니다. 새로운 CVPA 테스트는 일종의 현실 점검 역할을 합니다. 그것은 어떤 그룹이 실제 세상에서 진정으로 구별되는 그룹인지, 아니면 단지 수학적 환상에 불나는지를 알려줍니다. 만약 어떤 그룹이 사람들을 예측하는 데 도움이 된다면, 그것은 유용한 그룹입니다. 만약 그렇지 않다면, 비록 그래프상에서 예뻐 보일지라도, 공중 보건, 정책, 또는 마케팅에 관한 의사결정을 내리는 데 사용할 가치가 없을 수도 있습니다. 저자들은 이 방법이 우리가 추측에서 벗어나 실제로 세상에서 중요한 것에 기반하여 결정을 내리도록 도와준다고 제안합니다.