Validating LLMs in social science: Epistemic threats and emerging norms

사회과학자들이 인간 행동에 관한 미스터리를 풀기 위해 노력하는 탐정이라고 상상해 보십시오. 수년 동안 그들은 수천 개의 문서를 읽고, 그것들을 카테고리별로 분류하거나, 사람들이 설문 조사에 어떻게 답할지 추측하기 위해 인간 조력자 팀을 고용해야 했습니다. 이는 느리고, 비용이 많이 들며, 지치는 일입니다.

대규모 언어 모델(LLM)의 등장을 주목하십시오. 이는 누구보다 빠르고 정확하게 읽고 쓸 수 있는 초스마트 디지털 로봇 비서입니다. 이제 연구자들은 이 로봇들에게 힘든 일을 맡겨, 엉망진탕인 텍축을 깔끔한 숫자와 차트로 바꾸고 있습니다. 마치 마법 지팡이처럼 들리죠? 하지만 미라 데사이(Meera Desai), 달라스 카드(Dallas Card), 그리고 에비게일 Z. 제이콥스(Abigail Z. Jacobs)의 새로운 연구는, 그 지팡이가 반짝거리기는 하지만 그 마법이 우리가 생각했던 것보다 훨씬 더 까다로울 수 있음을 시사합니다.

중대한 발견: "블랙박스" 문제

저자들은 2023년에서 2025년 사이의 최상위 사회과학 학술지에 발표된 27편의 논문을 살펴보았습니다. 그들은 연구자들이 "불쾌함", "정치적 이념" 또는 "감성" 같은 것들을 측정하기 위해 이 AI 로봇들을 사용한 50가지의 구체적인 과업을 찾아냈습니다.

여기 반전이 있습니다. 거의 모든 경우에서, 로봇의 측정값은 핵-심 사건이었습니다. 즉, 사회가 어떻게 작동하는지에 대한 거대한 주장을 뒷받end하는 핵심 증거였습니다. 그러나 저자들이 커튼 뒤를 몰래 들여다보며 연구자들이 로봇이 실제로 진실을 말하고 있는지 어떻게 확인했는지 살펴보았을 때, 그곳에는 엉망진창인 상태가 있었습니다.

케이크를 굽는다고 생각해 보십시오. 당신은 멋지고 하이테크한 오븐(LLM)을 사용하여 케이크를 구울 수 있습니다. 하지만 만약 당신이 온도를 체크하지 않고, 반죽을 맛보지 않으며, 정확히 어떤 레시피를 사용했는지 모른다면, 당신이 구운 것이 정말 케이크인지 아니면 벽돌인지 확신할 수 없습니다. 이 연구는 연구자들이 종종 이 하이테크 오븐으로 요리를 하면서도 맛을 보는 과정(테스트)을 건너뛰고 있다는 것을 발견했습니다.

세 가지 주요 실수

이 논문은 연구자들이 어떤 방식으로 길을 잃고 있는지 세 가지 주요 측면을 강조합니다.

1. "모호한 레시피" (개념화):
   임의의 로봇에게 "나에게 '나쁜' 게시물을 찾아줘"라고 말한다고 가정해 봅시다. 하지만 당신은 로봇에게 "나쁘다"는 것이 무엇을 의미하는지 전혀 알려주지 않았습니다. 무례한 것인가요? 슬픈 것인가요? 아니면 틀린 것인가요?
   연구 결과, 13편의 논문(총 29개 과업 포함)에서 연구자들은 개념을 전혀 정의하지 않았습니다. 그들은 단지 하나의 단어나 짧은 구절만을 사용했을 뿐입니다. 이는 요리사에게 "맛있는 식사를 만들어줘"라고 말하면서, 그것이 매콤한 것인지, 달콤한 것인지, 혹은 짭짤한 것인지는 말해주지 않는 것과 같습니다. 명확한 정의가 없다면, 로봇은 연구자가 의도한 것과는 완전히 다른 것을 측정하고 있을 수도 있습니다.

2. "무작위 설정" (조작화):
   LLM을 사용하는 것은 수만 개의 조절기와 다이얼이 달린 자동차를 운전하는 것과 같습니다. 당신은 모델, "온도"(답변의 창의성이나 무작위성 정도), 그리고 로봇의 길고 수다스러운 답변에서 어떻게 답을 추출할지를 선택해야 합니다.
   저자들은 연구자들이 이러한 설정들을 매우 다양한 방식으로, 종종 직감이나 추측에 기반하여 돌리고 있었다는 사실을 발견했습니다. 어떤 이들은 예시 없이 지시만 내리는 **제로샷 프롬프트(zero-shot prompts)**를 사용했고, 어떤 이들은 지시와 예시를 함께 주는 **퓨샷 프롬프트(few-shot prompts)**를 사용했습니다. 어떤 이들은 로봇에게 숫자로 답하라고 요청했고, 다른 이들은 문장으로 답하라고 요청했습니다.
   무서운 점은 무엇일까요? 논문은 이러한 설정들의 아주 미세한 변화가 결과를 완전히 바꿀 수 있다고 시사한다는 것입니다. 이는 라디오 다이얼을 살짝 돌렸을 뿐인데 갑자기 다른 채널이 들리는 것과 같습니다. 그럼에도 불구하고 많은 연구자가 왜 자신의 특정 설정을 선택했는지 설명하지 않았으며, 이는 다른 이들이 실험을 재현하는 것을 어렵게 만듭니다.

3. "단조로운" 검증 (타당도):
   이것이 가장 큰 문제입니다. 로봇을 사용하여 무언가를 측정할 때는 그것이 정확하다는 것을 증명해야 합니다. 황금 표준(Gold Standard)은 로봇의 작업과 인간의 작업을 비교하는 것입니다.
   연구 결과, 50개 과업 중 38개가 거의 전적으로 한 가지 유형의 확인, 즉 **수렴 타당도(convergent validity)**에 의존하고 있었습니다. 이는 단순히 "로봇이 인간과 일치하는가?"라고 묻는 것을 의미합니다.
   하지만 논문은 이것만으로는 부족하다고 주장합니다. 이는 마치 고장 났을지도 모르는 오래된 온도계와 비교함으로써 새 온도계가 작동하는지 확인하는 것과 같습니다. 저자들은 연구자들이 다음과 같은 전체 도구 상자를 사용해야 한다고 제안합니다:

• 안면 타당도(Face validity): 한눈에 보기에 답이 합리적인가?
• 가설 타당도(Hypothesis validity): 데이터가 실제적이고 흥미로운 질문에 답하는 데 도움이 되는가?
• 예측 타당도(Predictive validity): 데이터가 미래의 사건을 올바르게 예측하는가?
• 판별 타당도(Discriminant validity): 로봇이 우리가 요청한 것만 측정하고 있는가, 아니면 다른 요소들까지도 측정하고 있는가?
  충격적이게도, 연구 대상 중 8개의 과업은 검증이 전혀 없었습니다. 그들은 그저 로봇의 말을 그대로 믿었습니다.

이 논문이 배제하는 것

저자들은 이 연구가 말하고자 하는 바가 아님을 매우 명확히 하고 있습니다. 그들은 LLM이 쓸모없다고 말하는 것이 아닙니다. LLM 사용을 중단해야 한다고 말하는 것도 아닙니다.

그러나 그들은 우리가 이러한 모델들을 단순히 "플러그 앤 플레이(꽂으면 바로 작동하는 방식)"로 취급할 수 있다는 생각을 명시적으로 거부합니다. 당신은 LLM을 매번 사용할 때마다 동일한 결과를 주는 표준 자나 온도계처럼 취급해서는 안 됩니다. 논문은 이러한 모델들이 자동으로 의미 있는 측정을 이끌어내는 "보편적 도구"라는 생각에 반대합니다. 대신, 이들은 신중한 설계, 정밀한 정의, 그리고 엄격한 테스트가 필요한 맞춤형 도구입니다.

또한 그들은 현재의 방식이 "충분히 좋다"는 생각도 거부합니다. 연구자들이 개념을 정의하거나 편향을 확인하는 것과 같은 단계들을 건너뛰는 것은 단순한 사소한 실수가 아닙니다. 이는 학계 전체에 대한 위협입니다. 만약 측정값이 흔들린다면, 사회에 대한 결론 또한 흔들릴 수밖에 없습니다.

우리는 얼마나 확신할 수 있는가?

저자들은 자신들의 발견에 대해 매우 확신하고 있는데, 이는 그들이 단순히 추측한 것이 아니라 직접 발로 뛰었기 때문입니다. 그들은 최상위 학술지에서 2,143편의 논문을 수집했고, 27편의 논문을 대상으로 50개의 구체적인 과업을 수동으로 코딩했습니다. 이것은 시뮬레이션이 아니라, 실제 출판된 연구를 직접 살펴본 결과입니다.

그들은 LLM이 사회과학의 중심이 되고 있음에도 불구하고, 이를 안전하게 사용하기 위한 "규범(도로 위의 규칙)"이 아직 따라잡지 못했다는 것을 발견했습니다. 논문은 만약 더 나은 규칙들—예를 들어 항상 용어를 정의하고, 사용한 모든 설정을 보고하며, 여러 방법으로 자신의 작업을 확인하는 것—이 없다면, 우리는 흔들리는 기초 위에 카드 집을 짓게 될 위험이 있다고 제안합니다.

결론

논문은 행동 촉구로 끝을 맺습니다. 이것은 "정지" 표지판이 아니라 "주의하며 진행하라"는 표지판입니다. 사회과학자들은 이러한 AI 도구들을 인간 조사자를 대할 때와 동일한 존중과 엄격함을 가지고 대하기 시작해야 합니다. 그들은 로봇에게 정확히 무엇을 물었는지, 어떻게 물었는지, 그리고 그 답을 어떻게 확인했는지를 반드시 기록해야 합니다.

그 전까지, 로봇은 강력한 조수가 될 수는 있지만, 여전히 약간의 미스터리로 남아 있을 것입니다. 그리고 과학에서 미스터리는 재미있을 수는 있지만, 견고한 사실을 만들어내지는 못합니다.