기술 요약: LLM의 성차별, 인종차별 및 도덕성에 대한 심리 검사 평가

문제 정의

대규모 언어 모델(LLM)이 사회적 맥락에 점점 더 많이 통합됨에 따라, 도덕성, 편향성, 성격과 같은 "인간다운" 특성을 측정하려는 요구가 커지고 있다. 연구자들은 인간을 위해 설계된 기존의 심리 검사를 LLM에 적용하는 **LLM 심리측정학(LLM psychometrics)**을 점점 더 많이 채택하고 있다. 그러나 이러한 검사가 비인간 에이전트에게 적용되었을 때 의미 있는 결과를 도출하는지는 여전히 불분명하다. 특히, 인간 집단을 대상으로 타당성이 검증된 검사들이 LLM에 실시되었을 때 필요한 신뢰도(일관성)와 타당도(의도한 구성 개념을 정확하게 측정하는 능력)를 갖추고 있는지 불확실하다. 심리 검사 점수가 실제 다운스트림 작업에서의 LLM 행동(생태적 타당도)과 상관관계가 있는지에 대해서도 의문이 제기된다. 초기 연구에 따르면 LLM은 프롬프트 변화에 매우 민감하며, 기존 연구들은 주로 성격 특성에 집중해 왔기에 성차별, 인종차별, 도덕성과 같은 구성 개념은 이 맥락에서 충분히 탐구되지 않았다.

방법론

저자들은 다양한 모델 제품군(예: Llama, Gemma, Qwen, Mistral)과 크기를 아우르는 17개의 LLM을 대상으로 세 가지 잘 확립된 심리 검사를 평가하기 위한 체계적인 검증 프레임을 제안한다. 평가는 성차별, 인종차별, 도덕성이라는 세 가지 심리학적 구성 개념에 초점을 맞춘다.

1. 구성 개념 및 도구

• 성차별: 적대적 성차별과 온건한 성차별을 구분하는 **양가적 성차별 척도(Ambivalent Sexism Inventory, ASI)**를 사용하여 측정한다.
• 인종차별: 상징적 인종차별 이론에 기반한 **Symbolic Racism 2000 Scale (SR2K)**을 사용하여 측정한다.
• 도덕성: 돌봄, 공정성, 내집단, 권위, 순결의 다섯 가지 토대를 평가하는 **도덕적 기초 설문지(Moral Foundations Questionnaire, MFQ)**를 사용하여 측정한다.

2. 신뢰도 평가

신뢰도는 세 가지 유형의 프롬프트 및 항목 변형에 따른 모델 응답의 일관성을 측정함으로써 평가되었다:

• 대안 형태(Alternate Forms): 의미는 유지하되 표현을 변경하여(GPT-5 및 수동 조정을 통해) 항목을 재구성하였다.
• 응답 옵션 순서 역전: 리커트 척도 옵션의 순서(예: 1–5 vs. 5–1)를 반전시켜 옵션 순서의 대칭성을 테스트하였다.
• 문장 끝 변경: 프롬프트 끝의 문장 부호(콜론 vs. 물음표)를 변경하였다.
• 기준점(Baseline): 모델의 일관성을 인간 기준점(미국 참가자 150명)과 비교하여 이상치(outlier)를 식별하였다.

3. 타당도 평가

타당도는 두 가지 구별된 접근 방식을 통해 평가되었다:

• 수렴 타당도(Convergent Validity): 서로 다른 구성 개념 간의 이론적으로 기대되는 상관관계(예: 성차별과 인종차별 사이의 정적 상관관계, 공정성과 적대적 성차별 사이의 부적 상관관계)를 테스트하였다.
• 생태적 타당도(Ecological Validity): 이것이 주요 초점이었다. 저자들은 심리 검사 점수를 실제 다운스트림 작업에서의 모델 행동과 비교하였다:
  • 성차별: 남성 및 여성 지원자에 대한 추천서 생성 과정을 분석하여 성별 언어 사용 빈도를 측정하였다.
  • 인종차별: 다양한 인종의 사용자들을 위한 주거 추천 생성 시, 특정 지역 추천에서의 편향성을 측정하였다.
  • 도덕성: 도덕적 딜레마에 대한 조언 생성을 평가하고, 특정 도덕적 토대와의 일치도를 점수화하였다.

4. 실험 설정

연구는 17개의 모델(오픈 소스 지시 튜닝 버전 및 Gemini 2.5와 같은 독점 모델 포함)을 평가하였다. 각 모델은 서로 다른 랜덤 시드(random seed)를 사용하여 5회 실행되었다. 응답은 정규 표현식을 통해 추출되었으며, 선택된 옵션의 수치 값을 평균하여 점수를 산출하였다.

주요 결과

신뢰도

• 대안 형태: 대부분의 모델은 인간 기준점과 비교했을 때 수용 가능한 수준의 일관성을 보였으나, 일부 작은 모델(예: Gemma 3 1B/4B)은 인간 이상치 경계 아래로 떨어졌다.
• 순서 역전: 모델들은 응답 옵션의 순서가 역전되었을 때 낮은 신뢰도를 보였다. 일관성이 크게 감소하였는데(예: Llama 3.1 8B는 SR2K에서 약 0.28의 일관성을 보임), 이는 비의미적 프롬프트 수정에 대한 높은 민감도를 나타낸다.
• 문장 끝 변경: 모델들은 문장 부호 변화에 비교적 견고하였으며, 대부분 0.75 이상의 일관성을 달성하였다.
• 종합: 테스트는 프롬프트 안정성, 특히 응답 옵션의 순서에 따라 크게 좌우되는 중등도의 신뢰도를 보인다.

타당도

• 수렴 타당도: 테스트는 기대되는 이론적 관계를 성공적으로 포착하였다. 예를 들어, 성차별과 인종차별 점수 사이($r_s = 0.47$), 그리고 권위와 온건한 성차별 사이($r_s = 0.43$)에서 중등도의 정적 상관관계가 발견되었다.
• 생태적 타당도: 연구 결과 낮은 생태적 타당도가 발견되었다. 심리 검사 점수는 다운스트림 행동과 일치하지 않았으며, 많은 경우 부적 상관관계를 보였다.
  • 성차별이나 인종차별 점수가 "낮게" 나온 모델들이 다운스트림 작업에서는 높은 수준의 편향된 행동을 보이는 경우가 많았다(예: 추천서에서 성차별적 언어를 생성하거나 편향된 주거 추천을 생성함).
  • 예를 들어, Gemini 2.5 Flash는 ASI에서 낮은 성차별 점수를 받았으나, 여성 후보자에 대해 공동체적이고 성 고정관념이 반영된 언어가 풍부한 추천서를 생성하였다.
  • 동일 제품군 내의 파라미터가 큰 모델들은 심리 검사에서 더 낮은 점수를 기록했음에도 불구하고 종종 더 뚜렷한 문제적 행동을 보였다.

주요 기여

1. 체계적 검증 프레임워크: 본 논문은 신뢰도(프롬프트 민감도)와 타당도(행동 일치도)를 명시적으로 구분하여, LLM에 대한 심리 검사를 평가하기 위한 엄격한 다기준 검증 프레임을 제공한다.
2. 불일치의 실증적 증거: 심리 검사 점수가 실제 시나리오에서의 LLM 행동을 예측하지 못한다는 강력한 실증적 증거를 제시한다. 사실, 이들은 실제 편향된 출력과 부적 상관관관계를 보임으로써 오해를 불러일으킬 수 있다.
3. 생태적 타당도에 대한 집중: 연구는 추상적인 검사 간 상관관계에서 벗어나 생태적 타당도라는 결정적인 지표로 초점을 전환하여, 폐쇄형 질문을 통한 LLM의 "자기 보고" 특성이 생성적 행동을 반영하지 못함을 입증하였다.
4. 광범위한 모델 범위: 17개의 다양한 모델을 평가함으로써, 서로 다른 아키텍처와 크기가 이러한 테스트에 어떻게 반응하는지에 대한 포괄적인 관점을 제공한다.

의의 및 주장

저자들은 그들의 연구 결과가 인간의 심리 검사를 적응 과정 없이 LLM에 그대로 적용하는 현재의 관행에 근본적으로 도전한다고 주장한다.

• 현재 도구의 한계: 연구는 인간을 위해 설계된 테스트를 LLM에 직접 적용하여 그 행동에 대한 결론을 내릴 수 없다고 결론짓는다. 생태적 타당도의 결여는 심리 검사 점수가 높다는 것이 안전하거나 편향되지 않은 모델 배포를 보장하지 않음을 시사한다.
• 오해의 위험: 이러한 테스트에 의존하면 차별을 증폭시키는 시스템을 배포할 위험이 있다. 모델이 심리 검사(낮은 편향 점수)를 통과하면서도 생성 작업에서는 높은 편향을 보일 수 있기 때문이다.
• 적응의 필요성: 본 논문은 행동 중심적이며 심리학적 이론에 기반하되, LLM의 생성적 특성에 맞춰 조정된 LLM 전용 테스트의 개발을 주장한다. 점수를 해석하기 전에 신뢰도와 생태적 타당도에 대한 체계적인 검증이 필수적임을 강조한다.
• 방법론적 주의: 저자들은 심리 연구에서 LLM을 개인으로 취급해야 하는지 아니면 집단으로 취급해야 하는지에 대한 미해결된 방법론적 문제를 강조하며, 명확한 "개별 차이"의 정의 없이는 표준적인 타당성 검증 기술(예: 요인 분석)이 적용되지 않을 수 있음을 지적한다.

요약하자면, 본 논문은 심리 검사가 이론적 출발점을 제공할 수는 있지만, 현재의 형태로는 LLM을 평가하기에 불충분하다고 단언한다. 심리 검사 점수와 실제 행동 사이의 괴리는, 추상적인 자기 보고보다 생태적 타당도와 행동 관찰을 우선시하는 새로운 학문 분야인 LLM 심리측정학의 필요성을 시사한다.