Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

기술 요약: 자유 형식 연상 과업을 통해 드러난 대규모 언어 모델의 스테레오타입 환각(Stereotype Hallination)

문제 제기
최근 문헌들은 대규모 언어 모델(LLM)이 인간의 정형화된 판단을 예측할 수 있다고 시사하고 있으나, LLM이 인간의 스테레오타입에 내재된 인지 과정을 모방하는 것인지, 아니면 단순히 학습된 연상을 검색하여 예측 과업을 수행하는 것인지는 여전히 불분명하다. 기존 연구는 주로 통제된 판단 과업(예: 객관식 설문)이나 확고하고 예측 가능한 집단 편향이 존재하는 맥락(예: 뉴스에 대한 당파적 반응)에 의존해 왔다. 이러한 설정은 LLM이 진정한 인지 메커니즘을 모델링하기보다는 훈련 데이터의 통계적 상관관계를 검색함으로써 성공할 가능성을 높인다. 문화적 의미가 사전에 확립되지 않은 새롭고 제약 없는 해석 환경에서 LLM이 어떻게 수행되는지에 대한 이해에는 중요한 공백이 존재한다. 특히, 내재적인 의미가 결여된 자유 형식의 자극을 해석할 때 LLM이 인간 스테레오타입의 구조를 재현할 수 있는지 여부는 알려져 있지 않다.

연구 방법론
저자들은 성별, 당파성, 성격, 도시성, 라이프스타일(일상)의 다섯 가지 사회적 영역에 걸쳐 인간 참여자와 두 가지 멀티모달 모델(GPT-4o mini 및 Llama-3.2-11B-Vision-Instruct)을 활용한 비교 실험 설계를 채택하였다.

1. 자극(Stimuli): 본 연구는 사전 확립된 문화적 의미, 명시적 상징 또는 미적 중립성이 결여되도록 의도적으로 선택된 12개의 모호한 시각적 자극(로르샤흐 잉크블롯 4개 및 추상화 8개)을 사용한다.
2. 실험 조건:
   • 1차 과업(First-Order Tasks): 참여자(인간)와 모델(페르소나 기반 프롬프트 사용, 예: "당신은 [정체성]입니다")은 직접적인 개인적 해석을 제공한다. 응답은 3개의 대상 연상, 3개의 개념 연상, 1개의 감정으로 구성된다.
   • 2차 과업(Second-Order Tasks): 참여자와 모델은 특정 사회 집단의 구성원이 동일한 자극을 어떻게 해석할지 예측한다.
3. 데이터 수집:
   • 인간: 도메인당 약 300명의 참여자를 Prolific을 통해 모집하였다. 1차 참여자는 4개의 무작위 자극을 해석하였고, 2차 참여자는 도메인 내 두 집단의 해석을 예측하였다.
   • LLM: 모델의 변동성을 포착하기 위해 네 가지 온도(temperature) 설정(0.3, 0.7, 0.9, 1.0)에 걸쳐 도메인/자극 조합당 80회씩 쿼리를 보냈다.
   • Leave-One-Out (LOO) 컨디셔닝: 균질화가 불충분한 개별화에서 기인하는지 테스트하기 위해, GPT-4o mini에 세 개의 이미지에 대한 특정 인간 참여자의 실제 연상을 학습시켜 네 번째 홀드아웃(held-out) 이미지에 대한 참여자의 연상을 예측하도록 하였다.
4. 분석 지표:
   • 집단 내 다양성(Within-Group Diversity): 단어 연상의 샤논 엔트로피(Shannon entropy)를 사용하여 측정하였다.
   • 집단 간 분리도(Between-Group Separability): 연상의 언어적 패턴만을 기반으로 집단 구성원을 예측하도록 LLM 분류기(GPT-4o mini 및 Llama)를 훈련시켜 측정하였다.
   • 의미 공간 분석(Semantic Space Analysis): 단어 임베딩(Sentence-BERT)을 PCA를 통해 2D 공간으로 투영하여 응답의 위상(topology)과 클러스터링을 시각화하였다.

주요 결과
본 연구는 스테레오타입에 관한 인간과 LLM의 인지 과정 사이의 근본적인 질적 차이를 밝혀냈다.

• 집단 내 다양성 (엔트로피): 인간의 1차 응답은 높은 이질성(높은 엔트로피)을 보이며, 인구통계학적 정보는 해석의 약한 예측 변수이다. 반면, LLM은 부여된 사회적 정체성과 관계없이 균질한 1차 응답(낮은 엔트로피)을 생성한다. 이러한 균질화는 LOO 컨디셔닝 하에서도 지속되었으며, 모델은 특정 행동 데이터를 제공받았음에도 불구하고 인간의 개별적 변이를 포착하는 데 실패하였다.
• 집단 간 분리도 (분류 정확도):
  • 인간: 1차 인간 응답은 집단에 의해 거의 구별되지 않는다(분류 정확도가 무작위 확률 수준인 46–60%). 2차 과업에서 인간은 약한 1차 경향성을 증폭시키면서도 다양성을 유지하는 "스테레오타입 과장(stereotype exaggeration)"을 보여, 분리도가 중간 정도로 증가한다(57–79%).
  • LLM: 1차 LLM 응답은 (성격 도메인을 제외하고) 낮은 분리도를 보이지만, 2차 LLM 응답은 극도로 높은 분리도를 보인다(종종 >90%, 일부 도메인에서는 99.9%에 달함). LLM은 분류기에 의해 쉽게 구별되는 고도로 양극화되고 집단 특화된 연상을 생성하며, 이는 인간의 구별 가능성을 훨씬 상회한다.
• 의미 위상(Semantic Topology): PCA 분석 결과, 인간의 응답은 넓고 중첩되며 연속적인 클러스터를 형성한다. 반면 LLM의 응답, 특히 2차 과업의 경우, 인간의 1차 응답이 점유하는 의미 영역과는 단절된 채 매우 밀집되고 파편화되며 공간적으로 분리된 클러스터를 형성한다.
• 스테레오타입 환각(Stereotype Hallucination): 저자들은 LLM 현상을 "스테레오타입 환각"이라 명명하였다. 실재하는 편향을 구체화하는 인간의 "스테레오타입 과장"과 달리, LLM은 기존의 1차 경향성을 증폭시키지도 않고 실제 인간의 집단 차이를 반영하지도 않는, 극단적인 2차 스테레오타입을 생성한다. 이러한 환각된 프로토타입은 인간의 실제 데이터(ground truth)로부터 의미론적으로 연결되지 않은 채 떠 있다.
• 강건성(Robustness): 이러한 결과는 모델이 미세 조정(fine-tuning)되거나 개별 참여자의 데이터로 컨디셔닝된 후에도 유지된다. 이는 이 문제가 프롬프트에 의한 일시적 현상이 아니라 구조적 제약임을 시사한다.

주요 기여

1. "스테레오타입 환각"의 식별: 본 논문은 LLM이 인간의 해석적 현실과 근본적으로 단절된 새로운 맥락에서 과장된 집단 스테레오타입을 생성하는 독특한 메커니즘을 제시하며, 이를 인간의 "스테레오타입 과장"과 대조한다.
2. 방법론적 혁신: 자유 형식의 모호한 자극(로르샤흐/추상화)을 활용함으로써, 본 연구는 의미 구축의 인지 과정을 기존의 공고한 문화적 스크립트 추출으로부터 격리하여, LLM을 인지 모델로서 더욱 엄격하게 테스트하였다.
3. 구조적 한계의 입증: 본 연구는 LLM이 특정 개인의 행동 데이터를 제공받더라도 개별적 이질성을 보존하지 못하고, 대신 사회적으로 가용 가능한 프로토타입으로 회귀한다는 점을 입증하였다.

의의
본 논문은 LLM이 새롭거나 모호하거나 문화적으로 정착되지 않은 맥락에서 사회 과학을 위한 신뢰할 수 있는 "모델 생물(model organism)" 역할을 할 수 없다고 주장한다. LLM은 의미가 안정화되고 집단 경계가 확고한 영역(예: 뉴스에 대한 당파적 반응)에서는 인간의 행동을 성공적으로 예측할 수 있지만, 다양한 해석으로부터 의미를 능동적으로 구성하는 사회적 구축 과정을 모델링하는 데는 실패한다. 이러한 결과는 인간의 응답이 매우 독특하고 인구통계학적 구조가 약한 고엔트로피 환경에서 LLM이 인간 인지를 시뮬레이션하는 데 한계가 있음을 시사한다. 결과적으로, 의미가 안정되기 전이나 새로운 사회적 현상을 예측할 때 LLM을 사용하는 것은, 모델이 인간의 해석적 다양성을 모방하기보다 집단 프로토타입을 환각하는 경향 때문에 체계적으로 편향되고 비현실적인 결과를 낳을 수 있다.