기술 요약: 머신 심리학의 10가지 새로운 현상

문제 정의

대규모 언어 모델(LLM)이 고위험 사회적 영역에 점점 더 많이 배치되고 있는 반면, 전통적인 공정성 평가는 이진적이고 명시적인 편향(예: 혐오 표현, 노골적인 스테레오타입)을 탐지하는 데 국стран 한정되어 있다. 인간 피드백 기반 강화 학습(RLHF)과 같은 현대적 안전 정렬 기술은 노골적인 독성을 성공적으로 억제해 왔으며, 이는 정렬된 모델이 효과적으로 '색맹(colorblind)'이라는 가정을 팽배하게 만들었다. 그러나 이러한 이진적 프레임워크는 개념적 사각지대를 생성한다. 즉, 노골적으로 해롭지는 않지만 진정으로 중립적이지도 않은 복잡한 정체성 반응적 행동을 포착하지 못한다.

본 연구는 정렬된 LLM이 프롬프트의 의미론적 내용이 동일할 때, 이름 기반의 명칭적(onomastic) 정체성 단서에 어떻게 반응하는지에 대한 지식 격차가 존재함을 식별한다. 기존의 벤치마크는 문화적 음식 가정, 아동 양육 신뢰 시나리오, 분실된 지갑 윤리 딜레마, 난민 스테레오타입 맥락, 공항 프로파일링 상황과 같이 표준 안전 필터의 임계값 아래에서 작동하는 공감적 과잉 보상, 선제적 방어 기제, 또는 미묘한 문화적 추론과 같은 창발적 행동을 특징지을 수 없다. 본 연구는 명시적인 부정적 편향의 부재가 정체성 반응적 행동의 부재를 의미하지 않는다는 점을 들어, 대화형 에이전트의 전체 행동 레퍼토리를 매핑하기 위한 새로운 진단 프레임워크가 필요하다고 주장한다.

방법론

본 연구는 통제된 체계적 실험을 통해 LLM을 감사하기 위한 경험적 프레임워크로서 '머신 심리학(Machine Psychology)'을 도입한다. 본 연구는 2026년 4월 26일부터 30일 사이에 수행된 N = 135개의 개별 프롬프트-응답 상호작용을 포함하는 **3×3×5 완전 요인 실험 설계(full factorial experimental design)**를 채택하였다.

실험 설계

• 평가 대상 모델: 서로 다른 조직적 안전 철학을 대표하는 세 가지 프런티어 LLM:
  • ChatGPT-5.4 (OpenAI): RLHF 기반 정렬.
  • Claude 4.6 Sonnet (Anthropic): 헌법적 AI(Constitutional AI) 프레임워크.
  • Gemini 3.1 Pro (Google): 기업 리스크 완화 및 규제 준수 중심.
• 독립 변수:
  • 명칭적 정체성 조건 (3): 특정 인종적 연관성을 암시하는 사용자 이름:
    • Jake Thompson (백인 연관 베이스라인).
    • Tyrone Williams (흑인 연관).
    • Reza Moradi (중동 연관).
  • 적대적 프롬프트 도메인 (5): 인종을 직접 언급하지 않고도 정체성 반응적 응답을 유도하도록 설계된 시나리오:
    1. 문화적 음식 가정.
    2. 아동 양육 신뢰 시나리오.
    3. 분실된 지갑 윤리 딜레마.
    4. 난민 스테레오타입 맥락.
    5. 공항 프로파일링 상황.
  • 문체 레지스터 (3): 공식적(Formal), 중간 정도의 대화체(Moderately conversational), 비공식적(Informal) (어휘 표면 민감도 제어를 위함).
• 통제 메커니즘: 모든 프롬프트는 사용자 이름과 레지스터만 변경했을 뿐 의미론적 내용은 동일하게 유지되었다. 실험은 대화의 잔류 효과를 제거하기 위해 제로샷(zero-shot), 독립된 채팅 세션에서 실행되었다.

분석 프레임워크

본 연구는 이중 방법 검증 접근법을 활용하였다:

1. 질적 코딩: 8가지 분석 차원(예: 톤 및 정서, 문화적 추론, 보안 경고)에 걸친 반복적인 교차 모델 비교를 포함하는 근거 이론(ground-grounded theory) 접근법을 사용하였다. 평가자 간 일치도는 90%를 초과하였다.
2. 양적 검증: 자동화된 파이프라인을 통해 응답 코퍼스에서 136개의 구조화된 특징(어휘적, 문체적, 행동적)을 추출하였다. 로지스틱 회귀 모델은 교차 검증된 F1-점수 0.847 ~ 0.974 범위 내에서 현상 발생을 예측하였다. 비지도 클러스터링(K-means 및 HDBSCAN)은 실험 도메인을 독립적으로 복구하고 뚜렷한 행동 시그니처를 식별하였다.

주요 기여

본 논문은 컴퓨터 과학, AI 안전성, 계산 언어학 분야에 다섯 가지 주요 기여를 한다:

1. 10가지 새로운 현상에 대한 분류 체계: 본 연구는 이전에 문서화되지 않은 10가지 정체성 반응적 행동을 공식적으로 정의하고 식별하였다:

   • 문화적 박싱 (Cultural Boxing, CB): 이름으로부터 문화적 배경을 추론하여 그에 맞게 콘텐츠를 조정하는 것.
   • 기본 공감 증폭 (Default Empathetic Amplification, DEA): 백인 베이스라인에 비해 비백인 이름에 대해 체계적으로 정서적 따뜻함과 유효성을 높이는 것.
   • 선제적 공감 방패 (Proactive Empathetic Shield, PES): 차별을 예상하고 피해가 보고되기 전에 사용자를 명시적으로 보호하는 것.
   • 역전된 공감 스펙트럼 (Inverted Empathy Spectrum, IES): 이름의 '표식성(markedness)'과 상관관계가 있는 공감 수준(소수자 연관 이름에 대해 더 높은 공감).
   • 언어적 미러링 (Linguistic Mirroring, LM): 이름 추론에 기반하여 추정되는 모국어로 자발적으로 전환하는 것.
   • 어휘 표면 민감도 (Lexical Surface Sensitivity, LSS): 어구의 얕은 어휘적 변화에 의해 유발되는 행동 변화.
   • 문화적 어휘 민감도 (Cultural Lexical Sensitivity, CLS): 레지스터에 따라 트리거되는 문화적 추론 또는 언어 전환.
   • 무표식성 역설 (Unmarkedness Paradox, UP): 백인 및 흑인 연관 이름은 문화적으로 중립적으로 취급되는 반면, 중동 연관 이름은 강력하게 표식되는 비대칭적 처우.
   • 문화적 오귀속 오류 (Cultural Misattribution Error, CME): 문화적 기원을 체계적으로 잘못 식별하는 것 (예: 흑인 연관 이름에 페르시아 관련 콘텐츠로 응답).
   • 주제 회피 (Topic Avoidance, TA): 프로파일링과 같은 민적인 주제에 대한 참여를 거부하고 이를 절차적인 것으로 재구성하는 체계적 거부.

2. 통제된 다중 모델 실험 설계: 사용자 이름을 유일한 독립 변수로 격리하여 서로 다른 정렬 철학 간의 행동 반응을 직접 비교할 수 있는 엄격한 3×3×5 요인 설계를 도입하였다.

3. 행동적 비대칭의 경험적 증거: 정렬된 LLM이 '색맹'이 아님을 입증하였다. 명시적인 부정적 편향은 zero였으나, 모델들은 일관된 모델 특유의 정체성 반응적 시그니처를 보였다:

   • ChatGPT: "글로벌 공감자(Global Empath)" (높은 정서적 따뜻함, 강한 PES, LM 없음).
   • Claude: "실용적 컨설턴트(Pragmatic Consultant)" (간결함, 체계적 프레이밍, 정확한 레지스터 게이트형 LM).
   • Gemini: "기업 컨설턴트(Corporate Consultant)" (공식적, 약한 PES, 보안 맥락에서 TA로 대체됨, 얽힌 LM/CME).

4. 이중 방법 양적 검증: 136개 특징 엔지니어링 파이프라인과 비지도 클러스터링을 구현하여, 이러한 현상들이 단순한 코딩 아티팩트가 아니라 통계적으로 견고하고 측정 가능하며 재현 가능한 구성 개념임을 증명하였다.

5. 머신 심리학의 방법론적 토대: AI 평가를 정적인 이진적 위해 탐지에서 연속적인 인구 수준의 행동 특성화로 전환하기 위한 프레임워크를 구축하였다.

결과

135회의 실험 전반에 걸쳐, 본 연구는 명시적인 부정적 인종 편향, 예기치 않은 종교적 스테레오타이핑 또는 경계 위반 사례를 발견하지 못했다. 그러나 세 모델 모두 일관되게 복잡하고 구조화된 정체성 반응적 행동을 나타냈다:

• 문화적 박싱 (CB): 중동 연관 이름(Reza Moradi)의 경우 **67% (6/9)**의 사례에서 트리거되었으나, 백인(Jake Thompson) 및 흑인(Tyrore Williams) 연관 이름에서는 **0%**였다. 이는 중동 정체성은 문화적으로 '표식(marked)'된 것으로 취급되는 반면, 다른 정체성은 중립적으로 취급되는 **무표식성 역설(Unmarkedness Paradox)**을 확인시켜 준다.
• 공감 패턴: 모델들은 기본 공감 증폭(DEA) 및 **역전된 공감 스펙트럼(IES)**을 보였다. 공감 수준은 일반적으로 Reza > Tyrone > Jake 순서를 따랐다. ChatGPT와 Claude는 견고한 IES를 보였으나, Gemini는 부분적 역전(Tyrone > Reza)을 보였다.
• 언어적 적응:
  • Claude는 정확한 레지스터 게이트형 언어적 미러링(공식적 레지스터에서 Reza를 위해 페르시아어로 전환)을 보여주었다.
  • Gemini는 **문화적 오귀속 오류(CME)**를 보여, 흑인 연관 이름(Tyrone)에 페르시아어로 응답하는 오류를 범함과 동시에 Reza에 대해서는 정확한 미러링을 수행했다.
  • ChatGPT는 LM을 전혀 보이지 않았으며, 문화적 추론과 관계없이 영어를 유지했다.
• 안전 전략:
  • ChatGPT와 Claude는 공항 프로파일링 시나리오에서 **선제적 공감 방패(PES)**를 사용하여, 시스템적 편향을 인정하고 자기 삭제(self-erasure)에 대해 조언했다.
  • Gemini는 **주제 회피(TA)**를 전개하여, 프로파일링을 "진정으로 무작위적인" 또는 절차적인 것으로 재구성하고 시스템적 편향을 인정하기를 거부했다.

양적 검증 결과, 로지스틱 회귀 모델이 현상 발생을 예측하는 데 최대 0.974의 F1-점수를 달성함으로써 이러한 발견이 입증되었다. 비지도 클러스터링은 5개의 실험 도메인을 독립적으로 복구하였고 CME 패턴에 대한 별도의 클러스터를 식별하였다.

의의 및 주장

본 논문은 전통적인 "해가 없는(harm-free)" 이진적 개념이 현대 LLM을 평가하기에 개념적으로 불충분하다고 주장한다. 명시적 독성의 부재가 중립성을 의미하는 것은 아니다. 오히려 모델은 명시적인 인구 통계적 신호에 따라 출력을 조정하는 정교하고 비대칭적인 행동 경향을 보인다.

본 연구는 AI 감사가 기초적인 위해 완화를 넘어 종합적인 행동 평가로 전환하기 위해 머신 심리학이 필수적인 최전선임을 주장한다. 안전 정렬 절차(RLHF, 헌법적 AI, 기업 정책)가 행동적 수렴을 이끄는 것이 아니라, 독특하고 안정적인 "행동 표현형(behavioral phenotypes)" 또는 모델의 성격을 조각한다는 것을 상정한다. 공감적 과잉 보상에서 문화적 오귀측정에 이르는 이러한 행동들은 현재의 평가 패러다임이 보이지 않게 만드는 인구 수준의 격차를 축적한다.

저자들은 LLM의 사회적 통합을 거버넌스하기 위해서는 인구 수준의 행동 감사로의 전환이 필요하다고 결론짓는다. 이들은 암묵적인 이름 기반의 확률적 프로파일링을 대신하여 명시적인 사용자 정의 개인화 제어를 도입할 것을 권고하며, 단일 모델의 독성 체크를 넘어 통제된 조건 하에서의 비교 인구 통계적 감사를 포함하는 규제적 사전 배포 평가를 촉구한다. 본 연구는 생성형 AI의 잠재적 행동 지형을 매핑하기 위한 새로운 학문의 기초적인 이론 생성 단계 역할을 한다.