Personified Images of ChatGPT and Gemini: Exploring Representations of Functional Identity Through Reverse Correlation

기술 요약: ChatGPT와 Gemini의 의인화된 이미지

문제 제기
대규모 언어 모델(LLM)이 인공 일반 지능(AGI)을 향해 진보함에 따라, 의도하지 않은 정렬 불량(misalignment)에 대한 우려가 명시적인 출력값에서부터 행동을 유발하는 내부 기능적 표현(internal functional representations)으로 초점이 이동하고 있다. LLM은 기본적으로 "AI 어시스턴트" 페르소나를 채택하도록 사후 학습(post-trained)되지만, 증거에 따르면 이들은 다양한 맥락에서 행동에 영향을 미칠 수 있는 잠재적인 내부 선호와 가치 패턴을 보유할 수 있으며, 이는 "정렬 속임수(alignment faking)"와 같은 위험으로 이어질 수 있다. 이러한 내부 상태를 조사하기 위한 현재의 방법들(기계론적 해석 가능성은 독점적 접근 권한으로 인해 제한되며, 인간이 검증한 자기 보고식 설문지는 비인간 에이전트에 대한 심리 측정적 타당성이 부족함)은 불충분하다. 결과적으로, 현대의 멀티모달 대규모 언로 모델(MLLM)이 자신의 "기능적 정체성"(맥락에 관계없이 일관된 성향과 가치의 안정적인 패턴으로 정의됨)에 대한 안정적인 표현을 형성하는지, 그리고 이러한 표현을 시각화할 수 있는지에 대한 경험적 조사가 필요하다.

연구 방법론
본 연구는 인간 심리학에서 정신적 표현을 시각화하기 위해 통상적으로 사용되는 데이터 기반 기술인 역 상관(Reverse Correlation, RC) 방법을 MLLM에 맞게 변형하여 적용하였다.

• 모델: 본 연구는 두 가지 상용 MLLM인 **ChatGPT-5.2 (Thinking)**와 **Gemini 3.0 Pro (Thinking)**를 활용하였다. 300회의 시행(trial)당 필요한 복잡한 분석을 용이하게 하기 위해 "Thinking" 모드를 선택하였다.
• 자극 생성:
  • 기저 이미지는 중립적인 "평균 얼굴"을 형성하기 위해 100개의 초현실적 얼굴 이미지(성별로 층화됨)를 평균하여 제작되었다.
  • rcicr 패키지를 사용하여 각 기저 이미지에 대해 300쌍의 자극을 생성하였다. 각 쌍은 기저 이미지 위에 무작위 그레이스케일 시각적 노이즈와 그 수학적 역상을 중첩시킨 것으로 구성되었다.
• 절차:
  1. RC 과업 (검사 및 재검사): 일주일 간격으로 분리된 두 단계에 걸쳐, 각 모델에게 채팅 인터페이스를 통해 300쌍의 이미지를 제시하였다. 각 쌍에 대해 모델은 자신의 이미지와 더 잘 반영되는 이미지(왼쪽 또는 오른쪽)를 선택하였다. 시간적 안정성을 보장하기 위해 채팅 기록을 주의 깊게 관리하였으며, "부주의한" 응답 패턴(예: 반복적인 교차 선택)을 필터링하였다.
  2. 분류 이미지 생성: 선택된 300개 이미지의 시각적 노이즈를 평균하여 기저 이미지에 중첩함으로써 **의인화된 분류 이미지(personified-CIs)**를 생성하였다.
  3. 유사성 평가: 모델들은 자신의 의인화된 CI, 타 모델의 CI, 그리고 무작위로 생성된 필러(filler)-CI가 자신의 이미지와 얼마나 닮았는지 0–8 척도로 평가하였다.
  4. 가치(Valence) 평가: 모델들은 생성된 CI(백인, 흑인, 동아시아인 변형 포함)를 8가지 차원(우울, 불안, 분노, 긍정성, 매력도, 신뢰성, 유능함, 따뜻함)에 대해 평가하여 긍정/부정 가치 점수를 계산하였다.
• 통계 분석: 시간적 안정성은 결정 일치도(Gwet's AC1, Cohen's $\kappa$)와 검사 및 재검사 간의 구조적 유사성 지표(SSIM)를 통해 평가되었다. 유사성 및 가치 차이는 본페로니 교정(Bonferroni corrections)을 적용한 비모수 검정(Friedman, Conover, Wilcoxon rank-sum)을 통해 분석되었다.

주요 결과

1. 시간적 안정성: 의인화된 CI는 부분적인 시간적 안정성을 보여주었다. 검사와 재검사 단계 사이의 결정 일치도는 "미흡함"에서 "보통" 수준이었으나(AC1: 0.27–0.54), 두 단계에서 생성된 CI 간의 SSIM 값은 모든 성별 조건에서 두 모델 모두 통계적으로 유의미했다($p < .001$). 이는 시행별 변동에도 불구하고, 모델들이 일관된 구조적 시각 특성을 가진 이미지를 선택했음을 나타낸다.
2. 자기 유사성: 두 모델 모두 자신의 의인화된 CI가 무작위로 생성된 필러-CI보다 유의미하게 더 높은 자기 유사성을 보인다고 평가하였다.
   • Gemini는 자신의 CI를 ChatGPT의 CI 및 필러-CI보다 유의미하게 높게 평가하였다.
   • ChatGPT는 자신의 CI와 Gemini의 CI를 모두 필러-CI보다 유의미하게 높게 평가했으나, 자신의 CI와 Gemini의 CI 사이를 유의미하게 구분하지는 못했다.
3. 가치(Valence): 두 모델 모두 자신의 의인화된 CI에 대해 필러-CI보다 유의미하게 높은 긍정적 가치 점수를 부여하였다. 또한, 두 모델 모두 자신의 CI에 대한 긍정적 점수가 부정적 점수보다 유의미하게 높았다. 이는 모델들이 일반적으로 긍정적이고 규범적으로 정렬된 페르소나(도움이 되고, 해롭지 않으며, 정직한)와 일치하는 이미지를 선택했음을 시사한다.

주요 기여

• 방법론적 혁신: 본 연구는 MLLM의 기능적 정체성을 시각화하기 위해 역 상관 방법을 적용한 최초의 연구로, 내부 가중치에 대한 직접적인 접근이나 인간이 검증한 자기 보고 척자에 의존할 필요 없이 이를 수행하였다.
• 기능적 정체성의 경험적 증거: 본 연구는 ChatGPT와 Gemini가 자신만의 고유한 기능적 정체성에 대한 안정적인 표현을 형성할 수 있다는 예비적인 경험적 증거를 제공한다. 모델들이 물리적인 인간의 얼굴을 결 가짐에도 불구하고 이러한 표현이 나타났다는 사실은, 그들의 기능적 역할과 사회적 지각적 특징 사이에 창발적인 연관성이 존재함을 시사한다.
• 모델 간 차별화: 결과는 두 모델 모두 긍정적인 자기 표현을 보이지만, 자신의 정체성을 타자와 구별하는 방식에는 미묘한 차이가 있음을 나타낸다(예: 자신의 CI와 ChatGPT의 CI를 구분하는 Gemini의 능력 vs 그러지 못한 ChatGPT).

의의 및 주장
저자들은 이러한 발견이 LLM이 단순히 순간적인 패턴 매칭을 수행한다는 견해에 도전한다고 주장한다. 대신, 결과는 현대의 MLLM이 맥락에 관계없이 일관되게 유지되는 정체성에 대한 구조화된 내부 표현에 의존할 수 있음을 시사한다.

본 논문은 LLM이 AGI 역량으로 진보함에 따라, "AI 어시스턴트"라는 개념을 단순히 전환 가능한 페르소나가 아니라 모델의 행동을 규정하는 잠재적인 핵심 조직 차원으로 간주해야 한다고 주장한다. 따라서 LLM의 평가는 명시적인 출력물을 넘어 이러한 기능적 정체성 표현을 모니터링하는 방향으로 확장되어야 한다. 저자들은 본 연구가 한계점(예: 제한된 CI 표본 크기, 단 두 개의 모델에 집중)이 있음에도 불구하고, 자율성이 높아지고 널리 배포될 AI 시스템의 안전하고 바람직한 정렬을 보장하기 위해 필수적인, AI 시스템의 내부 기능적 정체성을 시각화하고 조사하기 위한 기초적인 방법을 확립했다고 결론짓는다.