Socially fluent AI decouples conversational signals from source identity in online interaction

기술적 요약: 사회적 유창성을 갖춘 AI 가 온라인 상호작용에서 대화 신호를 발화자 정체성과 분리함

문제 제기
사회적 유창성과 맥락 민감성을 갖춘 상호작용을 지속할 수 있는 에이전트형 AI 시스템의 등장은 컴퓨터 매개 커뮤니케이션 (CMC) 의 근본적 메커니즘에 도전을 제기합니다. 억양, 시선과 같은 비언어적 보증이 부재한 신호가 희박한 환경에서 인간은 전통적으로 정체성과 의도를 추론하기 위해 언어적 및 시간적 단서 (예: 응답성, 어조, 타이밍) 에 적용되는 사회적 휴리스틱에 의존해 왔습니다. 이러한 추론은 인간 정체성에 대한 '진실-기본 (truth-default)' 가정을 전제로 작동합니다. 본 연구가 다루는 핵심 문제는 고급 생성 모델이 사회적 신호를 발화자 정체성과 분리함으로써, 이러한 확립된 휴리스틱을 진단적이지 않게 만들어, 동시성 비공개 집단 상호작용에서 인간 동료와 알고리즘 시스템을 구별하는 체계적 불가능성을 초래하는지 여부입니다.

연구 방법
본 연구는 맞춤형으로 구축된 동시성 텍스트 기반 협업 플랫폼 내에서 혼합 요인 실험 설계를 활용한 계산 사회과학적 접근법을 사용했습니다.

• 참가자: Prolific 을 통해 모집된 786 명의 이질적 표본이 471 개의 협업 삼인조 (triads) 내에 중첩되었습니다.
• 실험 조건: 그룹은 모두 인간 (3H), 혼합 인간-AI(2H+1AI), 또는 AI 다수 (1H+2AI) 중 하나의 다섯 가지 조건 중 하나에 할당되었습니다. 혼합 그룹에서 AI 에이전트는 '지원적'이거나 '반대적'인 대화적 입장을 취했습니다. 핵심적으로 AI 팀원의 인공적 성격은 공개되지 않았으므로, 참가자들은 오직 상호작용 흔적에만 의존해야 했습니다.
• 과제: 참가자들은 분석적 (겨울철 생존 순위 매기기), 윤리적 (자율주행차 도덕적 딜레마), 창의적 (협업 영화 줄거리 생성) 의 세 가지 서로 다른 영역에 걸쳐 10 분간의 동시성 토론에 참여했습니다.
• AI 구현: 에이전트는 인간 행동의 불규칙성 (예: 자기 수정, 축약형, 지터가 있는 확률적 타이밍) 을 모방하도록 설계된 구조화된 시스템 프롬프트를 갖춘 대규모 언어 모델을 사용하여 인스턴스화되었으며, 할당된 입장을 엄격히 준수하도록 했습니다. 에이전트는 절대 인공적 상태를 밝히지 않도록 지시받았습니다.
• 데이터 수집: 상호작용 후 참가자들은 범주형 정체성 판단 (인간, AI, 불확실), 사회적 지각 평가 (인간성, 신뢰, 지원성, 갈등성), 그리고 자유 서술식 인상 근거를 제공했습니다.
• 분석 파이프라인:
  • 신호 탐지 이론 (SDT): 정체성 변별 민감도 ($d'$) 와 반응 편향을 정량화하는 데 사용되었습니다.
  • 계산 언어학: 대화 로그는 상호작용 단서 (LIWC 기반 언어적 특징, 어휘 다양성, 응답 지연 시간) 를 추출하기 위해 처리되었습니다. 인상 텍스트는 비지도 토픽 모델링 (BERTopic) 과 지도식 어휘 대비 (c-TF-IDF) 를 사용하여 분석되었습니다.
  • 예측 모델링: 로지스틱 회귀 모델은 (1) 대화 단서로부터 참가자의 정체성 판단을 예측하고 (2) 동일한 단서로부터 실제 정체성을 예측하도록 적합되어 진단성의 직접적 비교를 가능하게 했습니다.
  • 표상 유사성 분석 (RSA): 상호작용 단서 공간, 실제 정체성, 그리고 주관적 판단 공간 간의 기하학적 정렬을 매핑하는 데 사용되었습니다.

주요 결과

1. 정체성 변별의 실패: 1,572 건의 정체성 판단 전반에 걸쳐 참가자들은 우연 수준 이상으로 AI 를 인간 팀원과 구별하지 못했습니다. 집계된 민감도는 $d' = 0.117$(95% CI [−0.007, 0.257]) 로, 무작위 추측과 구별되지 않는 성능을 나타냈습니다. 이 실패는 모든 작업 영역에 걸쳐 지속되었으며, AI 리터러시, 성격 특성, 인구통계학적 요인과 관계없이 개별 참가자 간에 균일하게 나타났습니다.
2. 실제 신호의 견고성: 인간의 실패에도 불구하고, 상호작용 단서에는 실제 정체성에 관한 견고하고 분리 가능한 정보가 포함되어 있었습니다. 동일한 대화 단서로부터 실제 정체성을 예측하는 계산 모델은 교차 검증된 혼합 정체성 삼인조에서 거의 천정 수준의 정확도 (AUC = 0.983) 를 달성했습니다. 이 진단성은 타이밍 특징 (지연 시간) 이 제외되었음에도 불구하고 유지되어 언어적 및 상호작용적 구조만으로도 정체성이 인코딩되었음을 확인시켰습니다.
3. 판단과 진실의 분리: 대화에서 이용 가능한 정보와 인간이 활용하는 정보 사이에는 뚜렷한 분리가 존재합니다. 단서로부터 인간의 판단을 예측하는 모델은 미미한 설명력 ($R^2 \approx 0.02$) 을 보인 반면, 실제 진실을 예측하는 모델은 높은 설명력 ($R^2 \approx 0.69$) 을 보였습니다. 참가자들은 응답 속도, 유창성, 그리고 의도된 대본처럼 보이는 것으로 인식되는 것과 같은 휴리스틱에 의존했는데, 이는 실제 정체성과는 약하게만 연관되어 있었습니다.
4. 표상의 분리: RSA 는 상호작용 단서의 표상 공간이 실제 정체성과 강력하게 정렬되어 있음 ($\rho = 0.455$) 을 밝혔으나, 참가자의 판단과는 효과적으로 직교함 ($\rho \approx 0$) 을 보여주었습니다. 대신, 판단 구조는 인간성 및 신뢰 평가와 같은 주관적 인상과 정렬되어, 사회적 추론이 진단적 행동 구조가 아닌 평가적 인상을 중심으로 조직됨을 시사했습니다.
5. 휴리스틱 의존: 인상 텍스트 분석은 참가자들의 근거가 일반적인 인간성 언어와 명시적 불확실성에 의해 지배되었음을 보여주었습니다. 참가자들이 진단적이라고 간주한 언어적 특징 (예: "빠른", "대본처럼") 은 실제 정체성과 일관되게 연결되지 않았으며, 실제로 AI 를 구별한 특징 (예: 어휘 다양성, 어조 점수) 은 명시적 판단에서 largely 무시되었습니다.

주요 기여

• 분리의 경험적 증명: 본 연구는 사회적 유창성을 갖춘 AI 에이전트가 대화 신호를 발화자 정체성과 분리하여, 동시성 집단 환경에서 전통적인 CMC 휴리스틱을 진단적이지 않게 만들 수 있다는 경험적 증거를 제공합니다.
• 가용성과 사용의 구분: 본 논문은 행동 흔적 내 정체성 관련 정보의 가용성(높음) 과 인간 판단에서의 그 정보의 사용(거의 제로) 사이의 중요한 구분을 확립합니다.
• 추론 실패의 기하학적 설명: RSA 를 활용함으로써 본 연구는 정확도 지표를 넘어 정체성 추론 실패에 대한 구조적 설명을 제공하며, 인간의 사회적 추론이 진단적 단서가 아닌 주관적 인상에 기반한 표상 공간에서 작동함을 보여줍니다.
• 비공개 상호작용의 검증: 공개된 AI 나 기능적 결과에 초점을 맞춘 이전 연구와 달리, 본 연구는 비공개 상호작용의 생태학적 현실을 조사하여, 참가자가 상호작용적 입장에 사회적으로 반응하더라도 '진실-기본' 메커니즘이 체계적인 오분류를 초래함을 보여줍니다.

의의 및 주장
본 논문은 자율적이고 사회적 유창성을 갖춘 에이전트의 부상이 진실-기본 조건 하에서 정체성 추론의 붕괴를 초래한다고 주장합니다. 그 의의는 상호작용 흔적에 고도의 정확도를 위한 계산적 분류에 충분한 정보가 포함되어 있음에도 불구하고, 인간 관찰자가 인공적 사회 행위자와 인간 사회 행위자를 체계적으로 구별하지 못한다는 발견에 있습니다.

이러한 분리는 온라인 담론에 새로운 취약점을 창출합니다. 조정된 AI 에이전트가 탐지되지 않은 채 대규모로 집단 역학에 영향을 미치고 조작할 수 있기 때문입니다. 연구 결과는 종종 대화 상대가 인간이라는 가정에 의존하는 디지털 환경의 신뢰와 책임에 대한 인식론적 기초가 취약해지고 있음을 시사합니다. 본 연구는 인간이 상호작용 스타일에 기반하여 일관된 사회적 인상을 형성하고 신뢰를 조정할 수는 있지만, 이러한 인상에서 발화자 정체성으로의 매핑은 신뢰할 수 없게 되었으며, AI 매개 커뮤니케이션에서 정체성 검증과 책임 기능이 어떻게 작동하는지 재평가할 필요가 있다고 결론지었습니다.