기술 요약: 의인화된 언어가 AI에 대한 대중의 인식에 미치는 영향

문제 제기

인공지능(AI)에 관한 공적 담론는 흔히 의인화된 언어—비인간 시스템에 인간의 능력, 특성, 주체성을 부여하는 방식—를 사용한다. 비판론자들은 이러한 프레임이 오해의 소지가 있는 기대를 설정하고, 주장을 과장하며, 하이프(hype)를 부추겨 잠재적으로 AI의 역량에 대한 대중의 이해를 왜곡할 수 있다고 주장한다. 구체적인 우려로는 (예: "환각"을 지각적 경험으로 해석하는 것과 같은) 시스템에 대한 잘못된 가정의 투영, 능력의 과대평가로 인한 일자리 대체 공포, 그리고 특히 취약 계층 사이에서 과도한 의존으로 인해 발생하는 고위험 시나리오 생성이 포함된다. 선행 연구들이 미디어와 연구에서 이러한 언어의 유포를 식별해 왔으나, 의인화된 묘사가 책임, 안전, 일자리 대체 및 사회적 영향에 관한 대중의 인식을 인과적으로 변화시키는지에 대한 통제된 실증적 증거는 부족한 실정이다.

방법론

저자들은 Prolific을 통해 모집된 $N=815$명의 참가자를 대상으로 설문 실험을 수행하였다(미국 기반, 영어 사용자). 본 연구는 브리핑 패킷 노출 후 태도 변화를 측정하기 위해 사전 설문/사후 설문 설계를 활용하였다.

실험 설계

참가자들은 다음 다섯 가지 조건 중 하나에 무작위로 배정되었다:

1. LLM-A: 의인화된 언어를 사용하여 대규모 언어 모델(LLM)에 대해 설명하는 브리핑 패킷.
2. LLM-NA: 비의인화된 언어를 사용하여 LLM에 대해 설명하는 브리핑 패키지.
3. Rec-A: 의인화된 언어를 사용하여 추천 시스템(Recommendation Systems)에 대해 설명하는 브리핑 패킷.
4. Rec-NA: 비의인화된 언어를 사용하여 추천 시스템에 대해 설명하는 브리핑 패키지.
5. Doomsday: AI의 파괴적인 사회적 위험을 강조하는 브리핑 패킷 (태도 변화를 확인하기 위한 양성 대조군 역할).

자극물 구성:
브리핑 패킷은 뉴스 기사, 보도 자료, 백서의 발췌문으로 구성되었다(총 7~8페이지). 의인화 조건의 경우, 저자들은 두 가지 차원의 의인화 분류 체계에 따라 텍스트를 체계적으로 편집하였다:

• 동사 선택: 인간과 연관된 동사(예: "생각하다", "결정하다", "원하다")를 인간과 연관성이 낮은 대안(예: "처리하다", "출력하다", "~하는 데 사용되다")으로 교체함.
• 주체 구조: AI를 동작의 문법적 행위자(agent)에서 도구/수단(instrument/tool)으로 전환함 (예: "모델이 과업을 수행한다"를 "모델은 과업을 수행하는 데 사용된다"로 변경).
  비의인화 버전은 동일한 실질적 내용과 사실적 주장을 유지하면서 이러한 언어적 표식들을 제거하였다.

측정 항목

참가자들은 브리핑 패킷을 읽기 전과 후에 공론화되는 다섯 가지 영역을 다루는 설문을 완료하였다:

1. 해악에 대한 책임: 사용자, 개발자, 그리고 AI 시스템 자체 사이의 책임을 순위 매김.
2. 통제력 상실: 인간이 AI를 통제하거나 끌 수 있는 능력을 상실할 것이라는 진술에 대한 동의 여부.
3. 직업 대체: 10~20년 내에 AI가 인간 의사, 교사, 전문가를 대체할 것이라는 믿음.
4. 안전 테스트: 위험을 완화하기 위한 테스트의 역량에 대한 인식.
5. 사회적 영향: AI가 사회에 미치는 전반적인 긍정적 또는 부정적 영향.

또한, 참가자들은 인간-챗봇 상호작용을 묘사하는 글쓰기 과제를 전후로 수행하였다. 이 샘플들은 LLM 판정기(GPT-4)를 사용하여 의인화된 언어의 빈도를 주석 처리하였으며, 이를 통해 노출이 사용자의 자신의 언어에 영향을 미치는 피드백 루프가 있는지 테스트하였다.

분석

본 연구는 의인화된 언어가 변화를 일으킨다는 대립 가설(alternative hypothesis)과 의미 있는 변화가 없다는 귀무 가설(null hypothesis)을 평가하기 위해 베이즈 요인(Bayes Factor) 분석을 사용하였다. 이 접근 방식은 효과에 대한 증거, 효과의 부재에 대한 증거, 그리고 결론을 내릴 수 없는 데이터를 구분한다.

주요 결과

1. 의인화된 언어의 효과

측정된 모든 결과(책임, 통제, 직업, 안전, 사회적 영향)에 걸쳐, 본 연구는 의인화된 언어가 대중의 인식에 실질적인 즉각적 효과를 미치지 못함을 발견하였다.

• 통합 분석: LLM과 추천 시스템 조건을 통합했을 때, 한 가지 결과(교사 역량, 이는 결론을 내릴 수 없음)를 제외한 모든 결과가 귀무 가설을 지지했다($BF_{01} > 3$). 이는 의인화된 언어가 인식을 변화시키지 않는다는 중간 정도의 증거를 나타낸다.
• 기술별 분석:
  • LLMs: 13개 결과 중 7개가 귀무 가설을 지지하였고, 나머지는 결론을 내릴 수 없었다.
  • 추천 시스템: 13개 결과 중 10개가 귀무 가설을 지지하였고, 나머지는 결론을 내릴 수 없었다.
• 상호작용 효과: 의인화된 언어의 효과가 LLM과 추천 시스템 간에 차이가 있다는 일관된 증거는 발견되지 않았다.

2. 위험 중심 콘텐츠의 효과 (Doomsday 조건)

의인화 조작과는 대조적으로, Doomsday 패킷(파괴적 위험을 명시적으로 경고함)은 인식에 있어 측정 가능하고 상당한 변화를 일으켰다.

• 사회적 영향($BF_{10} = 147,324$)과 안전 테스트($BF_{10} = 36.87$)에 대한 변화에서 강력한 증거가 발견되었으며, 참가자들은 AI의 영향을 더 부정적으로 보고 안전 테스트에 대한 신뢰를 덜 표현하였다.
• 이는 대중의 인식이 읽기 자료에 민감하며 단일 세션 내에서도 변화할 수 있음을 확인시켜 주지만, 그 변화는 언어적 프레임이 아닌 실질적인 위험 콘텐츠에 의해 주도됨을 보여준다.

3. 글쓰기 샘플 분석

Doomsday 패킷에 대한 노출은 참가자들이 자신의 글쓰기에서 의인화된 언어를 사용하는 빈도를 유의미하게 증가시켰다($BF_{10} = 2,671$). 그러나 의인화된 패킷 대 비의인화된 패킷에 대한 노출은 참가자들의 이후 언어 생성 과정에서의 의인화된 언어 사용에 유의미한 변화를 주지 않았으며, 이는 프레임이 강한 즉각적 피드백 루프를 형성하지 않았음을 시사한다.

의의 및 주장

본 논문은 의인화된 언어가 AI에 대한 대중의 의견에 미치는 즉각적인 효과는 미미하거나 무시할 만한 수준이라고 주장한다. 비판론자들은 이러한 언어가 하이프와 오해를 부추긴다고 주장하지만, 본 연구는 통제된 환경에서 기술적 묘사의 스타일(의인화 vs 비의인화)이 내용의 실질과 비교했을 때 책임, 안전 또는 직업 대체에 대한 견해를 실질적으로 바꾸지 못한다는 실증적 증거를 제공한다.

저자들은 다음과 같이 결론짓는다:

1. 스타일보다 실질: 대중의 인식은 의인화라는 언어적 프레임보다 텍스트의 실질적인 콘텐츠(예: 위험에 대한 명시적 경고)에 더 민감한 것으로 보인다.
2. 즉각적 효과의 한론: 즉각적인 변화가 없다는 것이 의인화된 언어가 효과가 전혀 없음을 증명하는 것은 아니다. 저자들은 더 작은 효과가 존재할 수 있거나, 더 긴 시간 척도, 반복적 노출, 또는 담론이 만연한 자연적 환경에서 효과가 축적될 수 있음을 언급한다.
3. 향후 연구 방향: 본 연구의 결과는 단순히 언어적 프레임에 의해 유도되는 대규모의 즉각적인 태도 변화를 가정하기보다는, 작은 인식 변화의 장기적 노출 및 인구 통계학적 결과에 대한 추가 조사가 필요함을 시사한다.

본 연구는 의인화된 언어가 철학적으로 적절한지 부적절한지를 주장하는 것이 아니라, 그것이 대중의 인식에 미치는 실질적인 영향에 대한 경험적 질문을 다루며, 그 즉각적인 영향력이 제한적임을 밝히고 있다.