Quality Perceptions and Intended Engagement in Response to AI-Generated and AI-Assisted News

기술 요약: AI 생성 및 AI 보조 뉴스에 대한 품질 인식과 의도적 참여

문제 제기
뉴스 제작 과정에 인공지능(AI), 특히 거대언어모델(LLM)을 통합하는 것은 수용자 반응을 이해하는 데 있어 중대한 과제를 제기한다. AI는 효율성 측면에서 잠재력을 제공하지만, 대중의 회의론은 여전히 높다. 기존 연구들은 대중이 AI 생성 콘텐츠, 특히 정치적 맥맥락에서 이를 불신한다는 점을 시사하며, 인간이 작성한 뉴스를 선호한다고 밝힌 바 있다. 그러나 기존 문헌은 종종 사전적 태도와 실제 콘텐츠 평가를 혼동하며, 이러한 기피 현상이 인지된 낮은 품질에서 비롯된다고 가정하는 경향이 있다. 더욱이 대부분의 선행 연구는 현대적 생성형 AI의 역량을 갖추기 이전의 것이며, 초기 품질 평가(작성자 정보를 모르는 상태에서의 평가)와 그 이후의 공개(disclosure)에 따른 반응을 분리하여 분석한 연구는 거의 없다. 본 연구는 독자들이 작성자 정보를 모르는 상태에서 인간 작성, AI 보조, 그리고 완전 AI 생성 뉴스 간의 품질 차이를 인지하는지, 그리고 AI 개입의 공개가 참여 의도에 어떻게 영향을 미치는지 조사함으로써 이러한 공백을 메우고자 한다.

연구 방법론
저자들은 독일어 사용 지역인 스위스에서 사전 등록된 온라인 피실험자 간 설문 실험(N = 599)을 실시하였다. 참가자들은 연령과 성별에 따른 할당을 통해 모집되었으며, 다음 세 가지 조건 중 하나에 무작위로 배정되었다:

1. 인간 작성: 저널리스트의 원본 기사 발췌본.
2. AI 보조: 정보 손실 없이 ChatGPT가 재작성한 원본 기사.
3. AI 생성: 원본 제목과 리드(lead)만을 바탕으로 ChatGPT가 완전히 생성한 단문 기사.

실험 흐름:

1. 품질 평가 (블라인드): 참가자들은 두 개의 150단어 발췌문을 읽고 세 가지 차원에서 품질을 평가하였다: 전문성(명확성, 일관성, 포괄성, 간결성, 잘 쓰여진 정도), 가독성(지루함, 즐거움, 흥미로움, 생동감, 즐거움), 신뢰성(편향성, 공정성, 객관성)을 1~5점 리커트 척도로 측정하였다. 결정적으로, 이 평가는 텍스트가 어떻게 제작되었는지 알기 전에 수행되었다.
2. 공개 (Disclosure): 참가자들에게 실제 제작 방식(인간, AI 보조, 또는 AI 생성)에 대한 정보가 제공되었다.
3. 참여 의도: 참가자들은 (a) 해당 특정 기사를 계속 읽을 의향과 (b) 향후 AI 생성 뉴스를 읽을 의향을 보고하였다.

주요 결과

• 인지된 품질 (블라인드): 세 가지 조건 간에 인지된 전문성, 가독성, 신뢰성에서 통계적으로 유의미한 차이가 없었다. 등가 검증(TOST) 결과, 독자들은 AI 보조 및 AI 생성 기사를 인간이 작성한 기사와 품질 면에서 통계적으로 동등하게 평가하였다. 결과적으로, AI 조건에서 더 낮은 품질 평가를 예측했던 가설 H1~H6는 기각되었다.
• 단기적 참여 (공개 후): AI 개입 사실을 알게 된 후, AI 보조 및 AI 생성 조건의 참가자들은 인간 작성 대조군에 비해 특정 기사를 계속 읽고자 하는 의향이 유의미하게 높게 나타났다 (중간에서 큰 효과 크기, Cohen's d = 0.53 및 0.61 각각).
• 장기적 태도: 즉각적인 관심의 증가에도 불구하고, 세 가지 조건 모두에서 향후 AI 생성 뉴스를 읽고자 하는 일반적인 의향에는 유의미한 차이가 없었다. 가설 H9와 H10(미래의 읽기 의향 증가 예측)은 기각되었다.
• AI 보조 vs. AI 생성: 탐색적 분석 결과, 모든 측정 지표에서 AI 보조 조건과 완전 AI 생성 조건 간의 유의미한 차이는 발견되지 않았다.

주요 기여

1. 품질과 출처의 분리: 본 연구는 LLM 시대에 작성자를 모르는 상태에서 AI 생성 뉴스의 메시지 품질(신뢰성, 가독성, 전문성)이 인간 저널리즘과 비교할 만한 수준임을 입증하는 경험적 근거를 제공한다. 이는 AI 뉴스에 대한 기피가 텍스트 자체의 인지된 열등함에서 비롯된다는 가정을 반박한다.
2. 공개의 "호기심" 효과: 본 연구는 콘텐츠 품질과 출처 수용성 사이의 부분적인 분리를 보여준다. AI 개입의 공개가 인지된 품질을 저하시키지는 않았으나, 단기적인 참여 의도를 촉발했다. 저자들은 이를 진정한 수용이나 신뢰 구축이 아니라, 독자들이 AI의 흔적을 찾아내기 위해 텍xt를 재검토하고자 하는 호기심 기반의 반응 혹은 고조된 정밀 검토(즉, "자동화 휴리스틱")로 해석한다.
3. 상황적 관심과 지속적 관심의 구분: 연구 결과는 AI 생성 콘텐츠에 대한 단일 노출이, 설령 공개가 이루어졌더라도, 더 넓고 장기적인 태도를 변화시키기에는 불충분하다는 점을 강조한다. (새로움이나 불일치에 의한) 상황적 관심이 지속적인 개인적 관심이나 향후 독서 의도로 이어지지는 않았다.

의의 및 주장
본 논문은 자신의 연구 결과가 AI 투명성, 독자 인식, 그리고 저널리즘의 신뢰성 사이의 관계를 이해하는 데 미묘한 통찰을 제공한다고 주장한다. 저자들은 AI 생성 뉴스가 인간의 뉴스에 필적하는 인지된 메시지 품질을 가질 수 있지만, AI 사용의 공개가 의미 있는 장기적 관점에서 "신뢰를 구축"하거나 "참여를 강화"하는 것은 아니라고 주장한다. 대신, 공개는 호기심을 일시적으로 자극할 수는 있으나 깊은 회의론이나 독서 습관을 바꾸지는 못한다.

저자들은 연구가 실제 행동이 아닌 자기 보고된 의도를 측정하며 단일 국가 표본에 의존한다는 점을 언급하며 결론을 신중하게 내리고 있다. 또한, 본 설계가 공개의 효과를 격리하여 측정하지만, 이것이 지속적인 수용을 증명하는 것은 아님을 강조한다. 이 연구는 "자동화 휴리스틱"이 여전히 강력한 힘으로 작데하며, 독자들이 콘텐츠를 유능하다고 판단할 수는 있어도 출처에 대해서는 여전히 주저할 수 있음을 시사한다. 이는 투명성만으로는 AI의 효율성과 저널리즘의 인간적 책임에 대한 독자의 기대 사이의 긴장을 해결하기 어려울 수 있음을 나타낸다.