💻 computer science

Know Your Author: Does the AI Penalty Hold in Short Fiction?

254명의 참여자를 대상으로 한 이 사전 등록 연구는 단편 소설을 AI가 생성한 것으로 표기하는 것이 품질이나 즐거움에 대한 평가를 유의미하게 낮추지는 않지만, 인지된 저자의 노력을 급격히 감소시키며 독자의 AI에 대한 기존 태도와 상호작용하여 추천 결정에 영향을 미친다는 것을 발견했다.

원저자: Michael Todasco, Joselyn Cesare

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Todasco, Joselyn Cesare

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 쿠키 블라인드 테스트를 하고 있다고 상상해 보세요. 당신에게 똑같이 생긴 두 개의 쿠키가 주어졌습니다. 하나에는 "할머니가 구우심"이라고 적혀 있고, 다른 하나에는 "로봇이 구움"이라고 적혀 있습니다.

오랫동안 사람들은 만약 "로봇"이라는 라벨을 보게 되면, 설령 내용물이 완전히 똑같은 반죽이라 할지라도 자동으로 맛이 없을 것이라고 생각하게 될까 봐 걱정해 왔습니다. 이러한 현상을 **"AI 페널티(AI Penalty)"**라고 부릅니다.

샌디에이고 주립대학교의 연구진은 쿠키 대신 짧은 이야기를 사용하여 이 아이디어를 테스트하기로 했습니다. 연구 결과는 다음과 같습니다.

실험: "마법 같은" 이야기들

연구진은 AI가 쓴 두 개의 짧은 이야기(각각 약 200단어)를 준비했습니다. 그런 다음 이 이야기들을 254명에게 보여주었습니다. 하지만 여기에는 트릭이 있었습니다. 사람마다 다르게 보이도록 이야기 위의 라벨을 바꾼 것입니다.

A 그룹은 "사람이 작성함"이라는 문구를 보았습니다.
B 그룹은 "AI가 작성함"이라는 문구를 보았습니다.
C 그룹은 아무런 라벨도 보지 못했습니다.

결정적으로, 이야기는 모두 동일했습니다. 변한 것은 오직 이름표뿐이었습니다.

큰 반전: "페널티"는 없었다

연구진은 "AI" 그룹이 창의성, 즐거움, 독창성 측면에서 점수를 더 낮게 줄 것이라고 예상했습니다. "사람" 그룹이 가장 좋아할 것이라고 생각했죠.

하지만 그들의 예상은 틀렸습니다.
라벨은 평균 점수를 바꾸지 못했습니다. 사람들이 그 이야기가 인간이 썼다고 생각하든, 로봇이 썼다고 생각하든, 혹은 아예 모른다고 생각하든, 그들은 이야기를 똑같이 즐겼습니다. 최종 평가에서 "AI 페널티"는 나타나지 않았습니다.

진짜 차이점: "노력" 측정기

그렇다면 점수가 같았다면, 라벨이 아무런 역할도 하지 않은 걸까요? 아닙, 라벨은 사람들이 그 이야기를 쓰는 데 얼마나 많은 노력이 들어갔는지에 대한 생각을 바꾸어 놓았습니다.

사람들이 "사람" 라벨을 보았을 때, 작가가 글을 쓰는 데 약 148분을 썼을 것이라고 추측했습니다.
사람들이 "AI" 라벨을 보았을 때, 작가가 단 6분만 썼을 것이라고 추측했습니다.
라벨이 없었을 때는 약 75분 정도 걸렸을 것이라고 추측했습니다.

이것은 마치 그림을 보는 것과 같습니다. 만약 사람이 그렸다고 생각하면, 그 사람이 몇 주 동안 공을 들였다고 상상합니다. 로봇이 했다고 생각하면, 단 몇 초밖에 걸리지 않았다고 생각합니다.

왜 이것이 중요한가: "노력"과의 연결고리

연구진은 누군가 열심히 노력했다는 생각과 그 결과물을 즐기는 것 사이에 강한 연관성이 있다는 것을 발견했습니다.

사람들은 (누가 썼는지와 상관없이) 이야기가 쓰이는 데 오랜 시간이 걸렸다고 생각할수록 그 이야기를 더 즐기는 경향이 있었습니다.
심지어 AI가 썼다고 생각한 그룹 내에서도, "이건 시간이 꽤 걸렸겠는데?"라고 추측한 사람들은 "이건 순식간에 만들어졌을 거야"라고 생각한 사람들보다 이야기를 더 즐겼습니다.

우리 뇌는 일종의 지름길을 사용합니다: "오래 걸렸다면, 분명 좋은 결과물일 것이다." AI 라벨은 "오, 이건 순식간에 만들어졌으니 별로 특별하지 않을 거야"라는 생각을 심어줌으로써 이 지름길을 차단해 버렸습니다. 비록 실제 이야기는 동일했음에도 말이죠.

"태도" 요인

또한 연구는 개인의 AI에 대한 태도가 중요하다는 점을 발견했습니다.

AI를 일반적으로 좋아하는 사람들은 AI 라벨이 붙은 이야기를 기꺼이 추천했습니다.
AI를 일반적으로 싫어하는 사람들은 AI 라벨이 붙은 이야기를 덜 추천하는 경향이 있었습니다.

이 두 집단이 서로 반대 방향으로 끌어당겼기 때문에, 평균 점수는 비슷하게 유지되었습니다. 이는 마치 "AI를 좋아하는 사람"과 "AI를 싫어하는 사람"이 서로 줄다리기를 하여 결국 최종 점수가 변하지 않은 것과 같습니다.

한 가지 작은 오류

흥미롭게도, 약 14%의 사람들은 라벨을 완전히 잊어버렸습니다. 그들은 이야기를 읽고 나서 그것이 인간이 썼는지 로봇이 썼는지 기억하지 못했습니다. 이는 일상적인 독서 상황에서는 사람들이 "작가" 태그를 아예 인지하지 못할 수도 있음을 시사하며, 이로 인해 페널티가 발생할 가능성이 더욱 낮아집니다.

결론

만약 당신이 짧은 이야기를 쓰고 "AI가 만듦"이라고 라벨을 붙인다면, 그 라벨 때문에 점수가 낮아지지는 않을 것입니다. 하지만 그 라벨은 사람들이 당신이 별로 노력하지 않았다고 생각하게 만들 수 있습니다. 그리고 인간은 노력을 보상해 주는 것을 좋아하기 때문에, "낮은 노력"이라는 인식이 실제로는 작품에 대한 느낌을 바꾸는 것입니다. 즉, 기계가 만들었다는 사실 자체가 아니라, "노력이 부족하다"는 인식이 감정을 변화시키는 것입니다.

요약하자면, 라벨이 점수를 깎아내린 것이 아니라, 작가가 얼마나 열심히 노력했는지에 대해 사람들이 스스로에게 들려주는 이야기를 바꾸어 놓은 것입니다.

기술 요약: 단편 소설에서 AI 페널티가 존재하는가?

문제 제lemnt (Problem Statement)
공론과 신흥 문학계에서는 "AI 페널티"를 제기하며, 콘텐츠가 AI 생성물로 라벨링될 경우 미적 영역에서 인간이 만든 작업물에 비해 더 부정적인 평가를 받게 된다고 주장한다. 그러나 기존의 증거들은 종종 저자성에 대한 믿음과 산출물 자체의 내재적 차이를 혼동하는데, 이는 연구들이 빈번하게 서로 다른 인간 및 AI 출력물을 비교하기 때문이다. 이는 관찰된 평가 격차가 출처에 대한 편향 때문인지, 아니면 실제 품질의 차이 때문인지에 대한 모호함을 야기한다. 나아가, "노력 휴리스틱(effort heuristic)"—지각된 노동량으로부터 품질을 추론하는 경향—의 역할과 AI에 대한 사전 태도가 미치는 조절 효과는 통제된 환경에서 콘텐츠가 일정하게 유지될 때 충분히 탐구되지 않았다.

연구 방법론 (Methodology)
저자들은 저자성 라벨의 인과적 효과를 분리하기 위해 순수 귀속 설계(pure attribution design)를 사용한 사전 등록된 피험자 간 실험( $N = 254$ per protocol)을 수행하였다.

자극물: 동일한 프롬프트로부터 단일 AI 시스템(Anthropic의 Claude 3.7 Sonnet)이 생성한 두 개의 약 200단어 분량의 단편 소설 비네트("Firefly Summer" 및 "The Endless Summer").
설계: 3 (귀속 라벨: 인간 작성, AI 작성, 라벨 없음) $\times$ $\times$ 2 (스토리) 설계. 참가자들은 하나의 비네트를 하나의 저자 정보와 함께 무작위로 배정받았다:
- 인간: "저자: J. Taylor, 미국의 단편 소설 작가."
- AI: "저자: Claude, 창의적 글쓰기에 특화된 AI 시스템."
- 라벨 없음: 저자 정보 없음.
측정 도項目:
- 주요 결과 변수: 창의성, 즐거움, 추천 가능성, 독창성에 대한 1–7 리커트 척도 평점.
- 지각된 노력: 스토리를 만드는 데 걸린 시간(분 단위로 변환된 개방형 추정치).
- 조절 변수: AI 친숙도 및 AI에 대한 일반적인 긍정성 단일 항목 측정.
분석: 확인적 분석을 위해 일원 및 이원 분산 분석(ANOVA)을 사용하여 주효과와 상호작용을 테스트하였다. 노력 휴리스틱 관계는 왜도 문제를 해결하기 위해 로그 변환된 시간 추정치( $\ln[\text{minutes} + 1]$ )를 사용하여 피어슨 상관계수와 OLS 회귀 분석을 통해 테스트되었다. 조절 효과는 회귀 상호작용을 통해 분석되었다.

주요 결과 (Key Results)

직접적인 AI 페널티의 부재: 가설 1(H1) 및 H2와 달리, 저자 라벨은 창의성, 즐거움, 추천, 독창성에 대해 신뢰할 만한 주효과를 나타내지 않았다. 효과 크기는 일관되게 작았으며 통계적으로 유의하지 않았다 ( $p > .22$ ). 특히, 라벨 없는 조건이 인간과 AI 조건 사이의 값을 가질 것이라는 예측과 달리 가장 낮은 평균 평가 점수를 기록했다.
지각된 노력에 대한 강력한 효과: 라벨이 평균 품질 평점은 바꾸지 못했지만, 추론된 노력에는 극적인 영향을 미쳤다. 참가자들은 인간 라벨이 붙은 스토리가 생성되는 데 훨씬 더 오래 걸렸다고 추정했다 (기하 평균 $\approx$ 148분), AI 라벨이 붙은 스토리( $\approx$ 6분)에 비해. 라벨 없는 스토리는 약 75분으로 추정되었다.
노력 휴리스틱 검증: 가설 3을 지지하듯, 높은 지각된 생성 시간은 높은 즐거움 평점과 양의 상관관계가 있었다. 이 관계는 모든 조건에서 유지되었으며 특히 AI 라벨 그룹 내에서 두드랐다 ( $r = .37, p = .001$ ). 매개 분석 결과, AI 라벨링이 낮은 지각된 시간을 예측했고, 이것이 다시 낮은 즐거움을 예측했음을 확인했다. 다만 직접 효과는 거의 제로에 가까웠다.
AI 태도에 의한 조절: AI에 대한 사전 태도는 추천 판단을 유의미하게 조절했다. AI에 대해 긍정적인 태도를 가진 참가자들은 AI 라벨이 붙은 스토리를 더 많이 추천하는 경향이 있었던 반면, 부정적인 태도를 가진 이들은 인간 라벨이 붙은 스토리를 선호했다. 이러한 상호작용은 평균적인 무효 효과(null effects)가 서로 상반되는 하위 그룹의 경향이 상쇄된 결과일 수 있음을 시사한다.
조작 점검: 저자 회상력이 완벽하지 않았다. 14.3%의 참가자가 할당된 라벨을 정확히 식별하지 못했으며, 이러한 실패는 인간 라벨 조건에 집중되었다.

의의 및 주장 (Significance and Claims)
본 논문은 단편 소설의 맥락에서, 콘텐츠가 일정하게 유지될 때 명시적인 AI 저자 라벨이 텍스트 자체에 대한 평균적인 평가를 체계적으로 저하시키지는 않는다고 주장한다. "AI 페널티"는 미적 산출물에 대한 직접적인 품질 저하가 아니다.

대신, 본 연구는 라벨이 작동하는 두 가지 메커니즘을 식별한다:

노력 추론: 라벨은 창작에 투입된 노동에 대한 인식을 형성한다. "AI 페널티"는 AI가 최소한의 노력을 필요로 한다는 가정에 의해 매개되어, 미적 산출물을 직접적으로 가치 절하하기보다는 결과적으로 즐거움을 낮추는 것일 수 있다.
태도적 조절: 라벨링의 영향은 독자의 기존 믿음에 따라 달라진다.

저자들은 만약 이 영역에서 AI 페너티가 존재한다면, 그것은 작고 맥락 의존적일 것이라고 결론짓는다. 저자들은 사용된 짧고 희망적인 비네트와 특정 미국 기반 표본이라는 한계를 언급하며, 이것이 작은 페널티인지, 사실상 제로인지, 혹은 명시적 귀속이 잠재적으로 약간의 이득을 주는지 결정하기 위해 더 큰 규모의 재현 연구가 필요함을 시사한다. 본 연구는 공개(disclosure)가 직접적인 페널티를 통해서라기보다, 라벨의 현저성과 그것이 촉발하는 노력 추론을 통해 후속 판단에 영향을 미친다는 점을 강조한다.