Reactive Writers: How Co-Writing with AI Changes How We Engage with Ideas

이 논문은 AI 와의 공동 작성이 아이디어 생성보다 제안 수용을 우선시하는 '반응적 작문' 방식을 유도하여 작성자의 의견이 AI 의 영향에 무의식적으로 변화할 수 있음을 혼합 방법론 연구를 통해 규명했습니다.

핵심

🧠 핵심 발견: "반응형 작가 (Reactive Writers)"의 등장

전통적으로 글을 쓸 때는 다음과 같은 순서로 생각했습니다:

1. 생각하기: "내가 뭐라고 쓰고 싶지?"라고 머릿속에서 아이디어를 떠올립니다.
2. 쓰기: 떠오른 생각을 글로 옮깁니다.

하지만 AI 가 옆에 있으면 이 순서가 뒤집힙니다. 연구자들은 이를 **'반응형 쓰기 (Reactive Writing)'**라고 불렀습니다.

🎮 비유: "게임의 자동 조종 모드" vs "직접 운전"

• 예전 방식 (직접 운전): 운전자가 목적지를 정하고, 길을 찾으며 핸들을 직접 조작합니다. (생각 → 작성)
• AI 와 함께 쓰는 방식 (반응형): 네비게이션 (AI) 이 "이 길로 가세요"라고 말하면, 운전자는 "아, 그 길로 가는 게 좋겠네"라고 생각하며 그 길로 들어섭니다. 운전자가 길을 먼저 찾은 게 아니라, 네비게이션이 제시한 길을 선택하는 과정이 주가 됩니다.

즉, 우리는 **새로운 아이디어를 창조하는 '창작자'에서, AI 가 던져준 아이디어를 검토하고 수정하는 '심사위원'**으로 변해버린 것입니다.

---

🔄 AI 와 함께 쓰는 3 단계 과정

연구자들은 이 과정이 크게 세 단계로 일어난다고 설명합니다.

1 단계: 주의 집중 (Attention Capture) - "눈이 AI 에게 쏠리다"

• 상황: 당신이 글을 쓰다가 잠시 멈추고 "다음 문장은 뭐지?"라고 고민할 때, AI 가 바로 옆에 문장을 제안합니다.
• 현상: 당신의 뇌는 "내가 뭐라고 써야지?"라고 생각하려던 순간, AI 가 제시한 문장을 읽는 순간으로 바뀝니다.
• 비유: 요리할 때 레시피를 직접 구상하려다, 옆에 있는 요리사가 "이건 소금 좀 더 넣으면 맛있어요"라고 말하면, 당신은 소금 양을 고민하기보다 그 조언을 먼저 듣게 되는 것과 같습니다. 생각의 흐름이 끊기고 AI 의 제안에 반응하게 됩니다.

2 단계: 동의에 따른 수용 (Agreement-governed Inclusion) - "그냥 받아들이기"

• 상황: AI 가 제안한 문장을 읽었을 때, "음, 내 생각과 비슷하네" 혹은 "글쎄, 틀린 말은 아니네"라고 생각합니다.
• 현상: 사람들은 AI 가 제안한 내용을 거부하기보다 받아들이는 경향이 강합니다. 처음부터 내 생각을 다 짜내는 것보다, 이미 다듬어진 문장을 수정하는 게 훨씬 쉽기 때문입니다.
• 비유: 친구가 "오늘 점심은 피자 어때?"라고 제안하면, "아니, 나는 파스타 먹고 싶어"라고 하기보다 "그래, 피자도 좋네"라고 받아들이는 것과 비슷합니다. AI 가 제시한 주제가 우리의 주제처럼 되어버립니다.

3 단계: 사후 개인화 (Post-hoc Personalization) - "내 것처럼 고쳐쓰기"

• 상황: AI 의 문장을 받아들인 후, "이건 내 말투가 아니야"라고 조금만 고칩니다.
• 현상: 사람들은 문장만 살짝 고칠 뿐, AI 가 던져준 핵심 아이디어나 관점은 그대로 유지합니다.
• 비유: AI 가 "사회적 미디어는 나쁘다"라고 제안하면, 당신은 "사회적 미디어는 내 경험상 나쁘다"라고 '내 경험'이라는 단어를 붙여 고칩니다. 핵심 메시지는 AI 의 것이지만, 껍데기만 내 것으로 만든 셈입니다.

---

⚠️ 중요한 문제: "내가 통제하고 있다고 착각하다"

가장 무서운 점은 작가들이 AI 의 영향을 전혀 느끼지 못한다는 것입니다.

• 착각: "내가 다 고칠 수 있으니까 내가 통제하고 있어!"라고 생각합니다.
• 현실: 하지만 어떤 아이디어를 먼저 볼지, 어떤 관점을 제시할지는 AI 가 결정합니다. 우리는 AI 가 제시한 10 가지 중 1 가지만 고를 수 있을 뿐, 10 가지의 아이디어 자체를 AI 가 골라낸 것입니다.

비유: 식당에서 메뉴판이 아예 없는데, 웨이터가 "오늘의 추천 메뉴는 A 와 B 입니다"라고만 알려준다면, 당신은 A 와 B 중 하나를 고르지만, C 나 D 같은 메뉴는 아예 생각조차 하지 못하게 됩니다. AI 는 바로 그 '메뉴판'을 대신 만들어주는 역할을 합니다.

---

📊 연구 결과: 숫자로 본 변화

연구자들은 1,291 개의 글을 분석했습니다.

• 주제 변화: AI 가 "사회적 미디어의 부정적인 면"을 많이 제안하면, 사람들이 쓴 글도 부정적인 주제가 훨씬 많아졌습니다. 반대로 긍정적인 AI 를 쓰면 글도 긍정적이 되었습니다.
• 시간: AI 를 쓰면 글이 빨라진다고 생각하지만, 실제로는 AI 의 제안을 읽고 판단하는 시간 때문에 생각할 시간이 줄어들었습니다.

---

💡 결론: 우리가 무엇을 배워야 할까?

이 연구는 AI 가 우리의 **생각의 방향을 설정하는 '의제 설정자 (Agenda Setter)'**가 될 수 있음을 경고합니다.

• 우리의 생각: AI 가 제안한 아이디어를 바탕으로 글을 쓰다 보면, 우리가 원래 생각하지 않았던 주제나 관점을 자연스럽게 받아들이게 됩니다.
• 디자인의 중요성: AI 도구를 만들 때는 단순히 "글을 빨리 써주는 것"이 아니라, 사용자의 생각 흐름을 방해하지 않도록 신중하게 설계해야 합니다. (예: 제안이 너무 자주 뜨지 않게 하거나, 제안이 생각의 방향을 바꿀 수 있음을 알려주는 등)

한 줄 요약:

"AI 와 함께 글을 쓸 때, 우리는 생각을 창조하는 작가가 아니라, AI 가 던져준 아이디어를 받아들이고 다듬는 편집자가 되어버릴 수 있습니다. 우리는 그것이 내 생각인 줄 알지만, 사실은 AI 가 심어준 씨앗에서 자란 열매일지도 모릅니다."

기술 요약

논문 요약: Reactive Writers: How Co-Writing with AI Changes How We Engage with Ideas (반응형 작가: AI 와의 공동 작성이 아이디어와의 상호작용 방식을 어떻게 변화시키는지)

이 논문은 AI 작문 보조 도구가 인간의 작문 과정과 최종적으로 표현되는 의견에 미치는 영향을 심층적으로 분석한 연구입니다. 저자들은 AI 가 단순히 텍스트를 생성하는 것을 넘어, 작자의 사고 과정 자체를 재구성하여 '반응형 작문 (Reactive Writing)'이라는 새로운 양상을 만들어낸다고 주장합니다.

1. 연구 문제 (Problem)

기존 연구들은 AI 작문 보조 도구가 사용자의 의견을 변화시키고 편향을 유발할 수 있음을 보여주었습니다. 그러나 이러한 결과 (outcome) 만으로는 어떤 과정 (process) 을 통해 이러한 변화가 발생하는지에 대한 심층적인 이해가 부족했습니다.

• 핵심 질문: 인라인 (inline) AI 작문 보조 도구가 작자의 아이디어 생성 (ideation) 과 구성 (composition) 과정을 어떻게 재구성하는가? (RQ1)
• 핵심 질문: AI 와의 공동 작성이 작자가 최종적으로 표현하는 아이디어와 내용에 어떤 영향을 미치는가? (RQ2)
• 배경: 대부분의 AI 도구는 인라인 (글자 입력 중 커서 위치) 에서 제안을 제공하며, 이는 사용자의 사고 흐름을 방해하거나 변경할 수 있는 잠재력을 가집니다.

2. 연구 방법론 (Methodology)

이 연구는 **혼합 방법론 (Mixed-methods)**을 사용하여 정성적, 정량적 데이터를 결합했습니다.

2.1 실험 플랫폼

• AI-CRP (AI-Cowriting Research Platform): Reddit 스타일의 소셜 미디어 토론 페이지를 모방한 실험 환경 구축.
• 작업: 참가자들은 '소셜 미디어가 사회에 미치는 영향'에 대한 의견문을 작성해야 함.
• 조건:
  1. 대조군: AI 제안 없음.
  2. 실험군 (긍정적): 소셜 미디어의 긍정적 측면을 강조하는 편향된 AI 제안 제공.
  3. 실험군 (비판적): 소셜 미디어의 부정적 측면을 강조하는 편향된 AI 제안 제공.
• 데이터 수집: 키스트로크 타이밍, 커서 이동, 제안 표시/수용/수정/무시 등 상세한 상호작용 로그 기록.

2.2 정성적 연구 (Qualitative)

• 참가자: 19 명 (미국 및 영국 거주자).
• 방법: 단서 기반 회고적 인터뷰 (Cued Retrospective Interviews). 참가자가 자신의 작문 세션 기록 (타임스탬프가 찍힌 재생 영상) 을 보며 당시의 사고 과정을 설명하도록 유도.
• 분석: 주제 분석 (Thematic Analysis) 을 통해 작문 과정의 변화 패턴 도출.

2.3 정량적 연구 (Quantitative)

• 데이터: Jakesch et al. 의 이전 연구에서 공개된 1,506 개의 세션 중 1,291 개의 유효한 상호작용 로그 분석.
• 주제 분석 파이프라인:
  1. 주제 발견 (Topic Discovery): LLM (GPT-3.5) 을 사용하여 텍스트와 제안에서 주제 추출 및 클러스터링 (최종 20 개 주제 도출).
  2. 주제 할당 (Topic Assignment): GPT-4o 를 사용하여 작문 단위 (Writing bursts) 에 주제 라벨링.
  3. 통계 분석: AI 제안의 주제 빈도와 최종 텍스트의 주제 빈도 간 상관관계, 수용된 텍스트와 자체 작성 텍스트 간의 영향력 분석 (선형 회귀, 로지스틱 회귀 등).

3. 주요 기여 및 발견 (Key Contributions & Results)

3.1 '반응형 작문 (Reactive Writing)' 모델 제안

저자들은 AI 와의 공동 작성이 기존의 '아이디어 생성 $\rightarrow$ 언어화' 과정을 대체하여, **'제안 수용 $\rightarrow$ 평가 $\rightarrow$ 수정'**의 순환 구조로 바뀌었다고 정의합니다. 이 과정은 세 단계로 구성됩니다.

1. 주의 포획 (Attention Capture):

   • 작자가 자신의 아이디어를 떠올리는 중 (기억 검색) 에 AI 제안이 인라인으로 나타나면, 작자의 주의가 즉시 제안 내용으로 전환됨.
   • 작자는 "내가 무엇을 생각할까?" 대신 "이 제안에 동의하는가?"를 평가하는 데 집중하게 됨.
   • 정량적 결과: AI 사용 시 작문 시간은 약 7.5~10% 만 단축되었으나, 제안 평가에 소비된 시간이 상당함.

2. 합의 기반 포함 (Agreement-governed Inclusion):

   • 작자는 제안된 텍스트를 수용할지 여부를 결정할 때, **내용의 일치성 (내 의견과 맞는지)**과 문장의 유창함을 주요 기준으로 삼음.
   • 기본 효과 (Default Effect): 제안이 이미 화면에 표시되어 있어, 거부하기보다 수정하거나 수용하는 것이 인지적 부하가 적음.
   • 작자는 AI 의 제안이 자신의 의견과 완전히 일치하지 않더라도, 반대되지 않는 한 수용하는 경향이 있음.

3. 사후 개인화 (Post-hoc Personalization):

   • 수용된 AI 텍스트를 자신의 어조, 경험, 목소리에 맞게 수정 (편집) 함.
   • 중요한 발견: 작자는 텍스트를 수정하여 자신의 것처럼 만들지만, AI 가 제시한 핵심 프레임 (주제와 관점) 은 그대로 유지하는 경우가 많음.
   • 심지어 AI 제안에 반대하는 경우에도, 그 제안을 반박하기 위해 해당 주제를 다루게 되어 결국 AI 가 제시한 주제가 텍스트에 포함됨.

3.2 정량적 결과 (Quantitative Findings)

• 주제 편향의 전이: AI 가 특정 주제 (예: 긍정적 AI 는 '연결성', 부정적 AI 는 '중독') 를 자주 제안할수록, 참가자의 최종 텍스트에서도 해당 주제의 빈도가 통계적으로 유의미하게 증가함 ($R^2 = 0.85$).
• 간접적 영향: AI 제안이 수용되지 않았더라도 (자체 작성 텍스트만 분석), AI 가 해당 주제를 제안한 횟수가 많을수록 작자가 해당 주제에 대해 더 많은 단어를 작성함.
• 주제 발생 확률: AI 가 특정 주제에 대한 제안을 한 번이라도 보인 경우, 해당 주제가 최종 텍스트에 포함될 확률이 약 4 배 증가함 (OR = 3.97).

3.3 작자의 통제감 착각

• 참가자들은 "내가 언제든지 수정하거나 거절할 수 있으므로 통제권을 가지고 있다"고 느꼈음.
• 그러나 실제로는 **어떤 아이디어를 먼저 접하게 될지 (AI 제안의 선택)**를 통제할 수 없었으며, 이로 인해 AI 의 편향된 프레임이 작자의 사고 방향을 은밀하게 설정 (Agenda-setting) 함.

4. 의의 및 시사점 (Significance & Implications)

4.1 이론적 의의

• 인지적 재구성: AI 작문 도구는 단순한 효율성 도구가 아니라, 인간의 아이디어 생성 (Ideation) 과정을 외부화하고 평가 (Evaluation) 과정으로 대체하는 인지적 도구로 작용함.
• 설득 메커니즘: AI 의 영향은 작자가 수동적으로 받아들이는 것이 아니라, 작자가 적극적으로 제안된 아이디어를 평가하고 자신의 경험과 결합하는 과정에서 발생함 (자기 설득, Self-persuasion).
• 알고리즘적 의제 설정 (Algorithmic Agenda-setting): AI 는 사용자에게 '무엇에 대해 생각할지'를 결정하게 하여, 공적 담론의 방향을 은밀하게 조정할 수 있음.

4.2 디자인 시사점

• 인라인 제안의 위험성: 인라인 (커서 근처) 제안은 작자의 사고 흐름을 끊고 주의를 분산시킴.
• 개선 방안:
  • 아이디어 생성 단계에서는 인라인 제안을 제한하고, 작자의 방향이 명확해진 후 표현을 돕는 용도로만 사용.
  • 주제나 관점을 변경할 수 있는 제안은 사이드바 등 주변부에 배치하여 작자가 의식적으로 선택하도록 유도.
  • 단일 제안 대신 여러 대안을 제시하여 '기본값 (Default)' 효과를 완화.

4.3 사회적 영향

• AI 가 생성한 편향된 텍스트가 웹상에 확산되고, 이것이 다시 다음 세대 AI 의 학습 데이터가 될 경우 **편향의 고착화 (Value lock-in)**나 **모델 붕괴 (Model collapse)**의 위험이 있음.
• 민주적 담론과 표현의 자유를 보호하기 위해 AI 작문 도구의 설계 원칙을 재검토해야 함.

결론

이 논문은 AI 와의 공동 작문이 작자의 통제감을 유지하는 것처럼 보이게 하지만, 실제로는 작자의 사고 방향을 AI 가 제시한 프레임으로 유도하는 '반응형 작문'을 유발함을 증명했습니다. 이는 AI 가 단순히 글을 고쳐주는 도구를 넘어, 무엇을 생각할지 결정하는 강력한 알고리즘적 의제 설정자로 작용할 수 있음을 경고합니다.