기술 요약: Nonslop: 인간-AI 협업 글쓰기에 관한 게임화된 실험

문제 정의

대규모 언어 모델(LLM)이 일상적인 글쓰기 도구에 급격히 통합됨에 따라 인간의 창의성, 개별적 표현, 그리고 "목소리(voice)"의 침식에 대한 중대한 의문이 제기되고 있습니다. 기존 연구는 주로 생산성 향상이나 대규모 플랫폼 로그에 초점을 맞추는 경우가 많으나, 사용자가 AI 제안을 수락하거나 거부할 때 내리는 순간적인 결정에 대한 세밀한 이해는 부족한 실정입니다. 또한, 대부분의 기존 연구는 마찰을 최소화하고 AI 채택을 장려하도록 설계된 환경에서 수행되므로, 사용자의 진정한 선호도나 사용자가 AI의 도움을 거부하는 조건을 관찰하기 어렵습니다. 본 논문은 AI 제안이 존재하지만 명시적으로 권장되지 않는 상황에서 사용자가 어떻게 창의적 자율성을 협상하는지에 대한 간극을 다룹니다.

방법론

저자들은 인간의 개성을 학습하려는 AI를 시뮬레이션하기 위해 디스토피아적 미래를 설정한 웹 기반 게임화 실험인 Nonslop을 개발했습니다. 이 시스템은 AI 생성 제안을 수락할 때 페널티를 부여함으로써 표준적인 "도움이 되는 어시스턴트" 디자인 패턴을 역전시킵니다.

시스템 아키텍처

• 프런트엔드 및 추론: Phaser 3 JavaScript 프레임워크를 사용하여 구축되었습니다. Web-LLM 라이브러리를 통해 로컬의 양자화된 Qwen 2.5 0.5B Instruct 모델을 활용하여 사용자가 타이핑함에 따라 실시간으로 다음 단어 제안을 생성합니다.
• 제안 로직: 모델은 공백(whitespace) 발생 시 상위 5개의 제안을 제공합니다. 이 제안들은 일반적인 기능어(예: "the", "a")에 대해 페널티를 주지 않도록 NLTK 불용어(stopword) 리스트를 기준으로 필터링됩니다.
• 게임 메커니즘:
  • 레벨: 프롬프트 복잡도에 따른 세 가지 난이도 레벨(예: 하늘 묘사하기 vs. 새로운 공휴일 정당화하기).
  • 모드: 두 가지 모드가 테스트되었습니다: "Easy"(제안 사용 시 시각적 페널티 부여)와 "Hard"(제안된 단어 사용을 완전히 차단). 데이터의 유사성과 작은 표본 크기로 인해 두 모드의 데이터는 통합되었습니다.
  • 점수 산정: 제출 시, 두 번째 LLM(OpenAI의 gpt-4o-mini-2024-07-18)이 관련성, 문법, 일관성을 평가합니다(각 카테고리당 0~5점). 다음 단계로 넘어가기 위해서는 총점 15점 만점에 10점이 필요합니다.
• 데이터 수집: OS, 브라우저, 제출 내용, 타임스탬프 및 사용자가 AI 제안 단어를 입력하려고 시도한 특정 사례("위반(transgressions)")를 포함한 익명화된 데이터를 Firebase를 통해 수집했습니다.

참가자 및 데이터

• 표본: 74명의 고유 참가자가 303회의 초기 시도 중 214회의 유효한 제출을 생성했습니다.
• 제외 기준: 기술적 제약(WebGPU 지원 부족, 브라우저 개인정보 설정 또는 모바일 OS 호환성 문제)으로 인해 약 53%의 사용자가 게임을 로드하지 못했으며, 결과적으로 데스크톱 사용자 및 호환 가능한 하드웨어 사용자 위주로 편향된 표본이 구성되었습니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 경량 프레임워크: AI 채택이 억제되는 조건 하에서 인간-AI 글쓰기 상호작용을 연구하기 위한 새로운 게임화된 방법을 도입하여, 일반적인 생산성 도구에서는 가려지기 쉬운 미세한 결정들을 관찰할 수 있게 합니다.
2. 사용 억제 분석: AI 제안이 존재하지만 명시적인 페널티가 따를 때 사용자가 어떻게 행동하는지에 대한 데이터 기반 분석을 제공하며, 이를 통해 기본 "마찰 없는(frictionless)" 채택 방식과는 다른 전략을 밝혀냅니다.
3. 과업 유형 간 상관관계: 프롬프트 유형(과업 특성)과 사용자 행동 패턴이 AI 채택 가능성에 미치는 영향에 대한 경험적 관찰을 제공합니다.

결과 및 분석

사용자 행동 클러스터링

응답 수, 총 AI 채택 시도 횟수, 평균 응답 길이를 바탕으로 k-평균(k-means) 클러스터링을 사용하여 세 가지 뚜-형(archetype)을 식별했습니다:

• 미니멀리스트 (Minimalists, 72%): 매우 낮은 AI 채택 시도와 함께 짧은 응답(~9단어)을 제출했습니다. 이들은 빠른 완료와 페널티 회피를 우선시했습니다.
• 선택적 채택자 (Selective Adopters, 16%): 더 긴 응답(~41단어)을 제출하며, 표현력과 선택적 도움 사이의 균형을 맞추기 위해 가끔 AI 제안을 사용하려고 시도했습니다.
• 능동적 채택자 (Active Adopters, 11%): 가장 많은 응답(사용자당 7개)을 제출했으며, AI 채택 시도 횟수(사용자당 6회)가 가장 높았습니다. 이들은 게임을 실험의 공간으로 취급했습니다.

프롬프트 수준의 차이

분석 결과, 프롬프트 유형과 AI 제안 사용 시도 가능성 사이에 유의미한 상관관계가 있음이 드러났습니다:

• 설명적 프롬프트 (Explanatory Prompts): 가장 높은 AI 채택 위반율(제출당 0.791회 시도)을 보였습니다. 사용자는 과업이 정당화, 정확성 또는 일반 지식을 요구할 때 AI 제안을 수락할 가능성이 높았습니다.
• 창의적 및 관찰적 프롬프트 (Creative and Observational Prompts): 가장 낮은 비율(각각 0.118 및 0.163)을 보였습니다. 상상력이나 즉각적인 지각에 의존하는 과업의 경우, 사용자는 AI 제안을 거의 활용하지 않았습니다.
• 프롬프트 인기: 프롬프트가 받은 제출 횟수와 AI 채택률 사이에는 약한 음의 상관관계($r = -0.261$)가 있었습니다. 이는 사용자가 더 몰입하거나 개인적으로 공감하는 프롬프트일수록 AI와의 충돌이 적었음을 시사합니다.

설문 조사 통찰

7명의 참가자를 대상으로 한 사후 플레이테스트 설문조사 결과, 사용자들은 표준 글쓰기 도구(맞춤법 검사, 자동 완성)에는 익숙했으나, AI와 유사한 글쓰기를 피하기 위해 설계된 도구에는 덜 익숙한 것으로 나타났습니다. 참가자들은 일반적으로 AI를 주요 실행자가 아닌 보조자로 간주했으며, 게임의 제한을 피하기 위해 유의어 교체나 구조적 변경과 같은 전략을 사용했습니다.

의의 및 주장

본 논문은 **AI 제안 사용은 상황에 따른 선택(situated choice)**이며, 이는 불가피한 기본값이 아니라 과업 프레이밍과 인센티브에 크게 영향을 받는다는 것을 성공적으로 입증했다고 주장합니다.

• 규범의 역전: AI가 상업적 도구에서 널리 채택되는 것은 내재적인 사용자 선호도보다는 인터페이스 디자인이 수락을 정상화하고 보상하기 때문임을 시사합니다. "마찰 없는" 경로가 차단되거나 페널티를 받을 때, 사용자는 특히 창의적이거나 표현적인 과업에서 AI의 도움을 포기할 용의가 있습니다.
• 연구 렌즈: 게임화된 접근 방식은 표준 생산성 환경에서는 분리하기 어려운 AI 채택에 관한 "미세 결정(micro-decisions)"을 끌어내는 유효한 도구 역할을 합니다. 이는 사용자가 "외부적으로 정답이 존재하는" 과업(예: 설명적 과업)을 인지할 때는 AI에 의존할 가능성이 높은 반면, 개인적이거나 창의적인 과업에서는 개별적인 목소리를 유지하도록 유도한다는 점을 강조합니다.
• 한계: 저자들은 작은 표본 크기, 짧은 글쓰기 과업, 모바일 및 제한된 네트워크 사용자의 기술적 제외 등을 언급하며 연구 결과의 일반화 가능성에 대해 신중한 태도를 유지합니다. 다만, 결과가 장기적인 창의적 습관에 대한 확정적 증거라기보다는 행동 전략을 보여주는 지표라고 보고 있습니다.

결론적으로, 본 논문은 AI 보조 글쓰기 시스템에 "선택적 마찰(optional friction)"이나 투명성을 도입함으로써 사용자가 편의성과 창의적 자율성 사이의 균형을 더욱 의도적으로 협상할 수 있게 할 수 있다고 주장합니다.