기술 요약: 기대, 반발, 회복 및 흥분

문제 정의

대화형 AI 시스템(CAIS)은 정적인 제품이 아닙니다. 이들은 모델 출시, 기능 업데이트, 안전 개입, 접근 정책 변화를 통해 지속적으로 진화합니다. 기존 연구는 설문 조사나 교차적 소셜 미디어 분석과 같은 정적인 스냅샷을 통해 AI에 대한 사용자 인식을 광범위하게 매핑해 왔으나, 이러한 방식은 특정 시스템 개입에 따른 사용자 감정의 역동적인 변화를 포착하지 못합니다. 기존 문헌은 모델의 변화를 순수하게 기술적인 업데이트로 취급하여, 그것이 사용자에게 미치는 사회적 및 관계적 영향을 간과하는 경향이 있습니다. 본 연구는 여러 제공업체를 대상으로 특정 모델 출시 이벤트 전후에 사용자 인식이 어떻게 동적으로 변화하는지에 대한 이해의 격차를 다룹니다.

방법론

저자들은 2022년 10월부터 2025년 12월까지 20개의 서브레딧과 668,063개의 게시물을 대상으로 장기적이고 대규모인 Reddit 토론 분석을 수행했습니다. 방법론은 모델 출시를 '개입 지점'으로 취급하는 "출시 중심 설계(release-centered design)"를 기반으로 구조화되었습니다.

1. 데이터 구축 및 정규화:

• 코퍼스(Corpus): 6개의 주요 제공업체(OpenAI, Anthropic, Google, xAI, Meta, DeepSeek)를 중심으로 20개의 관련 서브레딧(예: r/ChatGPT, r/ClaudeAI, r/grok)에서 제출물을 필터링했습니다.
• 언급 추출: 모델 언급을 <제공업체, 제품군, 세대, 티어>의 4단계 계층 구조로 식리고 정규화하기 위해 분류 체계 기반의 LLM 파이프라인을 개발했습니다. LLM Arena 리더보드에서 유래한 이 분류 체계는 9개 제공업체에 걸쳐 189개의 항목을 매핑했습니다. 추출기는 원문 텍스트를 이 스키마에 매핑하는 데 있어 높은 정밀도(F1 > 0.95)를 달랐습니다.
• 필터링: 속성의 명확한 귀속을 보장하기 위해 "단일 언급" 게시물에 초점을 맞추어 분석을 진행했으며, 그 결과 505,250개의 모델 언급을 포함하는 363,546개의 게시물 데이터셋을 확보했습니다.

2. 인식 측정:

• 감성 분류: 인간이 검증한 LLM 분류기를 사용하여 명시적인 텍스트 증거를 바탕으로 게시물을 긍정, 중립, 부정 카테고리로 할당했습니다. 이 분류기는 인간의 다수 레이블에 대해 0.82의 가중치 F1 점수를 기록했습니다.
• 주제적 개념 유도: LLooM 프레임을 응용하여 코퍼스에서 236개의 해석 가능한 "표준 개념(Canonical Concepts)"(예: "코딩 생산성", "기대 격차", "강제 업그레이드 좌절")을 유도했습니다. 이 개념들은 포함 기준에 따라 게시물과 대조되어 점수가 매겨졌으며, 이를 통해 사전 정의된 분류 체계에 의존하지 않고 주제적 유행을 추적할 수 있었습니다.

3. 개입 분석:

• 윈도우 설계: 각 모델 출시를 기준으로, 제공업체별 출시 간격 통계(DeepSeek의 25일에서 Google의 104일까지 다양)를 바탕으로 대칭적인 출시 전후 윈도우를 정의했습니다.
• 델타(Delta) 계산: 출시 전후 윈도우 사이의 감성 델타(긍정/부정 게시물의 비율 변화)와 개념 델타(개념 유행의 변화)를 계산했습니다. 통계적 유의성은 Benjamini-Hochberg FDR 보정을 적용한 카이제곱 검정과 두 비율 z-검정을 통해 평가되었습니다.

주요 결과

1. 장기적 감성 트렌드:

• OpenAI 및 Google: 두 기업 모두 중립에서 부정적 감성으로의 장기적인 변화를 보였습니다. OpenAI의 경우, 관찰 기간 동안 중립적 감성은 약 19%포인트(pp) 감소한 반면, 부정적 감성은 약 19pp 증가했습니다.
• Anthropic: 긍정적인 추세를 보인 유일한 제공업체로 두드았습니다. 긍정적 감성은 약 20%에서 35%로 상승했고, 부정적 감성은 크게 감소했습니다.
• Meta: 중립에서 긍정으로의 변화를 보였으며, xAI와 DeepSeek는 짧은 관찰 기간 또는 높은 변동성으로 인해 뚜렷한 장기적 방향성을 보이지 않았습니다.

2. 출시별 역학:

• Anthropic (Claude 4): 가장 명확한 긍정적 개입 프로파일(+5.3 pp 긍정, -10.5 pp 부정)을 보여주었습니다. 이는 "Claude Code"의 공개가 모델 역량을 사용자의 워크플로우(코딩/자동화)와 일치시켜, 담론을 일반적인 생산성에서 특정 코딩 생산성으로 전환했기 때문입니다.
• OpenAI (GPT-5): 가장 강력한 부정적 변화(-3.5 pp 긍정, +10.3 pp 부정)를 촉발했습니다. 이 반발은 사용자들이 "개인적 동반자"를 상실했다고 느끼고 워크플로우가 깨지는 경험을 한 "강제 업그레이드 좌절"과 "기능 제거 좌절"로 특징지어졌습니다.
• OpenAI (GPT-5.1): 부분적인 회복을 보였으나, 반발 개념의 규모를 줄였을 뿐 열광을 완전히 복구하지는 못했습니다. 이는 플랫폼 수준의 반란에서 더 좁은 범위의 제품 불만으로의 변화를 나타냅니다.
• DeepSeek R1: 19배의 게시물 볼륨 증가를 동반한 "수요 충격(demand shock)"을 일으켰습니다. 감성은 엇갈렸습니다: 공학적 역량에 대한 높은 찬사("모델 비교 및 평가")와 접근성, 신뢰성, 검열에 대한 심각한 좌절("신뢰성 가용성 좌절")이 공존했습니다.
• xAI (Grok 3): 긍정적 감성과 부정적 감성이 동시에 증가하는 분열된 반응을 낳았습니다. 담론은 모델 성능을 제공자의 정체성(Elon Musk) 및 정치적 의제와 연결하며 고도로 정치화되었습니다.
• OpenAI (GPT-4o): 거대한 "기대 격차"(+19.4 pp)가 특징적이었습니다. 사용자들은 "옴니(omni)" 데모 기능(실시간 음성, 비디오)과 출시 시점에 사용 가능한 제한된 기능 사이의 괴리에 반응했으며, 이는 모델 품질보다는 접근 제약에 의한 혼합된 감성을 유발했습니다.

의의 및 주장

본 논문은 모델 출시가 단순한 기술적 업데이트가 아니라, 공적 담론, 감성, 그리고 기대를 재형성하는 "사용자 대상 개입"이라고 주장합니다. 본 연구는 다음을 입증합니다:

1. 인식은 역동적이다: 정적인 스냅샷은 불충 sufficient하지 않습니다. 사용자의 신뢰와 감성은 특정 개입 유형(예: 강제 업그레이드 vs. 새로운 기능 가용성)에 매우 민감합니다.
2. 제공업체의 정체성이 중요하다: 출시의 수용도는 제공업체의 브랜드, 정치적 입장, 그리고 사용자와의 관계(예: GPT-4o에 대한 "관계적 애착" vs. DeepSeek에 대한 "공학적 경외")에 의해 깊이 영향을 받습니다.
3. 제품-모델 적합성이 핵심이다: 성공적인 출시(Claude 4와 같은)는 기술적 역량을 명확한 사용자 워크플로우와 일치시키지만, 실패는 주로 미스매치된 기대(GPT-4o)나 확립된 사용자 습관을 방해하는 강제적 변화(GPT-5)에서 비롯됩니다.

저자들은 제공업체가 출시를 중대한 사회-기술적 사건으로 취급해야 하며, 역량 발표를 실제 접근성과 일치시키고, 모델 전환기 동안 연속성을 유지하며, 수용을 일회성 사건이 아닌 시간에 따른 사용자 반응으로 모니터링해야 한다고 결론짓습니다.

한계점

본 연구는 다음과 같은 몇 가지 한계를 인정합니다:

• 데이터 소스: 분석이 텍-기반 Reddit 게시물에 국한되어 있어 멀티미디어 콘텐츠를 제외하며, 잠재적으로 기술적으로 몰입된 초기 수용자들을 과잉 대표할 수 있습니다.
• AI 생성 콘텐츠: 데이터셋에 AI가 생성하거나 보조한 게시물이 포함될 수 있으며, 이를 필터링하기 어렵습니다.
• 방법론적 제약: 추출 및 분류를 위한 LLM 사용은 잠재적인 오류를 도입할 수 있으며, 배치 기반의 개념 유도는 중복을 초래할 수 있습니다.
• 윈도우 민감도: 견고성 검사가 안정성을 보여주지만, 대칭 윈도우의 선택은 즉각적이고 단기적인 반응을 완화(smoothing)할 수 있습니다.