기술 요약: r/ChatGPT의 3년: 소셜 미디어 데이터를 통한 사회적 영향 평가

문제 정의

2022년 11월 출시 이후 ChatGPT를 필두로 한 소비자용 AI 제품의 급격한 도입은 이들이 미치는 사회적 영향에 대한 이해를 앞질러 가고 있다. 교육이나 노동과 같은 특정 영역의 평가는 사전 지정된 지표를 제공하지만, 사용자 수가 10억 명에 육박하는 기술은 전통적인 실험적 방법으로는 예측하거나 측정하기 어려운 예측 불가능한 효과를 필연적으로 생성한다. 더욱이 대규모 언어 모델(LLM)에 대한 신뢰할 수 있는 사용 데이터는 부족한 실정이며, 이는 종종 정서적 및 심리적 차원을 포함한 사용자 경험의 전체 규모를 포착하지 못할 수 있는 독점적인 산업 보고서에 국한되어 있다.

저자들은 소셜 미디어가 사용자의 인식과 우선순위를 반영하는 자연적이고 고용량의 데이터 소스를 제공한다고 주장한다. 그러나 이 데이터를 분석하는 데는 어려움이 따른다. 즉, 사전 레이블 없이 관련 개념을 식별하고, 단기적인 "버스티(bursty)" 트렌드와 장기적인 구조적 채택 변화를 구분하며, 사회적 영향이 공적 담론에 진입하기 전에 실시간으로 탐지하는 문제가 있다.

방법론

데이터 수집 및 전처리

본 연구는 2022년 12월 1일부터 2025년 11월 30일까지 수집된 r/ChatGPT 서브레딧의 137,154개 포스트로 구성된 종단적 데이터셋을 활용한다. 이 데이터셋에는 89,346명의 고유 사용자가 포함되어 있다. 삭제된 콘텐츠, 중재자 포스트, 스팸(글자 수 10개 미만 또는 댓글 2개 미만)은 제외하도록 필터링되었다. 레딧 인구 통계의 비대표성(젊고, 남성 중심이며, 교육 수준이 높은 편)을 고려하여, 저자들은 이 데이터를 모든 사용자의 센서스(전수 조사)가 아닌 사용자 피드백의 대리물(proxy)로 취급한다.

희소 오토인코더(SAEs)를 통한 특징 추출(Featurization)

본 연구의 핵심 방법론은 구조화되지 않은 텍스트에서 인간이 해석 가능한 개념을 추출하기 위해 설계된 비지도 학습 기반의 특징 추출 파이프라인이다:

1. 임베딩(Embedding): 포스트 제목과 본문을 결합하여 OpenAI의 text-embedding-3 모델을 사용하여 임베딩한다.
2. SAE 학습: 희소 오토인코더(SAE)를 표준 재구성 손실(reconstruction loss)과 함께 학습시켜 고차원 임베딩을 저차원의 희소 특징 공간으로 매핑한다. 저자들은 각 포스트가 최대 4개의 특징과 연관될 수 있도록 하는 top-K SAE ($K=4$, 총 특징 수 $M=128$)를 사용한다.
3. 해석: gpt-4.1-mini를 활용한 프롬프팅을 통해 특징을 해석한다(Movva et al., 2025 방식 적용). 각 특징에 대해 세 가지 후보 레이블이 생성되며, 샘да의 이진 레이블링을 기준으로 가장 높은 F1 점수를 기록한 레이블이 선택된다.
4. 필터링: 일반적인 특징(예: 텍스트 시작 부분의 "ChatGPT"), 저빈도 특징, 그리고 이미지/비디오 생성 또는 특정 제품 출시와 관련된 특징들을 제거하여 분석을 위한 86개의 특징을 남긴다.

회고적 분석 프레임워크

저자들은 특징 빈도의 시간적 궤적($C^{(i)}(X_t)$)을 분석하여 두 가지 유형의 영향을 식별한다:

1. 이벤트 반응성(Event Reactivity): 단절적 시계열(Interrupted Time Series, ITS) 분석을 사용하여, 특징 전사(transcripts)를 알려진 외부 이벤트(예: GPT-4o와 같은 모델 출시)에 제약된 조각별 선형 함수(piecewise-linear functions)로 모델링한다. 저자들은 Poisson NLL을 사용하여 모델을 적합시키고, 부트스트래핑(100회 리샘플링)을 통해 안정성을 검증하며, 50% 이상의 샘플에서 나타나는 변화점(changepoint)을 선택한다.
2. 장기 트렌드: OLS 기울기 테스트를 Newey-West HAC 오차와 함께 적용하여, 특정 이벤트와 독립적으로 변화하는 사용자 우선순위의 변화를 나타내는 전체 기간 동안의 비제로(non-zero) 기울기를 탐지한다.
3. 특징 클러스터링: 관련 개념을 그룹화하기 위해 공통 발생(co-occurrence) 및 궤적 유사성(Pearson 상관계수)을 계산하여 특징들을 "패밀리(families)"로 클러스터링한다.

실시간 모니터링: PuLSE

조기 탐지 문제를 해결하기 위해 저자들은 **PuLSE (Public and Longitudinal Signals for Evaluation)**를 제안한다. 이는 다음과 같은 온라인 모니터링 알고리즘이다:

• 현재의 특징 추출 결과인 $\hat{C}_{curr}$와 "관심 특징" 집합 $S_t$를 유지한다.
• 다음 사항을 모니터링하기 위해 언제나 유효한 순차적 가설 검정(anytime-valid sequential hypothesis tests)(e-value 및 베팅 전략 기반)을 사용한다:
  • 정확도 저하: 새로운 데이터에 대한 $\hat{C}_{curr}$의 재구성 오차가 훈련 오차 대비 임계값 $\beta$를 초과하는지 테스트한다. 만약 기각될 경우, 시스템은 "기각 및 재학습" 이벤트를 트리거하여 누적된 전체 데이터로 특징 추출을 다시 계산한다.
  • 특징 성장: 특정 특징의 활성화가 역사적 기준치보다 유의미하게 증가하는지 테스트한다.
• 동적으로 업데이트되는 모니터링 특징 집합에 대해서도 거짓 발견율(FDR) 및 가족 단위 오류율(FWER)에 대한 공식적인 보증을 제공한다.

주요 결과

1. ChatGPT의 "가정화(Domestication)"

회고적 분석은 명확한 정상화(normalization) 트렌드를 보여준다. 3년의 기간 동안:

• 기본 사용 감소: 로그인 문제, "사용 방법" 질문, 기본 접속 문제에 관한 포스트가 크게 감소했다.
• 고급 사용 증가: 채팅 기록 정리, 메모 기능, 데이터 프라이버시에 관한 논의가 증가했다.
• 기대치의 변화: 사용자 질의가 개방형 "사용법" 질문에서 "예상대로 작동하지 않음"에 대한 구체적인 불만으로 이동했으며, 이는 새로움에서 공고해진 기대치로의 전환을 나타낸다.
• 일상화(Routinization): 도구가 표준 워크플로우에 통합됨에 따라 애플리케이션 특정 포스트(예: 프로그래밍, D&D)는 감소하였고, 논의는 전문화된 서브레딧으로 이동했다.

2. 정서적 참여의 출현

GPT-4o 출시(2024년 5월 13일) 직후 나타난 정서적 참여의 극적인 증가는 주목할 만한 발견이다. 두 가지 뚜렷하고 연관된 특징 패밀리가 등장했다:

• 테라피/정신 건강: 정서적 지원, 트라우마, 불안, 치료를 위해 ChatGPT를 사용하는 것을 논의하는 포스트들.
• 동료애/애착: 정서적 유대, AI에게 이름 붙이기, 로맨틱한 관계, 그리고 모델에 지능이나 인격이 있다고 부여하는 것을 설명하는 포스트들.
• 시간적 상관관계: 두 패밀리 모두 GPT-4o 출시일에 안정적인 변화점을 보였다. 2024년 이전에도 적은 수로 존재했으나, 출시 후 빈도가 3배에서 5배까지 증가했다.
• 차별성: 공통 발생에도 불구하고, "테라피"와 "동료애"는 의미론적으로 구별된다. 테라피 포스트는 "도움", "트라우마", "정신 건강"에 집중하는 반면, 동료 포스트는 "성격", "친구", "느낌"에 집중한다.
• 불만에 미치는 영향: GPT-5 출시(2025년 8월) 동안, 정서적 참여는 부정적 감정의 주요 동인이었다. 산업 보고서가 정서적 사용이 전체 메시지의 약 1.9%에 불과하다고 제안함에도 불구하고, GPT-5에 대한 불만 포스트의 약 **30.5%**는 정서적 참여(예: 대화 내용의 상실이나 "친구"를 잃은 것에 대한 슬픔)와 관련이 있었다.

3. PuLSE를 통한 실시간 탐지

PuLSE 프레임워크는 조기 탐지의 잠재력을 성공적으로 입증했다:

• 조기 경보: 시스템은 2024년 10월 29일만큼 일찍 "테라피 관련" 특징의 통계적으로 유의미한 증가를 포착했다.
• 비교: 이 탐지는 OpenAI가 자사 제품의 심리적 영향을 공개적으로 인정하기(예: 2025년 8월 블로그 포스트 또는 2025년 9월 워킹 페이퍼) 몇 달 전에 이루어졌다.
• 의존성: 경보 타이밍은 밑바탕이 되는 특징 추출의 품질(SAE 표현)에 크게 의존했다. 초기 표현($\hat{C}_0$)은 후기 테라피 포스트의 뉘앙스를 포착하지 못해 탐지를 지연시킨 반면, 업데이트된 표현($\hat{C}_2$)은 더 빠른 경보를 가능하게 했다.

의의 및 주장

저자들은 이 연구를 AI 평가의 새로운 패러다임을 위한 **개념 증명(proof-of-concept)**으로 규정한다:

• 종단적 사회적 신호: 저자들은 사회적 영향을 미치는 "알려지지 않은 미지수(unknown unknowns)"를 사전 지정된 지표가 놓칠 수 있는 상황에서, 사회적 데이터를 비지도 학습 기반의 특징 추출과 엄격한 통계적 검정을 통해 처리할 때 드러낼 수 있다고 주장한다.
• 적시성: PuLSE 프레임워크는 사회적 영향이 있는 트렌드를 실시간으로 모니터링하는 것이 기술적으로 가능하다는 것을 보여주며, 이는 문제가 공적 위기로 번지기 전에 개발자가 개입할 수 있게 한다.
• 상호 보완성: 연구 결과는 기존 산업 보고서를 보완하고 도전한다. 산업 데이터가 정서적 사용의 *양(volume)*은 낮게 보여줄지라도, 그 사용의 *강도(intensity)*와 결과(consequence)(예: 모델 전환 시 발생하는 상당한 백래시를 주도함)는 빈도만으로는 포착할 수 없는 영향의 규모를 시사한다.
• 겸손함: 저자들은 이러한 트렌드의 원인(예: GPT-4o가 애착을 유발했는지, 아니면 단순히 결합되었는지)에 대해 인과적 주장을 하지 않으며, 단지 제품 출시와 사용자 담론의 변화 사이의 상관관관계를 강조한다. 또한 레딧이 데이터 소스로 갖는 한계와 실제 사용 패턴의 근거(ground-truth)를 추론하는 것의 어려움을 인정한다.

결론적으로, 본 논문은 "일상적 사용자"에게 주의를 기울이는 것이 사전 지정된 지표를 넘어, 사후적 분석에서 벗어나 선제적이고 데이터 중심적인 모니터링으로 나아가는 AI의 사회적 영향을 조종하는 중요한 메커니즘임을 주장한다.