A field experiment of social influence and behavioral contagion with bots on Reddit

기술 요약: 레딧(Reddit) 내 봇(Bot)을 이용한 사회적 영향력 및 행동 전염에 관한 현장 실험

문제 제Statement (Problem Statement)
현대 사회가 인간과 지능형 기계의 하이브리드 시스템으로 진화함에 따라, 인공 에이전트가 인간 에이전트에 비해 인간의 행동에 어떻게 영향을 미치는지, 그리고 그 영향력이 사회적 네트워크를 통해 전파되는지에 대한 중요한 질문이 남아 있다. 기존 연구는 인간이 기계를 다른 인간과 유사하게 취급할 수 있다는 점(CASA 패러다임)을 시사하는 반면, 다른 연구들은 도덕적 주체성, 신뢰, 정서적 반응과 관련하여 뚜렷한 차이가 있음을 나타낸다. 본 연구는 사회적 영향과 행동적 전염이 영향의 원천(인간 대 봇)과 행동의 근거(논리, 무작위, 감정, 또는 도덕)에 따라 달라지는지 조사한다. 특히, 저자들은 사용자들이 인공 에이전트로부터 오는 긍정적인 행동 자극에 영향을 받는지, 그리고 이러한 자극이 온라인 커뮤니티 내에서 하향식 효과(downstream effects)를 유발하는지 검토한다.

연구 방법론 (Methodology)
연구진은 봇의 존재가 만연하고 동료 모니터링 문화가 자리 잡은 플랫폼인 레딧(Reddit)에서 대규모 현장 실험을 수행했다.

• 실험 설계: 연구팀은 일반적인 인간 사용자로 보이는 계정 하나와 (사용자 이름에 "bot"을 포함하여 레딧의 "Bottiquette"를 준수하는) 외견상 봇으로 보이는 계정 하나를 생성했다. 이 계정들은 상대적으로 경험이 적은 사용자들의 게시물이나 댓글에 상징적인 "Diamonds are Forever" 어워드(가치 1.00달러)를 수여했다.
• 처치(Treatments): 실험은 2(원천: 인간 vs 봇) × 4(근거) 요인 설계와 통제 집단을 활용했다. 네 가지 근거는 다음과 같다:
  1. 논리적 (LOG): 명확한 추론과 논리를 칭찬함.
  2. 무작위 (RAN): 어워드가 무작위 추첨 결과임을 밝힘.
  3. 감정적 (EMO): 감정적 톤과 공감을 칭찬함.
  4. 도덕적 (MOR): 도덕적 직관과 청렴함을 칭찬함.
  • 통제 집단: 동일한 기준에 따라 선정되었으나 아무런 개입을 받지 않음.
• 표본 선정: 연구진은 비민감 주제, 특정 참여 수준(게시물의 경우 댓글 15개, 추천 26개), 그리고 사용자 미숙련도(계정 생성일 30일 이상, 댓글 10499개, 게시물 099개)를 필터링하여 12개의 일반 관심 서브레딧(subreddits)을 대상으로 삼았다. 최종 데이터셋은 2,442개의 관측치로 구성되었다.
• 데이터 수집 및 분석: 처치 9일 후, 연구진은 처치된 사용자의 전체 활동 이력을 회수했다. 연구진은 다음을 측정했다:
  • 직접 효과: 양(게시물/댓글 수, 텍text 길이), 내용(긍정적 정서, 특정 근거의 어휘적 두드러짐), 직접 소통(개인 감사 메시지).
  • 간접 효과 (영향력): 투표 수, 답글 수, 그리고 처치된 사용자의 후속 기여에 대한 총 텍스트 길이.
  • 통계적 접근: 레딧 활동의 롱테일 분포(long-tailed distribution) 특성을 고려하여, 저자들은 비모수적 맨-휘트니 U 검정(Mann-Whitney U tests)을 사용하여 개인 내 변화($\Delta M = M_{after} - M_{before}$)를 분석했다. 분석은 어워드 수령 후 12시간 이내에 이루어진 기여에 집중했다.

주요 결과 (Key Results)
본 연구는 현재 AI 시대의 상징적 어워드의 효용성에 대해 다음과 같은 반직관적인 결과들을 도출했다:

1. 활동량의 일반적 증가 없음: 어워드가 생산성을 높일 것이라는 예상과 달리, 연구 결과 어워드가 사용자의 활동량(게시물/댓글 수)이나 총 텍스트 길이를 통제 집단에 비해 유의미하게 증가시킨다는 통계적 증거를 발견하지 못했다.
2. 봇-추첨 어워드의 역효과: 무작위/추첨 근거를 사용하는 봇으로부터의 어워드($B_{RAN}$)는 사용자의 활동을 유의미하게 감소시켰다. 해당 어워드를 받은 수령자들은 통제 집단 및 다른 근거의 어워드 수령자들에 비해 더 적은 기여를 하고 더 짧은 글을 작성했다.
3. 직접 소통: 어워드는 직접적인 접촉을 성공적으로 유도했다. 사용자들은 봇보다 인간 계정에 대해 개인적인 감사 메시지를 보낼 가능성이 유의미하게 높았다. 인간 계정의 경우, 무작위 근거는 논리적 또는 도덕적 근거보다 답글을 덜 유도했다.
4. 내용 변화: 유일하게 유의미한 내용 변화는 봇으로부터 무작위 추첨 어워드를 받은 사용자들이 긍정적 어조가 감소했다는 점이었다.
5. 간접 영향 (파급 효과): 어워드는 일반적으로 후속 기여의 영향력(투표/답글)을 높이지 못했다. 유일한 예외는 도덕적 근거를 가진 인간 계정의 어워드($H_{MOR}$)였는데, 이는 통제 집단 및 다른 인간 처치 집단에 비해 유의미하게 더 많은 투표와 긴 답글을 이끌어냈다. 그러나 이 효과는 다중 비교 교정(multiple comparison corrections)에 민감했다.
6. 조작에 대한 회복력: 결과는 온라인 사용자들이 상징적 어워드를 통한 단순한 행동 조작에 대해 회복력을 보이고 있음을 시사하며, 특히 원천이 봇이거나 근거가 임의적이라고 인식될 때 그러하다.

의의 및 주장 (Significance and Claims)
본 논문은 이러한 결과가 플랫폼 알고리즘과 인공 에이전트에 의한 단순한 행동 조작에 대한 온라인 사용자의 회복력을 강조한다고 주장한다. 저자들은 영향력이 전파될 수는 있지만, 그 영향력의 강도는 인식된 원천과 근거에 크게 의존한다고 논한다.

• 인간 대 기계 지각: 결과는 인간이 기계를 다르게 판단한다는 가설을 뒷받침한다. 봇은 감정적 또는 도덕적 근거(그들의 인지된 역량을 벗어난 영역)를 사용할 때 덜 효과적이며, 무작위로 행동할 때는 오히려 역효과를 낼 수 있다.
• 윤리적 거버넌스: 본 연구는 자동화된 에이전트를 투명하게 라벨링하는 것의 필요성을 강조한다. 사용자들이 인식된 인간과 봇에 대해 다르게 반응하며, 봇은 역효과를 낳거나 참여를 이끌어내지 못할 수 있으므로, 투명성은 윤리적 플랫폼 거버넌스와 신뢰 유지를 위해 필수적이다.
• 맥락적 변화: 저자들은 긍정적 효과의 부재가 공격적인 플랫폼 수익화와 AI의 확산으로 인한 사용자 냉소주의의 변화에서 기인할 수 있다고 제안한다. 즉, 사용자들이 상징적 어워드와 같은 낮은 노력의 동료 상호작용에 덜 반응하게 되었다는 것이다. 저자들은 단순한 체계는 실패할 수 있지만, 인간의 대화를 모사하는 더 정교한 체계는 여전히 효과적일 수 있음을 경고하며 지속적인 경계가 필요하다고 조언한다.

결론적으로, 상징적 어워드는 직접적인 인간 간의 소통을 촉발할 수는 있으나, 현재의 레딧 생태계에서 생산성이나 긍정적 전염을 높이는 신뢰할 만한 레버로 작용하지는 못하며, 봇에 의한 사용은 참여를 감소시킬 위험이 있다.