기술 요약: SHARECHAT

문제 제기

대형 언어 모델 (LLM) 을 평가하기 위한 현재 학술적 벤치마크는 통일된 텍스트 전용 인터페이스에 의존하고 있어, 상업적 플랫폼의 고유한 설계와 기능이 실제 사용자 행동 및 시스템 성능에 미치는 영향을 흐리게 합니다. 기존 데이터셋 (예: WildChat, LMSYS-Chat-1M, ShareGPT) 이든 합성 데이터든 실제 데이터든 다음과 같은 네 가지 주요 한계를 겪고 있습니다:

1. 인공적 통일성: 이들은 다양한 모델을 단일한 범용 인터페이스에 강제로 맞추어, 사용자 상호작용을 이끄는 플랫폼별 도구 (예: 인용구, 사고 과정 추적) 를 제거합니다.
2. 비텍스트적 맥락의 상실: 출처 인용 및 추론 과정과 같은 풍부한 구조적 요소를 종종 폐기하여, 이러한 기능들이 프롬프트 전략에 어떻게 영향을 미치는지 연구하는 것을 방해합니다.
3. 제한된 상호작용 깊이: 평균 대화 깊이가 상대적으로 짧아, 다회전 목표의 진화 복잡성과 확장된 맥락에 따른 모델 신뢰도 저하를 포착하지 못합니다.
4. 관찰자 편향: 많은 데이터셋이 모니터링되고 있음을 인지한 참가자 (예: 동의 기반 게이트웨이를 통한) 에 의존하여, 실제 관찰되지 않은 사용과 비교해 사회적 바람직성이 더 높은 행동으로 변화를 유도할 수 있습니다.

방법론

저자들은 사후 공개 공유 모델을 통해 수집된 실제 사용자-LLM 대화의 대규모 코퍼스인 SHARECHAT을 구축했습니다.

• 데이터 수집: 이 데이터셋은 ChatGPT, Perplexity, Grok, Gemini, Claude 등 다섯 가지 주요 플랫폼에서 수집된 142,808 개의 대화 (660,293 회전) 로 구성됩니다. 데이터는 인터넷에서 발견된 공개 공유 URL 을 인터넷 아카이브 (Wayback Machine) 를 통해 수집하여 확장성을 보장하고 개인 계정의 직접 스크래핑을 피했습니다.
• 추출 파이프라인: 자동화된 브라우저 제어 (Selenium) 를 사용하여 HTML 을 렌더링하고 구조화된 JSON 으로 파싱했습니다. 이 파이프라인은 다음과 같은 플랫폼별 메타데이터를 포착했습니다:
  • ChatGPT/Grok: 회전 타임스탬프 및 모델 버전.
  • Perplexity/Grok: 출처 인용구.
  • Claude/Grok: "사고 블록" (중간 추론).
  • Claude: 코드 아티팩트 및 분석 블록.
• 개인정보 보호: 마이크로소프트의 Presidio 프레임워크를 사용한 엄격한 비식별화 파이프라인을 통해 여러 언어의 개인 식별 정보 (PII) 를 제거했습니다. 자동화된 LLM 기반 평가자 (GPT-OSS-120B) 와 수동 검토가 제거 과정을 검증했습니다.
• 시간적 범위: 데이터는 2023 년 4 월부터 2025 년 10 월까지를 아우르며, 30 개월 이상의 사용 기간을 포괄합니다.
• 분석 프레임워크: 본 논문은 유용성을 입증하기 위해 세 가지 사례 연구를 활용합니다:
  1. 대화 완성도: Qwen3-8B 를 사용하여 사용자 의도를 추출하고 해결 여부 (완전, 부분, 불완전) 를 분류합니다.
  2. 출처 기반성: 검색 증강 시스템 (Perplexity 및 Grok) 에 대한 인용 전략 및 도메인 분포를 분석합니다.
  3. 시간적 분석: 회전 수준 타임스탬프를 사용하여 회전 위치와 응답 지연 시간을 상관관계 분석합니다.

주요 결과

데이터셋 통계

• 규모 및 깊이: SHARECHAT 은 평균 깊이 4.62 회전을 가진 142,808 개의 대화로 구성되어 있으며, 기존 코퍼스 (예: WildChat 의 1.61, LMSYS-Chat-1M 의 2.02) 를 크게 상회합니다.
• 언어적 다양성: 이 데이터셋은 95 개의 서로 다른 언어를 다루며, 영어 (61.8%) 와 일본어 (18.0%) 가 주류를 이룹니다.
• 유해성: SHARECHAT 은 이전 벤치마크보다 낮은 유해성 비율을 보입니다. 사용자 유해성은 2.9% (WildChat 의 6.05% 대비) 이며, LLM 유해성은 3.2% (WildChat 의 5.18% 대비) 입니다. 모든 플랫폼에서 사용자 유해성과 LLM 응답 유해성 사이에 중간에서 강한 양의 상관관계가 존재합니다.
• 주제 분포: "정보 추구"가 주요 의도 (39.6%) 입니다. 그러나 플랫폼별 패턴이 나타납니다: Perplexity 는 정보 추구에 크게 집중되어 있는 반면 (63.3%), Claude 는 기술 지원의 비중이 더 높습니다 (17.0%).

사례 연구 결과

1. 대화 완성도: 성과는 플랫폼마다 다릅니다. Claude (88%) 와 ChatGPT (83%) 는 사용자의 의도를 완전히 충족시키는 비율이 가장 높습니다. Perplexity 는 완전 완료율이 가장 낮지만 (67%) "부분" 판정 비율이 가장 높아, 최종 답변보다는 중간 단계를 제공하는 검색 엔진으로서의 역할을 시사합니다.
2. 출처 기반성:
   • Grok: 사회적 데이터에 크게 의존하며, X(Twitter) 에 대한 참조가 40,624 건으로 위키피디아 인용 건수의 거의 세 배에 달합니다.
   • Perplexity: 다양하고 백과사전적인 전략을 활용하며, 위키피디아가 주요 출처이며 그 뒤를 커뮤니티 포럼 (Reddit) 과 권위 있는 저장소 (NIH, GitHub) 가 이룹니다.
3. 시간적 역학:
   • 지연 시간 경향: ChatGPT 는 회전 인덱스와 LLM 응답 시간 사이에 음의 상관관계를 보입니다 (대화가 길어질수록 응답이 빨라짐). 이는 캐싱이나 맥락 최적화 때문일 가능성이 높습니다. 반면, Grok 은 양의 상관관계를 보여 (맥락이 축적될수록 응답이 느려짐) 증가하는 계산 오버헤드를 나타냅니다.
   • 사용자 응답 시간: 사용자 응답 시간은 LLM 출력 길이에 따라 증가하지만, 상관관계는 약합니다 (거의 0). 이는 길이가 사용자 참여 시간을 결정하는 여러 요인 중 하나일 뿐임을 시사합니다 (예: 작업 유형, 하루 중 시간).

중요성과 주장

본 논문은 SHARECHAT 이 다섯 가지 플랫폼의 네이티브 상호작용 기능을 동시에 보존하는 최초의 공유 URL 기반 코퍼스라고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 플랫폼 인식 평가: 제품 생태계 전반에 걸친 계층적 평가를 가능하게 하여, 사용자가 서비스를 상호 교환 가능한 조수가 아닌 전문 도구 (예: 검색을 위한 Perplexity, 코딩을 위한 Claude) 로 취급함을 드러냅니다. 이는 일반 벤치마크의 "범용 조수" 가정을 도전합니다.
2. 하류 작업을 위한 풍부한 메타데이터: 인용구, 사고 과정 추적, 타임스탬프의 보존은 검색 증강 생성 (RAG) 정확도, 상호작용 속도, 지연 시간 인식 평가에 대한 자연스러운 벤치마크를 제공합니다. 이러한 차원은 기존 데이터셋에 부재합니다.
3. 종단 및 깊이 분석: 확장된 대화 깊이는 모델 신뢰도 저하 및 사용자 목표의 진화와 같이 긴 맥락에서만 나타나는 현상을 연구할 수 있게 하여, 이진 단일 회전 정확도를 넘어선 강화 학습을 위한 감독 신호를 제공합니다.

저자들은 SHARECHAT 을 WildChat 과 같은 기존 코퍼스를 대체하는 것이 아니라 보완하는 것으로 위치시킵니다. WildChat 이 모니터링 게이트웨이를 통해 자기 선택 편향을 완화하지만 관찰자 편향을 도입하는 반면, SHARECHAT 은 관찰자 효과를 피하지만 자기 선택 편향 (더 낮은 유해성과 더 밀집된 출력에서 관찰됨) 을 도입합니다. 두 데이터셋은 함께 사용자-LLM 상호작용에 대한 더 완전한 삼각측량을 제공합니다.

한계

저자들은 네 가지 한계를 인정합니다:

1. 자기 선택 편향: 대화를 공유하는 사용자는 자신이 가치 있다고 판단하는 상호작용을 필터링할 가능성이 있어, 코퍼스가 특정 상호작용 유형으로 치우칠 수 있습니다.
2. 플랫폼 불균형: ChatGPT 는 데이터의 70% 이상을 차지하는 반면, Claude 는 1% 미만입니다. 수집 기간도 달라 플랫폼 간 차이를 시간적 변화와 혼동할 수 있습니다.
3. LLM 기반 평가: 주제 및 완성도 분석은 인간의 의도를 대리하는 LLM 에 의존하며, 현재 검증은 영어 대화로 제한되어 있습니다.
4. 예시적 범위: 제시된 분석은 예시적입니다. 플랫폼 기능이 진화함에 따라 종단적 역학을 완전히 탐구하기 위해서는 향후 연구가 필요합니다.