Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

기술적 요약: 예측 시장의 입장 감지

문제 정의
Polymarket와 같은 예측 시장은 대중의 신념을 실시간 확률 추정치로 집계합니다. 시장 가격이 집합적 감정을 반영하는 반면, 이러한 시장 아래에 게시된 트레이더 댓글에는 가격만으로는 포착할 수 없는 풍부하고 방향성 있는 입장 신호가 포함되어 있습니다. 이러한 신호를 추출하는 것은 세 가지 중첩된 과제를 제시합니다:

1. 극도의 간결성: 댓글은 종종 단일 구나 문장으로 구성됩니다.
2. 도메인 특화 은어: 텍스트는 주로 정치 또는 저널리즘 코퍼스로 훈련된 입장 감지 모델과 구별되는 트레이더 특유의 은어 (예: "this is cooked", "free money") 에 크게 의존합니다.
3. 심각한 클래스 불균형: 데이터셋은 시장 결과에 반대 (Anti Position) 하는 댓글이 전체의 8.7% 만을 차지하는 심각한 편향을 보이며, 이는 표준 정확도 기반 평가를 오도하고 표적 소수 클래스 전략을 필요로 합니다.

방법론
본 연구는 데이터 구축, 입력 변환, 합성 증강을 포함하는 포괄적인 프레임워크를 제시하며, 미세 조정된 RoBERTa-base 분류기를 사용하여 $4 \times 3$ 제거 연구 (ablation study) 를 통해 평가되었습니다.

• 데이터셋 구축: 저자들은 이 도메인의 첫 번째 주석 달린 데이터셋을 구축하고 공개했는데, 이는 12 개의 Polymarket 시장 (정치, 스포츠, 금융) 에 걸친 2,229 개의 인간 주석 댓글로 구성됩니다. 분포는 중립 (Neutral) 63.1%, 찬성 (Pro Position) 28.2%, 반대 (Anti Position) 8.7%입니다.
• 시장 맥락 입력 변환: 짧은 댓글의 모호성을 해결하기 위해 각 댓글 앞에 시장 질문을 추가합니다 (예: "Market: {question} Comment: {text}"). 이는 제로 비용의 근거를 제공합니다. 또한, Named Entity Recognition(NER) 을 사용하여 특정 개체 (PERSON, ORG 등) 를 일반적 ENTITY 토큰으로 마스킹하여 모델이 개체 특유의 단축경로를 학습하는 것을 방지합니다.
• LLM 기반 반사실적 증강: Anti 샘플의 부족 (총 194 개) 을 완화하기 위해 저자들은 Anthropic API(Claude Haiku 4.5) 를 활용하여 기존 Pro 댓글을 뒤집어 합성 Anti 댓글을 생성했습니다. 생성 과정은 트레이드의 어조, 은어, 길이를 유지합니다. 두 가지 증강 용량 (50% 및 100%) 을 테스트하여 생성된 샘플을 훈련 세트에 추가했습니다.
• 실험 설계: 본 연구는 세 가지 증강 조건 (베이스라인, 50% 합성, 100% 합성) 에서 네 가지 모델 구성 ({2 클래스, 3 클래스} $\times$ {맥락 유무}) 을 평가했습니다. 주요 평가 지표는 Macro F1 이었으며, 특히 Anti 재현율 (recall) 과 Anti F1 에 중점을 두었습니다.

주요 결과
제거 연구는 세 가지 주요 결과를 도출했습니다:

1. 시장 맥락이 지배적 요인: 시장 질문을 입력 맥락으로 제공하는 것이 가장 큰 영향을 미치는 단일 개입이었습니다. 3 클래스 설정에서 맥락을 추가하면 Anti 재현율이 0.10 에서 0.45 로, Macro F1 이 0.42 에서 0.54 로 증가했습니다. 가장 우수한 전체 성능 (Macro F1 = 0.68) 은 맥락이 있는 2 클래스 구성 (Pro/Anti 만) 으로 달성되었습니다.
2. 조건부 증강 효과: 반사실적 증강은 성능과 비선형적, 용량 의존적 관계를 보였습니다.
   • 약한 구성에서의 이점: Anti 재현율이 0.10 이었던 3 클래스 베이스라인에서 50% 증강은 Anti F1 을 0.10 에서 0.24 로 향상시켰습니다.
   • 강한 구성에서의 저하: 강력한 2 클래스-맥락 포함 구성에서 100% 증강은 성능을 크게 저하시켜 Macro F1 을 0.68 에서 0.50 으로 떨어뜨렸습니다 (상대적 26% 감소).
3. 최적 용량은 50%: 구성 전반에 걸쳐 50% 증강이 일관되게 100% 증강보다 우수한 성과를 보였습니다. 전체 용량 증강은 특히 베이스라인이 이미 강력한 구성에서 결정 경로를 손상시키는 노이즈를 도입했습니다.

분석 및 해석 가능성
주의도 맵 (attention map) 분석은 이러한 결과에 대한 기작적 설명을 제공했습니다:

• 맥락: 시장 맥락이 없으면 모델은 주로 시작/종료 토큰 (길이 대리자) 에 주의를 기울였습니다. 맥락이 있으면 주의가 시장 질문과 댓글 모두의 실질적 토큰에 분산되어 모호성이 해소되었습니다.
• 증강 실패 모드: 합성 Anti 댓글은 실제 트레이더의 반대 (종종 간결하고 은어가 많음) 보다 길고 문법적으로 완전한 경향이 있었습니다. 강력한 구성에서 이러한 분포 불일치는 모델이 입장을 나타내는 토큰에서 합성 패턴 아티팩트로 주의를 전환하게 하여, 실제 Pro 댓글을 Anti 로 잘못 분류하게 했습니다.

의의 및 주장
이 작업은 예측 시장 논평에 구체적으로 적용된 첫 번째 입장 감지 연구입니다. 그 의의는 다음과 같습니다:

• 자원 창출: 이 특정 도메인을 위한 첫 번째 주석 달린 데이터셋과 훈련된 체크포인트를 제공합니다.
• 방법론적 통찰: 짧고 은어가 많은 금융 텍스트의 경우 데이터 증강보다 입력 근거 (시장 맥락) 가 더 중요함을 보여줍니다.
• 증강 전략: LLM 기반 반사실적 증강이 보편적으로 유익하지 않음을 확립합니다. 그 효과는 베이스라인 모델의 강도와 합성 데이터가 대상 도메인의 스타일 분포에 얼마나 충실한지에 따라 조건부입니다. 논문은 증강은 보수적인 용량 (50%) 으로 신중하게 적용하고 배포 전 홀드아웃 실제 데이터로 검증해야 한다고 결론지었습니다.