💰 quantitative finance

Auditing the Auditors: Does Community-based Moderation Get It Right?

이 논문은 X 의 커뮤니티 노트에서 다수 의견에의 동의를 기반으로 한 감사 방식이 소수 기여자의 전략적 순응을 유발한다는 점을 지적하고, 과거 평가의 예측 가능성에 기반한 새로운 2 단계 감사 및 집계 알고리즘을 제안하여 합의와 무관하게 유익한 기여자에게 더 큰 영향력을 부여함으로써 예측 성능을 개선함을 보여줍니다.

원저자: Yeganeh Alimohammadi, Karissa Huang, Christian Borgs, Jennifer Chayes

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yeganeh Alimohammadi, Karissa Huang, Christian Borgs, Jennifer Chayes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 비유: "눈치 보는 학생들과 교실의 진실"

상상해 보세요. 거대한 교실이 있습니다. 선생님은 칠판에 **진실 (Fact)**을 적고 싶지만, 직접 확인할 수 없어서 **학생들 (사용자)**에게 "이게 맞니, 틀리니?"라고 물어봅니다.

현 상황 (기존 시스템):
- 선생님은 "대다수 학생이 '맞다'고 하면, 그 답이 진실이다"라고 믿습니다.
- 그리고 과거에 다수 의견과 일치했던 학생에게만 "다음 문제도 풀 수 있는 자격"을 줍니다.
- 반대로, 소수의 의견 (예: "아니요, 이건 틀렸어요") 을 말하면 점수가 깎이고 다음 문제에서 제외됩니다.
문제점 (전략적 순응):
- 이 시스템을 알게 된 학생들은 어떻게 될까요?
- "내가 진짜로 아는 게 뭐든 상관없이, 다수가 무엇을 원할지 미리 추측해서 그쪽으로 답을 써야겠어"라고 생각합니다.
- 특히 **논쟁이 되는 문제 (정치, 전쟁 등)**에서는 더 심해집니다. "내 의견이 다수와 다르면 내 자격이 박탈될까 봐 두려워"해서, 아예 입을 닫거나 다수의 의견에 맞춰 거짓말을 합니다.
- 결과: 교실에는 '진실'이 아니라, '다수가 원하는 답'만 가득 차게 됩니다. 소수의 중요한 지적은 사라지고, 논쟁적인 문제는 아무도 제대로 다루지 않게 됩니다.

🔍 연구팀이 발견한 사실

이 논문은 X 의 데이터를 분석하며 다음과 같은 현상을 발견했습니다.

소수 의견의 침묵: 논쟁적인 주제 (정치 등) 에서는 소수 의견이 가진 사람들이 점점 다수의 의견에 맞춰 자신의 평가를 바꾸거나, 아예 참여를 꺼리게 되었습니다.
예측 능력의 하락: 사람들이 '진짜 생각'이 아니라 '눈치'를 보며 답을 쓰기 시작하자, 시스템이 미래를 예측하는 능력 (데이터의 정확도) 이 오히려 떨어졌습니다. 마치 모든 학생이 같은 답을 적어대니, 그 답이 진짜인지 헷갈리게 된 것과 같습니다.

💡 해결책: "눈치 보지 않는 새로운 점수제"

연구팀은 "이런 시스템을 고쳐야 한다"고 제안합니다. 다수의 의견과 일치하는지를 점수로 매기는 대신, **"내 생각의 일관성"**을 점수로 매기는 것입니다.

새로운 규칙 (2 단계 알고리즘):
1. 먼저 모든 학생의 답을 모아 '예상 정답'을 만듭니다.
2. 그다음, 각 학생이 그 예상 정답과 얼마나 다르게, 하지만 일관성 있게 답했는지 봅니다.
3. 만약 어떤 학생이 "나는 항상 이 주제에 대해 이렇게 생각했고, 그 이유도 일관되게 설명할 수 있어"라고 한다면, 다수의 의견과 달라도 그 학생의 목소리는 소중하게 반영됩니다.
효과:
- 소수 의견이라도 일관성 있게 진실에 가까운 말을 하는 사람들은 여전히 영향력을 가질 수 있습니다.
- 사람들은 "다수가 무엇을 원할지"를 추측하는 대신, "내가 아는 바를 솔직하게" 말하게 됩니다.
- 결과적으로 시스템은 더 정확한 '진실'을 찾아낼 수 있게 됩니다.

📝 한 줄 요약

"진실을 찾기 위해 '다수의 의견'을 기준으로 삼으면, 사람들은 '눈치'만 보게 되어 오히려 진실을 가리게 됩니다. 대신 '일관된 생각'을 가진 소수의 목소리도 존중해 주는 시스템을 만들어야, 비로소 진짜 사실을 찾을 수 있습니다."

이 연구는 단순히 인터넷 사이트의 기능 개선을 넘어, 우리가 정보를 어떻게 평가하고 신뢰해야 하는지에 대한 중요한 교훈을 줍니다. "다수가 옳다"는 생각이 항상 정답은 아닐 수 있으며, 때로는 다수와 다른 일관된 목소리가 더 중요한 진실을 알려줄 수 있다는 것입니다.

이 논문은 온라인 플랫폼의 크라우드소싱 기반 콘텐츠 조정 시스템, 특히 X(구 트위터) 의 '커뮤니티 노트 (Community Notes)'에서 적용된 합의 기반 감사 (Consensus-based Auditing) 메커니즘의 문제점을 분석하고, 이를 개선할 수 있는 새로운 알고리즘을 제안합니다.

저자들은 합의 기반 감사가 소수 의견의 왜곡과 전략적 순응을 유발하여 시스템의 전반적인 예측 성능과 다양성을 해친다는 것을 실증적, 이론적으로 증명했습니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 연구 배경 및 문제 제기 (Problem)

배경: 온라인 플랫폼은 대규모로 오정보를 식별하기 위해 사용자 기반의 크라우드소싱 시스템 (예: X 의 Community Notes) 을 활용합니다. 이 시스템은 사용자들이 콘텐츠에 주석을 달고 다른 사용자의 주석을 평가 (Helpful/Not Helpful) 하게 합니다.
핵심 문제: 플랫폼은 사용자의 신뢰도를 평가하기 위해 합의 기반 감사 (Consensus-based Auditing) 방식을 사용합니다. 즉, 사용자의 과거 평가가 플랫폼의 최종 집계 결과 (합의) 와 일치하는지 여부에 따라 사용자의 참여 자격이나 영향력을 결정합니다.
- X 의 경우: 2022 년 9 월 'Rating Impact'와 'Writing Impact'를 도입하여, 사용자의 평가가 최종 결과와 일치할 때 점수를 주고, 불일치할 때는 참여 자격을 박탈하거나 점수를 깎는 방식을 도입했습니다.
가정된 위험: 이 방식은 "합의 = 진실"이라는 전제를 내포합니다. 하지만 이는 사용자로 하여금 자신의 독립적인 판단보다는 **예상되는 다수 의견에 맞추어 평가할 유인 (Strategic Conformity)**을 조성합니다. 특히 논쟁적인 주제에서 소수 의견이 사라지거나 왜곡될 수 있으며, 이는 시스템이 진실을 찾는 능력을 저해합니다.

2. 방법론 (Methodology)

저자들은 세 가지 주요 접근법을 통해 문제를 분석하고 해결책을 제시했습니다.

A. 실증 분석 (Empirical Analysis)

데이터: X 의 공개된 Community Notes 데이터 (2021 년 출시~2023 년 5 월) 를 사용했습니다.
실험 설계: 2022 년 9 월 'Rating Impact' 도입을 자연 실험 (Natural Experiment) 으로 간주하여, 도입 전 (Pre-rollout) 과 도입 후 (Post-rollout) 의 변화를 비교했습니다.
잠재 요인 모델 (Latent Factor Model) 재구성: X 의 공개된 매트릭스 분해 (Matrix Factorization) 알고리즘을 사용하여 사용자 (Rater) 와 노트 (Note) 의 이데올로기적 위치를 나타내는 잠재 요인 ( $f_u, g_n$ ) 을 매주 재추출했습니다.
분석 지표:
- 소수 사용자의 잠재 요인 분포 변화.
- 논쟁적 주제 (Controversial Topics) 에 대한 참여도 및 주석의 '도움됨 (Helpful)' 비율 변화.
- 모델의 예측 오차 (MSE) 변화.

B. 행동 모델링 (Behavioral Modeling)

사용자의 평가 행위를 **사적 신호 (Private Signal)**와 예상된 합의 (Anticipated Consensus) 사이의 트레이드오프로 모델링했습니다.
사용자는 자신의 신념 ( $r^*_{un}$ ) 을 반영하는 것과 플랫폼의 최종 결과에 맞추어 패널티를 피하는 것 ( $\tilde{m}_{un}$ ) 사이에서 효용을 극대화하도록 행동한다고 가정했습니다.
수식: $a^*_{un} = \rho(c_n)r^*_{un} + (1-\rho(c_n))\tilde{m}_{un}(c_n)$ $a_{u n}^{*} = ρ (c_{n}) r_{u n}^{*} + (1 - ρ (c_{n})) \tilde{m}_{u n} (c_{n})$
- 여기서 $\rho(c_n)$ 은 논쟁성 ( $c_n$ ) 이 높을수록 감소하여, 논쟁적인 주제일수록 사용자는 자신의 신호보다 합의에 더 의존하게 됨을 의미합니다.

C. 제안된 알고리즘: 2 단계 가중 매트릭스 분해 (Two-Stage Weighted Matrix Factorization)

기존 방식의 대안으로, 사용자의 **일관성 (Consistency)**을 기반으로 가중치를 부여하는 알고리즘을 제안했습니다.
1 단계: 기존 정규화된 매트릭스 분해를 수행하여 잔차 (Residuals) 를 계산합니다.
- $e^{(1)}_{un} = r_{un} - \hat{\mu} - \hat{h}_u - \hat{i}_n - \hat{f}_u \cdot \hat{g}_n$
2 단계: 각 사용자의 잔차 분산 ( $\hat{\sigma}^2_u$ $\overset{σ}{^}_{u}^{2}$ ) 을 추정하고, 이를 역수 ( $1/\hat{\sigma}^2_u$ $1/ \overset{σ}{^}_{u}^{2}$ ) 로 사용하여 가중치 (Inverse-variance weighting) 를 부여하여 모델을 다시 적합시킵니다.
- 핵심 아이디어: 사용자의 영향력은 '다수 의견과의 일치'가 아니라, 모델이 예측한 패턴에 대해 얼마나 **일관적이고 예측 가능한지 (Residual Stability)**에 기반해야 합니다. 이는 소수 의견이라도 일관되게 informative 한 평가를 내린다면 그 영향력을 유지하게 합니다.

3. 주요 결과 (Key Results)

A. 실증적 발견

전략적 순응 (Strategic Conformity): 'Rating Impact' 도입 후, 소수 의견에 부합하던 평가자들의 잠재 요인 (Latent Factor) 이 다수 쪽으로 이동했습니다. 소수 그룹의 분포가 중앙으로 수렴하거나 다수 그룹으로 넘어가는 현상이 관측되었습니다.
논쟁적 주제 참여 감소: 논쟁적인 주제 (정치, 국제 분쟁 등) 에 대한 주석 작성 및 평가 참여가 감소했습니다. 특히 소수 의견 사용자들이 논쟁적 주제를 피하는 경향이 뚜렷했습니다.
예측 성능 저하: 합의 기반 감사를 도입한 후, 플랫폼의 잠재 요인 모델의 **Out-of-sample 예측 오차 (MSE)**가 크게 증가했습니다 (In-sample MSE 는 116% 증가, 1 주일ahead MSE 는 76% 증가). 이는 시스템이 더 이상 독립적인 신호를 효과적으로 집계하지 못하고 있음을 시사합니다.

B. 이론적 증명

편향된 추정 (Theorem 0.2): 합의 기반 감사가 존재할 때, 매트릭스 분해 알고리즘은 사용자의 사적 신호가 아닌 '순응으로 왜곡된 신호'를 학습하게 되어, 노트의 실제 유용성 (Helpfulness) 을 편향되게 추정하게 됩니다. 특히 소수 그룹의 잠재 요인 추정이 왜곡되어 소수 의견이 시스템에서 사라지는 효과가 발생합니다.
2 단계 추정량의 통계적 우위 (Theorem 0.7): 제안된 2 단계 역분산 가중치 (Inverse-variance weighting) 방식은 사적 신호를 보고하는 가정 하에 일관된 추정량 (Consistent Estimator) 을 제공하며, 가중치 선택 중 가장 낮은 점근 분산 (Asymptotic Variance) 을 가짐을 증명했습니다.

C. 제안 알고리즘의 성능

제안된 2 단계 알고리즘을 적용했을 때, 기존 알고리즘 대비 평균 절대 잔차 (Mean Absolute Residual) 가 5.73% 감소, 중앙값 절대 잔차 (Median Absolute Residual) 가 27.99% 감소하여 예측 정확도가 크게 향상되었습니다.

4. 주요 기여 (Key Contributions)

실증적 증거 제시: 합의 기반 감사 제도가 소수 사용자의 행동을 체계적으로 변화시키고, 논쟁적 주제에 대한 참여를 감소시킨다는 것을 데이터로 증명했습니다.
행동 모델 개발: 사용자가 플랫폼의 예상 결과에 맞추어 평가하는 '전략적 순응' 메커니즘을 수학적으로 모델링하고, 이것이 시스템의 추정을 왜곡하는 이론적 근거를 제시했습니다.
개선된 알고리즘 제안: '일치 (Agreement)' 대신 '잔차의 안정성 (Stability of Residuals)'을 기반으로 한 2 단계 가중 매트릭스 분해 알고리즘을 제안하고, 이것이 예측 성능을 향상시키면서도 소수 의견의 참여를 보호할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

시스템 설계의 중요성: 크라우드소싱 기반 콘텐츠 조정 시스템에서 '어떻게 감사 (Audit) 하느냐'는 단순한 구현 세부 사항이 아니라, 시스템의 핵심 설계 원리입니다.
다양성과 독립성 유지: "다수의 지혜 (Wisdom of Crowds)"는 평가자들의 독립성이 보장될 때만 작동합니다. 합의 기반 감사는 오히려 동조 압력을 만들어 독립성을 해치고, 결과적으로 오정보 식별 능력을 떨어뜨립니다.
실용적 제안: 플랫폼은 사용자를 '다수와 일치하는가'가 아닌 '자신의 평가가 얼마나 일관적이고 정보적인가'로 평가해야 합니다. 제안된 역분산 가중치 방식은 소수 의견이 가진 정보 가치를 보존하면서도 시스템의 전반적인 예측 정확도를 높이는 효과적인 대안입니다.

이 연구는 온라인 플랫폼이 오정보를 줄이고 건강한 담론을 형성하기 위해서는, 사용자의 참여 유인 구조를 신중하게 설계하여 전략적 순응을 방지하고 독립적인 평가를 장려해야 함을 강조합니다.