💬 NLP

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

UCSC NLP 팀의 SemEval-2026 Task 10 (PsyCoMark) 시스템은 음성적 표식과 문서를 탐지하기 위해 하드 네거티브 샘플링을 결합한 경계 인식 스팬 추출과 RoBERTa 기반 분류를 채택하여 각각 7위와 11위의 순위를 달성하였으며, 엔티티와 유사한 역할에 대한 강력한 탐지와 추상적 역할 경계에 대한 민감성을 동시에 강조하였다.

원저자: Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마치 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신은 지문을 찾는 대신, 어떤 이야기가 음모론처럼 느껴지게 만드는 특정한 '재료'들을 찾고 있습니다. 이 논문은 UC 산타크루즈(UC Santa Cruz) 팀이 SemEval-2026이라는 경진 대회를 위해 정확히 그 일을 수행하는 컴퓨터 프로그램을 어떻게 구축했는지 설명합니다.

다음은 이들의 연구 내용을 쉬운 비유를 사용하여 정리한 내용입니다.

두 가지 주요 임무

이 경진 대회에는 두 가지 뚜렷한 과제가 있었으며, 팀은 두 개의 별도 '탐정 요원'(AI 모델)을 사용하여 이 과제들을 해결했습니다.

1. 재료 사냥꾼 (Subtask 1)

목표: 문장에서 음모론 이야기에서 역할을 하는 특정 부분들을 찾아내는 것입니다. 역할은 다음과 같습니다:
- 행위자 (The Actor): 나쁜 짓을 하고 있는 사람은 누구인가?
- 피해자 (The Victim): 피해를 입는 사람은 누구인가?
- 행동 (The Action): 나쁜 짓이 무엇인가?
- 증거 (The Evidence): 어떤 '증거'가 제시되고 있는가?
- 효과 (The Effect): 무서운 결과는 무엇인가?
도전 과제: 단순히 "Jeffrey"라는 단어를 찾는 것만으로는 부족합니다. 컴퓨터는 문장이 정확히 어디에서 시작해서 어디에서 끝나는지 알아야 합니다. 예를 들어, "행동"이 단지 "비밀을 누설했다(spilled the beans)"인지, 아니면 "모사드 작전에 대한 비밀을 누설했다(spilled the beans on the Mossad operation)"라는 구절 전체인지 알아야 합니다.
기술: 팀은 컴퓨터에게 '경계 완벽주의자'가 되도록 가르쳤습니다. 그들은 컴퓨터에게 이렇게 말했습니다: "만약 네가 구절의 시작이나 끝을 아주 조금이라도 틀리게 맞춘다면, 그것은 점수로 인정되지 않는다." 또한 **하드 네거티브 마이닝(Hard-Negative Mining)**이라는 기법을 사용했습니다. 이것은 마치 선생님이 학생에게 고양이 사진을 보여주며 "저건 고양이야"라고 말한 뒤, 고양이처럼 보이는 매우 털이 많은 강아지 사진을 보여주며 "저것은 고양이가 아니야"라고 말하는 것과 같습니다. 이를 통해 학생은 미세한 차이를 배울 수 있습니다. 컴퓨터는 실제 음모론의 표식과, 음모론처럼 보이지만 실제로는 아닌 구절 사이의 미세한 차이를 식별하는 법을 배웠습니다.

2. 이야기 판사 (Subtask 2)

목표: 문서 전체를 읽고 결정합니다: 이것은 음모론인가? 확실히 음모론이 아닌가? 아니면 판단할 수 없는가?
기술: 이 모델은 첫 번째 탐정이 찾아낸 특정 재료들을 보지 않았습니다. 대신, 인간 독자처럼 전체 이야기를 읽으며 전반적인 '분위기'나 어조를 살폈습니다. 이 모델은 비판적인 뉴스 보도(행위자와 피해자를 언급할 수는 있지만 음모론은 아닌 경우)와 실제 음모론적 서사(동일한 역할들을 사용하지만 의심스럽고 비밀스러운 어조를 사용하는 경우)를 구분하는 법을 배웠습니다.

어떻게 수행했는가

팀은 RoBERTa라는 강력한 AI 두뇌를 사용했습니다. 이것을 인터넷의 거의 모든 것을 읽었으며 단어들이 어떻게 연결되는지 이해하는 매우 박식한 사서라고 생각하면 됩니다.

재료 사냥꾼을 위해: 그들은 단순히 사서에게 단어 하나하나에 라벨을 붙이라고 요청하지 않았습니다. 대신, 사서에게 가능한 모든 텍스트 덩어리(최대 32단어 길이)를 살펴보고, "이 덩어리가 '증거'의 정의에 부합하는가?"라고 묻도록 했습니다. 그들은 사서가 이 덩어리들의 시작과 끝 지점에 대해 극도로 까다로워지도록 훈련시켰습니다.
이야기 판사를 위해: 그들은 사서에게 전체 이야기를 입력하고, "예", "아니오", 또는 "모름" 중 하나로 결론을 내리라고 요청했습니다.

결과

팀이 공식 경진 대회에 그들의 탐정들을 투입했을 때의 결과는 다음과 같습니다:

재료 사냥꾼은 모든 팀 중 7위를 차지했습니다. 이 모델은 "행위자"나 "피해자"(사람의 이름 등)를 찾는 데 매우 뛰어났지만, 구절의 경계가 모호한 "행동"이나 "효과"와 같은 더 추상적인 부분에서는 때때로 어려움을 겪었습니다.
이야기 판사는 12위를 차지했습니다. 이 모델은 음모론 이야기와 일반적인 뉴스 이야기를 구분하는 데 꽤 능숙했습니다.

무엇을 배웠는가 (아하! 모먼트)

정밀함은 어렵다: 컴퓨터가 저지른 가장 큰 실수는 구절의 시작과 끝을 약간 틀리는 것이었습니다. 만약 "증거"가 "report"라는 단어였다면, 컴퓨터는 가끔 "a report"나 "according to a report"라고 추측했습니다. 경진 대회의 규칙은 엄격했습니다: 정확한 단어를 맞추지 못하면 0점을 받았습니다.
두 명의 머리가 따로 있을 때 더 낫다: 팀은 두 탐정이 작업하는 동안 서로 대화하지 않기로 결정했습니다. 그들은 "만약 첫 번째 탐정이 실수를 한다면, 두 번째 탐사가 그 실수 때문에 혼란을 겪지 않기를 바란다"라고 생각했습니다. 그들은 두 모델을 분리하여 유지했고, 마지막에만 답변을 결합했습니다.
"판단 불가" 문제: 경진 대회에는 "판단할 수 없음"이라는 세 번째 옵션이 있었습니다. 그러나 최종 채점 규칙에서는 이 카테고리를 무시했습니다. 이는 테스트 당일의 컴퓨터 성능이 연습 기간 동안의 성능과 다르게 보이게 만들었는데, 이는 결승선에서 규칙이 약간 변경되었기 때문입니다.

요약

UC 산타크루스 팀은 매우 정밀한 편집자이자 예리한 관찰자 역할을 하는 시스템을 구축했습니다. 그들은 컴퓨터가 음모론의 재료를 포착하는 데 점점 더 능숙해지고 있지만, 그 재료들의 정확한 경계를 찾는 데는 여전히 어려움을 겪고 있다는 것을 보여주었습니다. 그러나 그들은 이야기가 음모론인지 아닌지를 결정하기 위해 이야기의 전반적인 분위기를 감지하는 데는 꽤 유능합니다.

기술 요약: SemEval-2026 Task 10 (PsyCoMark)에서의 UCSC NLP 연구

문제 정의

본 논문은 영어 텍스트 내의 음모론적 서사(conspiracy narratives) 탐지를 다루는 SemEval-2026 Task 10 (PsyCoMark)를 다룹니다. 이 과제는 두 개의 별개 서브태스크로 나뉩니다:

서브태스크 1 (음모론 표지 추출): 다섯 가지 특정 의미 역할인 *행위자(Actor), 행동(Action), 결과(Effect), 증거(Evidence), 희생자(Victim)*에 해당하는 텍스트 스팬(span)을 식별하고 추출하는 것입니다. 핵심 과제는 이러한 역할 구조가 음모론적 담화와 비음모론적(비판적) 담화 모두에서 나타난다는 점이며, 구별의 기준은 단순히 역할의 존재 여부가 아니라 프레이밍과 인식론적 태도(epistemic stance)에 달려 있습니다.
서브태스크 2 (문서 단위 음모론 탐지): 전체 문서를 세 가지 카테고리 중 하나로 분류합니다: 예(Yes, 음모론임), 아니오(No, 음모론 아님), 판단 불가(Can't tell).

데이터셋은 4,100개 이상의 Reddit 게시물로 구성됩니다. 주요 난점으로 언급된 것은 표지(marker)의 조밀한 어노테이션과 문서 단위 레이블에서의 중간 정도의 클래스 불균형입니다.

방법론

저자들은 파라미터 공유나 태스크 간 특징 전이 없이 별도로 학습된 두 개의 독립적인 RoBERTa-large 기반 시스템을 제안합니다.

서브태스크 1: 경계 인지형 스팬 추출 (Boundary-Aware Span Extraction)

저자들은 이 과제를 토큰 단위 태깅이 아닌, 열거된 후보 스팬들에 대한 **다중 레이블 스팬 분류(multi-label span classification)**로 정식화했습니다.

아키텍처: 모델은 최대 길이 $L=32$ $L = 32$ 토큰까지의 모든 후보 스팬을 열거합니다. 각 스팬 $(i, j)$ $(i, j)$ 에 대해 다음과 같이 구성된 컨텍스트 표현이 구축됩니다:
- 시작 및 종료 토큰 임베딩 ( $h_i, h_j$ ).
- 스팬 내 토큰들의 평균 풀링된 임베딩 ( $\bar{h}_{i:j}$ ).
- 스팬 너비를 인코딩하는 학습된 임베딩 ( $w_{emb}$ ).
- 즉각적인 좌우측 토큰의 컨텍스트 임베딩 ( $h_{i-1}, h_{j+1}$ ).
  이 6개 구성 요소 벡터(차원 6144)는 2층 MLP를 통과하여 다섯 가지 역할을 예측합니다.
학습 전략:
- 레이블링: 정밀한 경계 학습을 강제하기 위해, 후보 스팬이 골드 스팬(gold span)과 교집합 대비 합집합(IoU)이 $\ge 0.95$ 인 경우에만 양성으로 레이블링합니다.
- 샘플링: 압도적으로 많은 음성 스팬을 처리하기 위해 3단계 샘플링 전략을 사용합니다: (1) 모든 골드 정렬 스팬, (2) 하드 네거티브(부분적으로 겹치는 스팬, IoU $\in [0.50, 0.75)$ ), (3) 무작위로 겹치지 않는 네거티브.
- 손실 함수: 클래스 불균형을 해결하기 위해 역할별로 가중치가 부여된 Binary Cross-Entropy with logits를 사용합니다.
디코딩: 예측값은 검증 데이터셋에서 튜닝된 역할별 확률 임계값 설정과 **포함 관계 기반의 비최대 억제(Non-Maximum Suppression, NMS)**를 포함하는 후처리를 거칩니다. NMS는 포함 비율과 IoU 임계값을 기준으로 겹치는 스팬을 제거하며, 이후 작은 문자 간격으로 떨어진 동일 역할의 인접 스팬들을 병합합니다.

서브태스크 2: 문서 분류

아키텍처: RoBERTa-large의 [CLS] 토큰 표현을 사용하는 표준 시퀀스 분류 방식입니다.
학습: 모델은 Cross-Entropy 손실과 과잉 확신을 줄이기 위한 레이블 스무딩(label smoothing, $\alpha=0.05$ )을 사용하여 미세 조정(fine-tuning)됩니다. 90/10 층화 추출(stratified) 훈련-검증 분할이 사용됩니다.
독립성: 이 모델은 훈련 및 추론 과정에서 서브태스크 1의 스팬 예측을 무시하고 오직 원문 텍스트만을 사용하여 작동합니다.

주요 결과

서브태스크 1: 시스템은 공식 테스트 세트(토큰 단위 IoU $\ge 0.5$ $\geq 0.5$ 로 평가)에서 매크로 F1(macro F1) 0.2251을 기록하며 참여 팀 중 7위를 차지했습니다.
- 내부 검증: 모델은 검증 세트(문자 단위 IoU $\ge 0.3$ 사용)에서 디코딩된 마이크로 F1(micro F1) 0.6501을 달성했습니다.
- 성능 격차: 이러한 성능 저하는 더 엄격한 토큰 단위 평가 지표와 경계 기준에 민감한 추상적 역할(Action, Effect, Evidence) 때문인 것으로 분석되었습니다. 개체와 유사한 역할(Actor, Victim)은 더 높은 견고성을 보였습니다.
서브태스크 2: 시스템은 가중 F1(weighted F1) 0.7694로 12위를 기록했습니다.
- 참고: 공식 평가는 "판단 불가(Can't tell)" 사례를 제외하고 608개의 샘플에 대해 지표를 계산했습니다. 이는 3개 클래스 검증 설정과는 차이가 있습니다.

의의 및 주장

본 논문은 음모론 표지에 대한 스팬 추출의 특정한 정식화와 경계 민감도 분석이 주요 기여라고 주장합니다.

하드 네거티브 마이닝 (Hard Negative Mining): 저자들은 하드 네거티브(부분적으로 겹치는 스팬)의 사용이 모델이 지나치게 넓은 스팬을 예측하는 것을 방지하여 경계 국소화(boundary localization)를 날카롭게 만드는 데 결정적임을 확인했습니다.
독립성 대 결합성 (Independence vs. Coupling): 본 시스템은 표지 추출과 문서 분류가 본질적으로 연관되어 있음에도 불구하고, 이를 독립적으로 모델링할 수 있음을 보여줍니다. 문서 분류기가 명시적인 역할 특징 없이도 경쟁력 있는 성능을 낸 것은, 음모론 신호가 원문 텍스트로부터 직접 학습될 수 있음을 시사합니다.
평가 정렬 (Evaluation Alignment): 논문은 개발 지표와 공식 평가 프로토콜 사이의 정렬이 성능에 매우 민감함을 강조합니다. 검증 점수와 테스트 점수 사이의 격차는 주로 개발 단계의 완화된 문자 단위 IoU 기준에서 최종 평가의 엄격한 토큰 단위 IoU 기준으로의 변화에 기인합니다.
한계점: 저자들은 추상적 역할이 의미적 추상성과 가변적인 스팬 길이로 인해 여전히 어렵다는 점을 겸허히 인정합니다. 또한 고정된 최대 스팬 길이( $L=32$ )가 더 긴 다중 절(multi-clause) 표지의 재현율(recall) 상한을 설정할 수 있다고 언급했습니다.

결론적으로, 현재의 시스템은 음모론 신호를 학습할 수 있지만, 향후 개선을 위해서는 역할과 분류의 공동 모델링, 구조화된 스팬 디코딩, 그리고 비판적 서사와 음모론적 프레이밍을 더 잘 구분하기 위한 심리언어학적 특징의 통합이 필요할 것이라고 밝히고 있습니다.