AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

본 논문은 의미적 모호성과 구조적 취약성을 해결하기 위해 동적 변별적 체인 오브 씽킹 (DD-CoT) 과 '반-에코 챔버' 아키텍처를 도입한 에이전트 기반 LLM 파이프라인을 제안하여, 심리언어학적 음모 표지 추출 및 음모 지지 감지 과제에서 기존 베이스라인 대비 Macro F1 점수를 각각 100% 와 49% 향상시킨 SemEval-2026 태스크 10 참여 결과를 보고합니다.

핵심

🕵️‍♂️ 음모론 탐정단: AILS-NTUA 의 SemEval 2026 도전기

이 논문은 2026 년 'SemEval'이라는 AI 언어 분석 대회에서, 인공지능이 어떻게 '음모론 (Conspiracy Theory)'을 찾아내고, 그것이 진짜 믿는 것인지 아니면 그냥 '뉴스를 전하는 것'인지 구별할 수 있는지에 대한 이야기를 담고 있습니다.

한국어 번역과 함께, 복잡한 기술 용어를 친숙한 비유로 풀어보겠습니다.

---

1. 문제: AI 는 왜 헷갈려 할까요?

음모론은 매우 교묘합니다.

• 진짜 음모론자: "정부와 기업이 우리를 독살하고 있어요!" (진짜 믿고 주장함)
• 뉴스 기자: "일부 사람들은 정부가 독살한다고 주장합니다." (그냥 사실만 전달함)

기존의 AI 는 이 두 가지를 구분하지 못해, 기사가 쓴 "주장합니다"라는 문장만 보고 "아, 이 기사도 음모론을 믿는구나!"라고 잘못 판단하는 경우가 많았습니다. 이를 논문에서는 **'리포터의 함정 (Reporter Trap)'**이라고 불렀습니다.

2. 해결책: "혼자서 다 하기" 대신 "팀워크"

이 연구팀은 AI 를 혼자 일하게 하지 않고, **전문가들로 구성된 '팀 (에이전트)'**을 꾸렸습니다. 마치 법정의 배심원단이나 수사팀처럼요.

🕵️‍♀️ 단계 1: 증거 수집 (S1 - 마커 추출)

**"Dynamic Discriminative Chain-of-Thought (DD-CoT)"**라는 기법을 썼습니다.

• 비유: 단순히 "누가 무엇을 했나?"를 찾는 게 아니라, **"왜 이것이 '범인 (Actor)'이고 '피해자 (Victim)'가 아닌가?"**를 스스로 반박하며 생각하게 만든 것입니다.
• 예시: 문장이 "공중이 조작당했다"라고 하면, 문법상 '공중'이 주어지만, 의미상 '공중'은 피해자입니다. AI 가 "아, 공중은 범인이 아니라 피해자야!"라고 스스로 논리적으로 반박하며 정확한 위치를 찾아냅니다.

⚖️ 단계 2: 최종 판결 (S2 - 음모론 여부 판단)

여기서는 **'반향실 (Echo Chamber) 을 깨는 회의실'**을 만들었습니다.

• 비유: 한 사람이 판단하면 편견이 생기기 쉽습니다. 그래서 4 명의 서로 다른 성격의 배심원을 소집했습니다.
  1. 검사 (Prosecutor): "이 글에 음모론적인 의도가 숨어있지 않나?"라고 공격적으로 찾아봅니다.
  2. 변호사 (Defense): "아니야, 이건 그냥 뉴스 전달일 뿐이야. 증거가 부족해!"라고 반박합니다.
  3. 문자주의자 (Literalist): "글자 그대로만 봐. '주장했다'라고 썼으면 믿는 게 아니야."라고 엄격하게 따집니다.
  4. 심리 분석가 (Profiler): "글의 어조가 너무 감정적이거나, 특정 은어 (예: '새끼들', '세계정부') 를 썼네?"라고 분석합니다.

이 4 명이 서로의 말을 듣지 않고 독립적으로 의견을 낸 뒤, **판사 (Calibrated Judge)**가 이들을 종합하여 최종 판결을 내립니다. 만약 의견이 엇갈리면, 판사는 "의심스러우면 무죄 (음모론 아님)"로 판단하는 보수적인 원칙을 따릅니다.

3. 성과: 얼마나 잘했나요?

이 팀의 방식은 기존 방식보다 훨씬 뛰어났습니다.

• S1 (증거 찾기): 기존 점수 (0.12) 를 **2 배 (0.24)**로 끌어올렸습니다.
• S2 (판단하기): 기존 점수 (0.53) 를 **약 1.5 배 (0.79)**로 높였습니다.

가장 큰 성과는 **'리포터의 함정'**을 피했다는 점입니다. 기사가 음모론을 전할 때, AI 가 "아, 이 기사는 음모론을 믿는 게 아니야"라고 정확히 구분해냈습니다.

4. 핵심 요약 (한 줄 정리)

"AI 가 혼자서 모든 걸 판단하려다 보니 헷갈렸는데, 이 연구팀은 AI 에게 '검사, 변호사, 판사' 역할을 맡겨 서로 토론하게 함으로써, 진짜 믿는 음모론과 그냥 전하는 뉴스 구분을 완벽하게 해냈습니다."

5. 한계점 (현실적인 이야기)

물론 완벽하지는 않습니다.

• 풍자와 아이러니: "아, 맞아. 지구는 평평하고, 새들은 가짜야!"라고 **농담 (풍자)**으로 쓴 글은 AI 가 가끔 진짜로 믿는 줄 알고 오해하기도 합니다. (이건 인간도 헷갈리는 '포의 법칙' 영역입니다.)
• 맥락 부족: 글자만 보고 판단하다 보니, 글쓴이의 과거 글이나 글이 올라온 커뮤니티 분위기 같은 '맥락'을 모르면 헷갈릴 수 있습니다.

결론

이 연구는 AI 가 단순히 "단어를 찾아내는 것"을 넘어, 문장의 뉘앙스와 논리를 깊이 있게 이해해야만 복잡한 사회적 문제를 해결할 수 있음을 보여줍니다. 마치 수사관이 단서만 보는 게 아니라, 범인의 심리와 상황을 종합적으로 분석해야 범죄를 해결하는 것과 같습니다.

기술 요약

AILS-NTUA at SemEval-2026 Task 10: 심리언어학적 마커 추출 및 음모론 지지 탐지를 위한 에이전트 LLM 파이프라인 기술 요약

이 논문은 SemEval-2026 Task 10 (심리언어학적 음모론 마커 추출 및 음모론 지지 탐지) 에 참여하여, 에이전트 기반 대규모 언어 모델 (Agentic LLM) 파이프라인을 제안한 AILS-NTUA 팀의 연구 결과를 다룹니다. 기존 분류기들이 의미론적 추론과 구조적 위치 추출을 혼동하는 문제를 해결하기 위해, 두 작업을 분리하고 상호 보완적인 에이전트 구조를 도입한 것이 핵심입니다.

1. 문제 정의 (Problem)

음모론은 불확실성과 사회적 위협 상황에서 인간의 심리적 필요를 충족시키며 확산되지만, 이는 사실에 대한 신뢰를 훼손하고 정치적 양극화를 심화시킵니다. 기존 NLP 연구는 음모론 탐지를 단순한 이진 분류 (Binary Classification) 로 접근하여, 음모론적 사고가 언어로 어떻게 구체화되는지에 대한 **미세한 심리언어학적 마커 (Psycholinguistic Markers)**의 위치와 유형을 식별하는 데 한계가 있었습니다.

SemEval-2026 Task 10 은 두 가지 하위 과제를 제시합니다:

• S1 (마커 추출): ACTOR(행위자), ACTION(행위), EFFECT(결과), VICTIM(피해자), EVIDENCE(증거) 등 5 가지 심리언어학적 범주로 텍스트 내 마커 스페인 (Span) 을 정확히 추출.
• S2 (음모론 지지 탐지): Reddit 댓글이 음모론을 지지하는지 (Endorsement), 단순히 보고하는지 (Reporting), 혹은 반박하는지 구분. 여기서 '리포터 트랩 (Reporter Trap)' 즉, 중립적인 보도를 음모론 지지로 오인하는 오류가 주요 난제입니다.

2. 방법론 (Methodology)

연구팀은 단일 모델의 추론에 의존하는 대신, 두 단계의 에이전트 워크플로우를 설계하여 의미론적 판단과 결정론적 연산을 분리했습니다.

2.1 S1: 마커 추출을 위한 DD-CoT (Dynamic Discriminative Chain-of-Thought)

기존 CoT 의 적응적 추론에 명시적 변별 (Discrimination) 단계를 추가한 DD-CoT 프레임워크를 도입했습니다.

• 구조: Generator(생성) → Enhanced Critic(비판) → Refiner(수정) → Deterministic Verifier(검증) 의 자기 정제 (Self-Refine) 루프.
• 핵심 기법:
  • 변별적 추론: 모델이 마커를 할당할 때, 왜 해당 레이블이 맞고 다른 유사 레이블 (예: ACTOR vs VICTIM) 은 틀린지에 대한 **반대 논거 (Counter-argument)**를 명시적으로 요구하여 의미적 모호성을 해소합니다.
  • 결정론적 앵커링: LLM 이 생성한 텍스트 스트링을 원본 텍스트의 정확한 문자 오프셋 (Character Offsets) 에 매핑하기 위해 LLM 추론과 결정론적 매칭 로케이터를 분리했습니다. 이를 통해 '환각된 스페인 (Hallucinated Spans)'과 오프바이원 (Off-by-one) 오류를 방지합니다.
  • 대조적 Few-shot 검색: 희귀 마커 유형 (EVIDENCE, VICTIM) 과 부정적 예시를 균형 있게 포함하도록 계층적 검색 (Stratified Retrieval) 을 수행합니다.

2.2 S2: '반-에코 챔버 (Anti-Echo Chamber)' 아키텍처

단순 분류기가 겪는 '리포터 트랩'을 해결하기 위해, 상반된 관점을 가진 **병렬 심의 위원회 (Parallel Council)**와 **보정 판사 (Calibrated Judge)**로 구성된 구조를 채택했습니다.

• 포렌식 프로파일러 (Forensic Profiler): LLM deliberation 전에 Attribution(귀속), Shouting(감정적 강도), JAQing("Just Asking Questions" 수사법) 등 결정론적 언어 신호를 추출하여 경고 신호로 제공합니다.
• 병렬 심의 위원회: 서로 다른 페르소나 (Prosecutor, Defense Attorney, Literalist, Stance Profiler) 가 동일한 입력을 받아 서로 다른 의견을 독립적으로 제시합니다.
  • 검사: 음모론 지지 증거 탐색.
  • 변호인: 보도/반박/풍자 증거 탐색 (False Positive 방지).
  • 문자주의자: 텍스트의 문자적 함의와 입증 책임 검토.
  • 입장 프로파일러: 확신, 프레임, 집단 역학 분석.
• 보정 판사 (Calibrated Judge): 심의 위원회의 투표와 포렌식 데이터를 종합하여 최종 판결을 내립니다. 증거가 모호하거나 상충될 경우 보수적으로 '비음모론 (Non)'으로 판단하도록 설계되어 리포터 트랩을 억제합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 에이전트 기반 접근법: 심리언어학적 마커 추출 및 지지 탐지를 위한 첫 번째 에이전트 LLM 기반 방법론을 제시했습니다.
2. DD-CoT 프레임워크: 명시적 반박 논거를 통해 의미적 모호성을 해소하고, 결정론적 위치 추출을 통해 신뢰할 수 있는 스페인 추출을 가능하게 했습니다.
3. 반-에코 챔버 아키텍처: 대조적 검색과 다중 에이전트 심의를 통해 '리포터 트랩'을 극복하고, 중립적 보도와 음모론 지지를 명확히 구분했습니다.
4. 포괄적 실증 분석: 에이전트 구성 요소별 제거 실험 (Ablation Study), 지연 시간 프로파일링, 그리고 8B 오픈 가중치 모델 (Qwen-3-8B) 로의 전이 학습 가능성을 검증했습니다.

4. 실험 결과 (Results)

개발 세트 (Dev Set) 및 테스트 세트 (Test Set) 에서 기존 제로샷 (Zero-shot) GPT-5.2 베이스라인 대비 획기적인 성능 향상을 보였습니다.

과목	메트릭	베이스라인 (Zero-shot)	제안 시스템 (Agentic)	향상폭
S1 (마커 추출)	Macro F1 (Dev)	0.12	0.24	+100%
S2 (지식 탐지)	Macro F1 (Dev)	0.53	0.79	+49%

• S1: DD-CoT 를 통해 ACTOR 식별 정확도가 2.7 포인트 향상되었으며, 결정론적 검증기를 통해 오탐을 줄였습니다.
• S2: 대조적 검색과 심의 위원회 구조로 인해 위양성 (False Positive) 비율이 50% 감소 (0.160 → 0.080) 하였고, 재현율 (Recall) 이 16.4% 증가했습니다.
• 순위: S1 개발 세트에서 3 위, 테스트 세트에서 10 위 (상위 시스템과 0.05 F1 차이) 를 기록했습니다.
• 모델 전이: Qwen-3-8B 와 같은 소형 오픈 모델에서도 핵심 에이전트 논리가 유효하게 전이됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 모델의 규모 확장 (Scaling) 대신 **워크플로우 구조 (Workflow Structure)**와 다중 에이전트 협업을 통해 복잡한 심리언어학적 NLP 과제를 해결할 수 있음을 입증했습니다.

• 해석 가능성: 음모론이 어떻게 언어적으로 구성되는지 (행위자, 피해자, 증거의 역할 등) 를 해석 가능한 마커 단위로 추출함으로써, 단순 분류를 넘어선 심층 분석을 가능하게 합니다.
• 오류 메커니즘 해결: '리포터 트랩'과 같은 LLM 의 인지적 편향을 구조적 설계 (대조적 심의) 로 완화하는 새로운 패러다임을 제시했습니다.
• 한계 및 향후 과제: 고맥락 아이러니 (High-context irony) 나 풍자 (Sarcasm) 인식은 여전히 어려우며, 이를 해결하기 위해서는 문서 수준의 맥락 (스레드 구조, 사용자 이력) 이나 인간 개입 (Human-in-the-loop) 이 필요함을 지적했습니다.

결론적으로, 이 시스템은 음모론 탐지 도구로서의 실용성을 높일 뿐만 아니라, LLM 이 생성하는 정보의 신뢰성을 평가하고 해석하는 새로운 표준을 제시한다는 점에서 의의가 큽니다.