SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking

기술 요약: CheckThat! 2026의 SciClaimSeekers

문제 정의
과학적 주장들은 검증되는 속도보다 더 빠르게 소셜 미디어상에 확산되지만, 소셜 미디어 게시물은 원래의 학술적 출처를 링크하는 경우가 드뭅니다. 이는 자동화된 팩트 체크 시스템에 상당한 과제를 안겨줍니다. 이러한 어려움은 사용자들이 자신의 기존 신념과 일치하는 정보를 선호하는 "확증 편향(confirmation bias)"과, 비형식적이고 전문 용어가 많은 소셜 미디어 담론과 격식을 갖춘 과학 문헌 사이의 구조적 불일치로 인해 더욱 심화됩니다. 또한, 사용자 생성 콘텐츠는 연구 결과를 의역하거나 표준화된 인용 없이 느슨하게 참조하는 경우가 많아, 원래의 과학적 출처를 식별하는 것을 어렵게 만듭니다. CheckThat! 2026 태스크 1은 소셜 미디어의 주장에 대한 과학적 출처를 검색하는 문제를 구체적으로 다루며, 시스템이 소셜 미디어 게시물을 10,000개의 고정된 논문 풀 내의 정확한 출판물과 매핑하도록 요구합니다.

방법론
저자들은 노이즈가 많은 소셜 미디어 게시물과 격식을 갖춘 과학 초록 사이의 간극을 메우기 위해 설계된 3단계 "검색 후 재순위화(retrieve-then-rerank)" 파이프el인 SciClaimSeekers를 제안합니다. 시스템은 다음과 같이 작동합니다:

1. 1단계 검색 (하이브리드): 두 개의 상호 보완적인 검색기가 인덱싱된 10,000개의 논문 코퍼스(제목과 초록을 결합하여 표현)에서 병렬로 작동합니다:

   • 희소 검색 (Sparse Retrieval): 명명된 엔티티(named entities) 및 수치 값을 포착하기 위해 BM25(Okapi)를 사용합니다. 입력값은 노이즈(URL, 언급, 문장 부호)를 제거하고 정규화하는 전처리 과정을 거칩니다.
   • 밀집 검색 (Dense Retrieval): XLM-RoBERTa를 기반으로 하는 multilingual-e5-large-instruct 모델을 사용합니다. 이 모델은 쿼리와 문서를 구분하기 위해 지시어 접두사(instruction prefixes)를 사용하여, 소셜 미디어 게시물을 해당 과학 논문을 검색하기 위한 쿼리로 취급합니다. 최종 은닉 상태(final hidden states)에 대한 평균 풀링(mean pooling)과 L2 정규화를 활용하여 FAISS 인덱스를 통한 코사인 유사도 매칭을 수행합니다.
   • 퓨전 (Fusion): 두 검색기는 각각 상위 100개의 후보를 반환하며, 이 리스트들은 평활화 상수 $k=60$인 **상호 순위 융합(Reciprocal Rank Fusion, RRF)**을 사용하여 병합되어 통합된 상위 50개의 후보 세트를 생성합니다.

2. 2단계 재순위화 (LLM): 융합된 상위 50개의 후보는 오픈 소스 대규모 언어 모델인 Qwen2.5-14B-Instruct를 사용하여 재순위화됩니다.

   • 접근 방식: 모델은 **제로샷 포인트와이즈 크로스 인코더(zero-shot pointwise cross-encoder)**로 사용됩니다. 리스트와이즈(listwise) 접근 방식과 달리, 각 (소셜 미디어 게시물, 후보 논문) 쌍은 독립적으로 점수가 매겨집니다.
   • 프롬프팅: 시스템은 LLM이 과학적 출처 식별자 역할을 하도록 지시하며, 게시물이 특정 논문을 참조할 가능성에 따라 0에서 10 사이의 정수 관련성 점수를 출력하도록 합니다.
   • 출력: 후보들은 LLM 점수에 따라 정렬되며(동점 발생 시 2단계 RRF 점치로 결정), 상위 5개가 최종 예측값으로 반환됩니다.

주요 기여

1. 하이브리드 파이프라인 성능: 저자들은 하이브리드 retrieve-then-rerank 파이프라인을 제시하였으며, 이는 CheckThat! 2026 태스크 1의 영어 테스트 세트에서 참여한 37개 팀 중 11위를 차지했습니다. 시스템은 공식 테스트 세트에서 **MRR@5 64.39%**를 달이트했습니다.
2. 재순위화에서의 LLM 우위: 본 연구는 각 단계의 기여도를 분리하여, LLM 크로스 인코더가 성능의 주요 동인임을 확인했습니다. Qwen2.5-14B 재순위화기는 BM25 후보군에만 적용되었을 때나 하이브리드 융합 후보군에 적용되었을 때 모두 약 +10 MRR@5 포인트의 성능 향상을 제공했습니다. 이는 BM25 베이스라인 대비 총 +13.67포인트의 개선 중 약 4분의 3을 차지합니다.
3. 일반화 능력: 시스템은 강력한 일반화 성능을 보여주었으며, 개발 세트 점수(64.36%)와 테스트 세트 점수(64.39%) 사이의 차이가 0.03 퍼센티지 포인트에 불과하여, 튜닝 결정이 홀드아웃 데이터에도 깔끔하게 전이됨을 시사했습니다.

결과 및 분석
평균 역순위(Mean Reciprocal Rank, MRR@5), Hit@1, Hit@5를 기반으로 한 평가는 다음과 같습니다:

• 베이스라인: BM25 단독으로는 약 50%의 MRR@5를 달성했습니다. 밀집 E5 검색기는 이를 약 2포인트 향상시켰고, 하이브리드 RRF 융합은 추가로 약 1.5포인트를 더했습니다.
• 재순위화 비교: 전통적인 크로스 인코더(bge-reranker-v2-m3)는 개발 세트에서 완만한 이득을 보였으나 과적합(overfitting) 문제를 겪으며 테스트 세트에서는 하이브리드 베이스라인보다 낮은 성능을 보였습니다. 반면, 생성형 LLM 재순위화기(Qwen2.5-14B)는 상당하고 일관된 이득을 제공했습니다.
• 효율성 대 성능: LLM 재순위화기가 계산상의 병목 구간(두 개의 A40 GPU에서 테스트 세트 처리 시 약 11시간 소요)이지만, 저자들은 파이프라인이 모듈식이며 단일 노드에서 엔드 투 엔드로 실행 가능하여 오프라인 또는 개인정보 보호가 중요한 배포에 실용적이라고 언급했습니다.

의의 및 주장
본 논문은 대규모 사전 학습 모델이 주의 깊은 파이프라인에 통합될 때, 과학적 출처 검색을 위한 미세 조정(fine-tuned) 접근 방식과 경쟁할 수 있음을 주장합니다. 구체적으로, 저자들은 강력한 오픈 웨이트(open-weight) LLM을 활용한 포인트와이즈 스코어링이 작업 특화형 재순위화기를 훈련시키는 것을 대체할 수 있는 신뢰할 만한 방법이라고 주장합니다. 이 연구는 하이브리드 검색(희소 및 밀집 신호의 결합)이 필수적인 재현(recall)의 토대를 제공하지만, 순위 품질의 비약적인 도약은 재순위화 단계에서 LLM의 의미론적 이해 능력에 의해 주도된다는 점을 강조합니다. 본 시스템은 소셜 미디어의 주장을 과학적 증거와 연결하는 데 내재된 언어적, 구조적 불일치를 효과적으로 해결하는 오픈 소스 기반의 모듈형 솔루션으로 제시됩니다.