Categorizing Mathematical Concepts with LLM Voting Ensembles in Mathswitch

기술 요약: Mathswitch에서의 LLM 투표 앙상블을 이용한 수학적 개념의 범주화

문제 정의
Mathswitch 프로젝트는 서로 다른 자원들(예: Wikidata, Wikipedia, MathWorld, Agges-Unimath) 간에 수학적 개념을 연결하는 것을 목표로 하며, 레코드를 가져오고 동일한 아이디어를 참조하는 항목들을 연결하는 작업을 수행한다. 그러나 Mathswitch는 Wikidata 그래프에 대한 SPARQL 쿼리를 통해 수학적 개념의 집합을 근사하기 때문에, 가져온 데이터는 본질적으로 노이즈를 포함하고 있다. 이러한 노이즈는 두 가지 방식으로 나타난다: 잘못된 태깅으로 인해 수학적이지 않음이 명백함에도 쿼리 패턴에 일치하는 항목, 그리고 수학적 의미와 비수학적 의미를 모두 가진 진정으로 모호한 용어들이다. 본 논문은 전문적인 도메인 지식이 필요한 엣지 케이스(edge cases)의 특성상 수동으로 라벨링된 학습 데이터셋을 제작하기 어렵다는 점을 고려하여, 이 노이즈를 필터링하여 교차 참조 네트워크의 신뢰성을 확보하는 과제를 다룬다.

방법론
저자들은 다음 세 단계로 구성된 자동화된 범주화 파이프라인을 제안하고 평가한다:

1. 데이터 추출(Data Retrieval): 속성 경로(예: 수학에서 연구되는 주제의 인스턴스인 항목들)를 기반으로 후보 항목을 가져오기 위해 Wikidata에 대한 SPARQL 쿼리가 실행된다. 시스템은 또한 연관된 영어 위키피디아 문서 텍스트와 외부 식별자(MathWorld, nLab 등)를 함께 가져온다.
2. LLM 투표 앙상블(LLM Voting Ensemble): 전용 분류기를 학습시키는 대신, 시스템은 "판사" 역할을 하는 여러 개의 독립적인 대규모 언어 모델(LLM)의 투표 앙상블을 활용한다.
   • 입력: 각 후보 항목은 항목의 이름, 설명, 추출된 키워드, 그리고 문서 텍스트를 포함하는 구조화된 프롬프트와 함께 각 LLM에 제시된다.
   • 작업: 각 판사는 이진 질문("해당 개념이 수학적 개념인가?")에 답하고 신뢰도 점수(0–100)를 제공한다.
   • 앙상블: 시스템은 로컬 환경(Ollama를 통해 호스팅됨)에서 구동되는 이질적인 모델 풀(구체적으로 DeepSeek-R1 14B, Gemma-3 12B, Qwen-2.5 14B)을 사용한다. 다수결 투표를 통해 최종 분류가 결정된다.
   • 피드백 루프: 다수에 의해 비수학적 개념으로 분류된 항목은 이후의 임포트를 위해 SPARQL 제외 목록에 자동으로 추가되어, 스스로 정교해지는 데이터 파이프라인을 형성한다.
3. 네트워크 구축(Network Construction): 필터링된 항목들은 서로 다른 출처의 레코드를 병합하기 위해 유니온-파인드(Union-Find) 알고리즘을 사용하여 통일된 개념으로 그룹화된다.

주요 결과
시스템은 2026년 4월에 임포트된 16,385개 항목의 데이터셋을 통해 평가되었다.

• 양성 대조군(Positive Control): MathWorld 식별자를 가진 것으로 알려진(수학적이라고 가정되는) 1,000개 항목의 샘플에 대해, 앙상블은 **98.2%**의 정확도를 달-성했다.
• 표면 표식에 대한 강건성(Robustness to Surface Markers): 프롬프트 컨텍스트에서 "MathWorld"에 대한 참조를 제거했을 때, 정확도는 약 1% 포인트만 하락하였다. 이는 모델들이 지름길로서 데이터베이스 식별자가 아닌 의미론적 내용에 의존하고 있음을 나타낸다.
• 음성 대조군(Negative Control): 물리학 개념 500개에 대한 샘플에서, 앙상블은 86%를 비수학적 개념으로 올바르게 분류했다. 수학적 개념으로 분류된 소수의 항목(4.8%)은 물리학과 수학이 겹치는 정당한 경계 사례(예: 미분 방정식, 대칭군)로 식별되었다.
• 오류 분석: 저자들은 앙상블이 MathWorld 라벨과 불일치한 48개 항목을 분석하였으며, 이를 세 가지 유형으로 분류했다:
  1. 퇴행적 설명(Degenerate Descriptions): "Wiener sausage"가 단지 "수학적 개념"으로만 설명되는 것과 같이 동의어 반복적이거나 빈약한 설명을 가진 항목들은, 특히 Gemma 모델이 표면적인 이름에 기반하여 오분류하게 만들었다.
  2. 좁은 범위 편향(Narrow Scope Bias): 한 모델(Gemma)은 응용 맥락(예: 양자 역학에서의 파울리 행렬)을 가진 항목들을 순수 수학이 아닌 응용 분야로 간주하여 자주 거부하는 경향을 보였다.
  3. 편집 범위 불일치(Editorial-Scope Mismatches): 판사들에 의해 만장일치로 거부되었으나 MathWorld에는 존재하는 항목들(예: 신호 처리 도구)은 MathWorld의 편집 범위가 판사들의 작업 정의보다 더 넓음을 시사한다.

의의 및 주장
본 논문은 LLM 투표 앙상블이 Wikidata에서 임포트된 노이즈 섞인 수학적 개념 데이터를 위한 실용적이고 효과적인 필터 역할을 한다고 주장한다. 이 연구의 의의는 완벽한 정확도를 달성하는 데 있는 것이 아니라, 다음을 입증하는 데 있다:

• 제로샷(zero-shot) 앙상블 접근 방식이 라벨링된 학습 데이터 없이도 높은 신뢰성(98.2%)을 달성할 수 있다는 점.
• 앙상블의 특정 실패 모드들이 분리 가능하며 실행 가능하다는 점. 저자들은 대부분의 오류가 근본적인 LLM 방식의 결함보다는 상류 데이터 품질 문제(퇴행적 설명)나 정의상의 불일치(편집 범위)에서 기인함을 확인했다.
• 분류 결과가 데이터 수집 과정을 직접적으로 개선하여 향후 임포트의 품질을 높이는 피드백 루프를 제공한다는 점.

저자들은 MathWorld 식별자를 정답(ground truth)의 대리 지표로 사용했다는 점(이 자체도 경계 영역에서는 노이즈가 존재함)과 식별자가 없는 1,500개 항목의 샘설에는 거짓 양성률(false positive rate)을 계산할 정답이 없다는 점을 언급하며 겸허한 태도를 유지했다. 그들은 앙상블이 유효한 필터이기는 하지만, 향-후 연구는 퇴행적 설명을 풍부하게 하고 수학적 개념의 정의를 참조 코퍼스와 더 잘 일치하도록 정교화하는 데 집중해야 한다고 결론지었다.