1. 문제 제기 (Problem)

현재 과학계의 품질 보증 시스템은 두 가지 주요 옵션을 제공하지만, 둘 다 AI 시대의 도래와 함께 한계에 직면해 있습니다.

• 저널 게이트키퍼 (Journal Gatekeeping): 동료 검토 (Peer Review) 는 신뢰성과 공헌도를 검증한다고 주장하지만, 실제로는 '명성'을 측정합니다. 이는 느리고 편향적이며, 심지어 최상위 권위지에서도 조작된 인용 (fabricated citations) 을 놓치고 있습니다.
• 오픈 사이언스 (Open Science): 사전 출판 (Preprint) 이나 오픈 리포지토리는 품질 보증이 전혀 없습니다. AI 가 생성한 텍스트와 공공 기록 사이의 유일한 필터는 저자의 정직성일 뿐입니다.
• AI 보조 작성 (Science Vibe-Writing): AI 를 활용한 작성은 문장을 유창하게 만들어 더 많은 논문을 빠르게 생산하지만, 이는 기존 시스템이 흡수할 수 있는 속도보다 훨씬 빠릅니다. 특히 로컬 LLM 은 환각 (hallucination) 이 더 자주 발생하여 허위 인용과 메타데이터 오류를 증가시킵니다.
• 핵심 문제: 현재 시스템은 논문 자체의 내용 (증거의 진실성, 주장의 타당성) 을 직접 측정하지 않고, 인용 횟수나 저널 순위 같은 대리 지표 (proxies) 만을 사용합니다.

2. 제안된 솔루션 및 방법론 (Methodology)

저자는 위 두 가지 대안을 넘어 "논문 자체를 측정 (Measure the paper itself)" 하는 제 3 의 옵션인 sciwrite-lint 를 제안합니다. 이는 연구자의 로컬 머신에서 실행되는 오픈 소스 검증 파이프라인입니다.

2.1 아키텍처 및 실행 흐름

• 로컬 실행: 모든 manuscripts 는 외부로 전송되지 않으며, 무료 공개 데이터베이스와 오픈 가중치 모델 (Open-weights models), 단일 소비자 GPU 에서 실행됩니다.
• 검증 파이프라인 (6 단계):
  1. 문서 분석: 비전 - 언어 모델 (Qwen3-VL) 을 사용하여 그림을 분석하고 텍스트 일관성, dangling citations(연결되지 않은 인용), 섹션 간 모순 등을 확인합니다.
  2. 참조 검증: DOI, arXiv ID 등 구조화된 식별자를 통해 CrossRef, Retraction Watch 등 API 를 호출하여 존재 여부, 메타데이터 정확도, 철회 (Retraction) 상태를 확인합니다. 식별자가 없는 경우 커스텀 매칭 엔진을 사용합니다.
  3. 다운로드 및 파싱: 인용된 논문 1 차원 (1 level deep) 을 다운로드하고 GROBID 를 통해 파싱하여 마크다운으로 변환 및 임베딩합니다.
  4. 인용 논문 일관성 확인: 다운로드된 인용 논문 내에서 그림과 텍스트의 일관성, 구조적 약속 등을 다시 검증합니다.
  5. 주장 검증 및 참고문헌 확인:
     • 주장 검증: 논문의 주장이 인용된 논문의 실제 내용 (KNN 검색 + LLM) 을 통해 지지되는지 확인합니다.
     • 참고문헌 확인: 인용된 논문이 참조한 2 차 참고문헌들의 존재와 메타데이터를 API 를 통해 대량 확인합니다.
  6. 집계: 모든 신호 (메타데이터, 일관성, 주장 지지, 참고문헌) 를 종합하여 참조별 신뢰도 점수 (Per-reference reliability score) 를 산출합니다.

2.2 SciLint Score (지표)

논문의 품질을 평가하는 새로운 지표로, 정직성 (Integrity) 과 공헌도 (Contribution) 를 결합합니다.

• 정직성 (Integrity): 증거가 실재하는지 여부. 인용된 논문의 신뢰도, 주장의 지지 여부, 메타데이터 정확도 등을 기반으로 계산됩니다.
• 공헌도 (Contribution): 주장이 중요한지 여부. 과학 철학의 5 가지 프레임워크 (Popper, Lakatos, Kitcher, Laudan, Mayo) 를 계산 가능한 구조적 속성으로 변환하여 평가합니다.
  • Popper: 반증 가능한 주장의 비율 (경험적 내용).
  • Lakatos: 새로운 예측 대 임시적 조정의 비율 (진보성).
  • Kitcher: 연구 커뮤니티 간 연결 (통합성).
  • Laudan: 문제 해결 효과성.
  • Mayo: 엄격한 테스트 (절차적 엄격성).
• 점수 공식: $S(p) = I(p) \times (\text{인용 품질}) \times (\text{공헌도})$. 점수는 곱셈 구조이므로, 진실하지만 공허한 논문이나 공허하지만 진실한 논문은 낮은 점수를 받습니다.

3. 주요 기여 (Key Contributions)

1. sciwrite-lint 오픈 소스 파이프라인: 완전히 로컬에서 실행되며, pip install 로 설치 가능한 첫 번째 과학 논문 검증 도구입니다.
2. 자동화된 참고문헌 검증: 인용된 논문을 자동으로 다운로드, 파싱, 검증하고, 해당 논문의 참고문헌까지 1 단계 깊이까지 추적하여 허위 인용과 메타데이터 오류를 포착합니다.
3. 구조화된 파이프라인 (Agentic 아키텍처 아님): LLM 을 자율 에이전트가 아닌 '의미 처리 엔진'으로만 사용합니다. 결정론적 API 호출과 LLM 을 결합하여 재현성과 감사 가능성을 보장합니다.
4. 실제 코퍼스 평가: arXiv 와 bioRxiv 의 30 편의 unseen 논문을 대상으로 오류 주입 (Error Injection) 및 LLM 판정 기반의 오탐 (False Positive) 분석을 수행했습니다.
5. SciLint Score 제안: 과학 철학 프레임워크를 계산 가능한 메트릭으로 변환한 실험적 공헌도 평가 모델을 공개했습니다.

4. 평가 결과 (Results)

• 오류 탐지율 (Recall): 68 개의 합성 오류 (가짜 인용, 끊어진 참조 등) 를 주입한 실험에서 98.5% 의 재현율 (Recall) 을 달성했습니다 (67/68 탐지).
• 오탐 (False Positive) 분석: 초기 평가에서 PDF 기반 논문의 제목 매칭 시 오탐이 발생했으나, 구조화된 식별자 추출 및 개선된 매칭 엔진 도입으로 해결되었습니다.
• SciLint Score 검증:
  • 노벨상 수상 논문 (LIGO, Graphene 등) 은 높은 점수를, 사기 논문 (LK-99, LaCour 등) 은 낮은 점수를 받아 기대 순위와 일치했습니다.
  • LK-99 논문의 경우, 높은 '진보성' 점수에도 불구하고 '문제 해결 효과성'이 0 에 가까워 패널티가 적용되어 낮은 최종 점수를 받았습니다.
  • 20 편의 논문과 38 개의 순서 제약 (Ordinal constraints) 중 79% 가 통과했습니다.
• 성능: 50 개의 참고문헌이 있는 논문의 초기 실행은 약 30 분 소요되지만, 캐싱이 적용된 후속 실행은 수 분 내에 완료됩니다.

5. 의의 및 중요성 (Significance)

• AI 시대의 새로운 품질 보증: AI 가 생성한 논문이 폭발적으로 증가하는 상황에서, 저널의 동료 검토나 오픈 사이언스의 무방비 상태 대신 논문 자체의 증거 체인을 검증하는 새로운 인프라를 제공합니다.
• 프라이버시 및 보안: 논문 내용이 외부 서버로 전송되지 않아 연구 기밀을 보호하며, 로컬 GPU 에서 실행되어 접근성을 높입니다.
• 과학 철학의 계산화: Popper, Lakatos 등 추상적인 과학 철학 개념을 실제 논문의 구조적 속성으로 변환하여 정량화하는 선구적인 시도를 했습니다.
• AI 에이전트용 필터: RAG(검색 증강 생성) 시스템이나 자동화된 문헌 검토자가 신뢰할 수 있는 논문만 지식 베이스에 포함하도록 하는 '게이트키퍼' 역할을 할 수 있습니다.
• 투명성과 감사 가능성: 모든 검증 로직과 데이터 흐름이 오픈 소스로 공개되어, 검증 도구 자체가 검증 가능해야 한다는 원칙을 따릅니다.

이 논문은 과학 출판 생태계가 AI 시대에 적응하기 위해 '저널의 권위'나 '인용 수'가 아닌, 논문 내부의 증거와 논리 구조를 직접 검증하는 기술적 인프라가 필수적임을 강력하게 주장합니다.