sciwrite-lint: Verification Infrastructure for the Age of Science Vibe-Writing

1. 研究背景与问题 (Problem)

当前科学界的质量保证体系面临双重危机，且随着 AI 辅助写作（"Science Vibe-Writing"）的普及而加剧：

• 期刊把关失效：同行评审过程缓慢、存在偏见，且无法有效识别伪造的引用或 AI 生成的幻觉内容（如 NeurIPS 2025 中发现了 100 个伪造引用）。
• 开放科学缺乏质控：预印本和开放仓库缺乏审查机制，仅依赖作者诚信，导致 AI 生成的文本和伪造引用直接进入公共记录。
• AI 加剧了问题：AI 写作工具生成论文的速度远超现有系统的吸收能力，且本地小模型（出于隐私考虑）比云端大模型更容易产生幻觉（伪造引用、元数据错误）。
• 核心痛点：现有的评估指标（如引用次数、期刊影响因子）衡量的是“关注度”而非“证据链的完整性”或“论证的合理性”。引用实践本身已失效（大量引用未经阅读、存在错误），且 AI 将这种“机器对机器”的伪造引用传播速度推向了极致。

目标：提出一种不依赖外部机构、完全本地化的第三种方案，直接测量论文本身，验证证据链的完整性。

---

2. 方法论与技术架构 (Methodology)

sciwrite-lint 是一个开源的、完全在本地运行的科学手稿验证管道（Pipeline）。它不将手稿发送到外部服务，仅使用免费公共数据库、开放权重模型和单张消费级 GPU。

2.1 核心验证流程 (The Verification Pipeline)

该管道分为六个主要步骤，形成从手稿到引用文献的三层验证架构（如图 1 所示）：

1. 图表分析与文本一致性检查（无网络）：

   • 使用视觉 - 语言模型（Qwen3-VL，2B 或 8B）提取所有图表的结构化描述。
   • 执行确定性检查（悬空引用、悬空交叉引用）和基于 LLM 的成对章节一致性检查（如数字矛盾、结构承诺未兑现）。
   • 利用 vLLM 的自动前缀缓存（APC）共享论文主体和图表描述，提高效率。

2. 参考文献验证（网络）：

   • 通过确定性 API 调用检查结构化标识符（DOI, arXiv ID, PMID 等）。
   • 元数据比对：将标题、作者、年份与 Canonical 记录比对。
   • 撤稿检测：交叉引用 Retraction Watch 数据库（约 6 万条记录）。
   • 跨 ID 验证：检查同一条目内 DOI、arXiv ID 等是否冲突（防止 LLM 混淆不同论文）。

3. 下载与解析：

   • 优先匹配用户提供的本地 PDF，否则从 8 个开放获取源下载。
   • 使用 GROBID 解析为结构化 Markdown，并嵌入（Snowflake Arctic Embed M v2.0）用于语义检索。
   • 提取被引论文自身的参考文献列表。

4. 被引论文一致性检查（GPU）：

   • 对被引论文执行步骤 1 中的图表和文本一致性检查（包括其自身的图表）。
   • 检测被引论文内部是否存在矛盾或错误。

5. 主张验证与参考文献链验证（GPU + 网络）：

   • 主张验证：将手稿中的主张嵌入，通过 KNN 检索匹配被引论文的相关章节，由 LLM 判断主张是否得到支持。
   • 参考文献链验证：批量检查被引论文自身的参考文献是否存在及元数据是否匹配，计算幻觉率。

6. 聚合评分：

   • 综合所有信号生成每个参考文献的可靠性分数。

2.2 评分系统：SciLint Score

该分数由两部分组成（公式 1）：
$$S(p) = \text{Integrity}(p) \times \text{Contribution}(p)$$

• 完整性分量 (Integrity)：核心评估部分。
  • 基于内部一致性（无错误发现的比例）。
  • 基于引用质量：加权平均每个引用的可靠性 $R(r_i)$ 和主张支持度 $V(p, r_i)$。
  • 引用权重 ($w_i$)：根据引用在论证中的功能赋予不同权重（如：证据支持=1.0，对比=0.9，背景=0.2）。如果作为证据的引用被证伪，分数将大幅下降。
• 贡献分量 (Contribution)：实验性扩展。
  • 将科学哲学的五个框架转化为可计算的结构性属性：
    1. 实证内容 (Popper)：主张的具体性和可证伪性。
    2. 进步性 (Lakatos)：新预测与特设性调整的比例。
    3. 解释统一性 (Kitcher)：跨研究社区的引用图桥接。
    4. 问题解决有效性 (Laudan)：声称解决的问题与承认的局限性之比。
    5. 检验严重性 (Mayo)：消融实验、强基线、替代解释的处理。
  • 注：刻意排除了“新颖性”，因为新颖性难以在发表时横向评估。

2.3 技术实现特点

• 本地优先：所有手稿数据保留在用户机器上，仅发送元数据（DOI、标题）到 API。
• 非代理架构：LLM 仅作为语义处理引擎，不自主规划或搜索。流程是确定性的、可审计的。
• 资源优化：针对单张消费级 GPU（如 RTX 4000 Ada）优化，通过模型卸载、KV 缓存交换和前缀缓存技术，在 20GB 显存上运行多个模型。
• 安全模型：防止提示注入（Prompt Injection），所有外部 API 调用在 LLM 处理之前完成，LLM 输出严格限制为结构化 JSON。

---

3. 主要贡献 (Key Contributions)

1. sciwrite-lint 工具：首个完全本地化、可 pip install 的开源验证管道，运行于开放权重模型和免费数据库之上。
2. 自动化的引用图追踪：不仅验证引用是否存在，还自动下载、解析被引论文，验证其内容是否支持主张，并进一步检查被引论文的参考文献（一层深度）。
3. 结构化管道设计：在确定性检查（API、正则）和语义理解（LLM）之间取得平衡，确保在单卡 GPU 上的可复现性和可审计性。
4. 实证评估：在 30 篇未见过的 arXiv/bioRxiv 论文上进行了评估，包括错误注入测试和 LLM 裁决的误报分析。
5. SciLint Score 提案：提出了一种结合完整性验证与科学哲学框架的贡献评估指标，并作为实验代码开源。

---

4. 评估结果 (Results)

• 错误注入召回率：在 68 个合成错误（伪造引用、断裂交叉引用）中，检测到了 67 个，召回率达到 98.5%，且无假阳性。
• 真实世界评估：
  • 在 30 篇论文中，27 篇成功完成全流程。
  • 假阳性分析：早期版本在缺乏 DOI 的 PDF 论文中，因依赖朴素标题匹配导致误报率较高（约 60% 的 Top 20 发现被判定为误报）。
  • 改进措施：引入了基于 GROBID 提取结构化 ID 的确定性验证，以及基于多信号（标题相似度、作者重叠、年份惩罚等）的匹配引擎，显著降低了误报。
• 校准测试：
  • 在 20 篇已知论文（含诺贝尔奖作品和已撤稿欺诈论文）的排序测试中，38 个序数约束中有 30 个通过（79%）。
  • 案例：
    • LK-99 (2023)：尽管实证内容高，但因“问题解决有效性”为零且缺乏方法论自我意识，受到惩罚，得分较低。
    • 诚实的复现研究 (Camerer 2018)：虽然“进步性”低，但因“检验严重性”高而获得合理评分。
    • 撤稿论文：均排在底部。
• 性能：对于 50 个引用的论文，初始运行约需 30 分钟（主要耗时在主张验证），缓存后仅需几分钟。

---

5. 意义与影响 (Significance)

• 应对 AI 时代的科学危机：提供了一种不依赖人工审查、可扩展的自动化验证方案，专门针对 AI 写作带来的“引用幻觉”和“证据链断裂”问题。
• 范式转变：从“测量关注度”（引用数、期刊排名）转向“测量论文本身”（证据真实性、论证逻辑）。
• 隐私与去中心化：通过本地化运行，解决了研究人员担心手稿泄露给第三方 AI 服务的隐私问题，避免了建立新的中央审查权威。
• 可操作的反馈：不仅给出分数，还提供雷达图诊断（如“主张模糊”、“缺乏消融实验”、“引用来源单一”），直接指导写作改进。
• 生态系统整合：可作为期刊编辑的预筛选工具、预印本的质量信号，以及 AI 代理（RAG 系统）的摄入过滤器，防止低质量或伪造内容污染知识库。

总结：sciwrite-lint 不仅仅是一个检查工具，它是为“科学氛围写作”时代构建的基础设施，旨在通过自动化、可审计的本地验证，重建科学文献的信任链条。其核心在于不信任任何未经验证的引用，并通过计算手段将科学哲学的原则转化为具体的代码逻辑。