AISysRev -- LLM-based Tool for Title-abstract Screening

以下是基于论文《AISysRev - LLM-based Tool for Title-abstract Screening》的详细技术总结：

1. 研究背景与问题 (Problem)

• 系统性综述（SR）的瓶颈：在软件工程（SE）及其他领域，进行系统性综述是一项耗时且劳动密集的任务，平均耗时约 67 周。其中，“标题 - 摘要筛选”（Title-abstract Screening）阶段尤为繁重，往往需要处理数千甚至数万个文献（例如某研究涉及近 2.5 万篇）。
• 现有工具的局限性：
  • 开源工具（如 AIReview, ASReview, DenseReviewer）：存在局限性，如对多 LLM 提供商支持有限、文档不足、或已停止维护。
  • 商业闭源工具（如 Elicit, Consensus, Rayyan）：虽然功能完善，但缺乏透明度，用户无法查看底层模型、参数、提示词（Prompts）或具体的提示技术，且通常旨在提供端到端支持，可能导致小错误累积影响最终质量。
• LLM 应用的挑战：虽然大语言模型（LLM）在筛选任务上表现出潜力（达到硕士生水平），但存在提示词敏感性、随机性、误报（False Negatives）以及不同任务间性能差异大的问题。此外，缺乏一个能够灵活支持多种模型、并行处理且透明可解释的专用筛选工具。

2. 方法论与系统设计 (Methodology)

作者开发了 AISysRev，一个基于 LLM 的容器化 Web 应用程序，旨在辅助人类进行标题 - 摘要筛选。

核心架构

• 技术栈：
  • 后端：Python（利用 asyncio 进行异步编程，支持高并发）。
  • 前端：React.js（提供用户界面）。
  • Worker 服务：Python 专用服务器处理 LLM 特定功能。
  • 数据存储：PostgreSQL（持久化数据），Redis（内存缓存，用于调度 API 调用），MinIO（对象存储，兼容 S3 API）。
• 部署方式：基于 Docker 容器化部署，支持本地运行或云端（AWS, Azure, GCP）部署，组件可独立扩展。

关键功能特性

1. 多模型支持：
   • 支持通过 OpenRouter 访问主流提供商（OpenAI, Google, Anthropic, Meta, Mistral 等）。
   • 支持 OpenAI SDK 兼容的本地部署模型。
   • 允许用户自定义模型参数（如 temperature, top_p）。
2. 提示策略（Prompting Strategies）：
   • 零样本（Zero-shot, ZS）：仅基于预定义的纳入/排除标准进行评估。
   • 少样本（Few-shot, FS）：允许用户上传已评估的样本（包含和排除的论文）作为示例，引导 LLM 提高准确性。
3. 人机协同工作流（Human-in-the-Loop）：
   • 双视图设计：
     • 单篇筛选视图：人工逐篇筛选，同时显示多个 LLM 的推荐结果（二元决策、序数评分、概率值）。
     • 排序筛选视图：根据多个 LLM 计算的平均纳入概率对论文排序。适用于快速综述（Rapid Reviews），可设定截断规则（如连续排除 10 篇即停止）。
   • 不确定性可视化：LLM 输出不仅包含“包含/排除”的二元决策，还包含 Likert 量表评分（1-7）和 0.0-1.0 的概率值，帮助人类识别边界案例（Boundary Cases）。
4. 并行处理与性能：
   • 利用 Python asyncio 并行化 LLM 调用。
   • 具备容错机制：针对 JSON 格式错误或速率限制（Rate Limiting），采用指数退避算法（Exponential Backoff）自动重试。
   • 速度：根据模型和主机不同，筛选速度通常为 100-300 篇/分钟（Google Gemini Flash 模型速度最快）。

3. 主要贡献 (Key Contributions)

1. 开源透明工具：提供了一个完全开源的筛选工具，解决了商业工具“黑盒”问题，允许研究人员完全控制提示词、模型参数和筛选逻辑。
2. 灵活性与可扩展性：支持多种 LLM 提供商（云端及本地），支持 ZS 和 FS 提示技术，并允许并行处理大规模文献。
3. 人机交互设计：创新性地设计了“排序筛选”和“单篇辅助筛选”两种模式，明确将 LLM 定位为“建议者”而非“决策者”，特别针对边界案例提供概率和不确定性指标，辅助人类专家进行最终判断。
4. 数据导出与分析：支持将筛选结果（包括每个模型的决策、逐条标准决策、概率值等）导出为 CSV，便于在外部工具中进行统计分析和半自动化决策。

4. 实验结果 (Results)

作者使用 AISysRev 对其之前的关于“软件工程中时间压力”的系统性综述进行了更新试验，筛选了 137 篇 新论文。

• 论文分类发现：通过定性分析，将论文分为四类：
  1. 易包含（Easy Includes, n=6）：明确研究时间压力与 SE 关系的论文。LLM 识别准确率极高。
  2. 边界包含（Boundary Includes, n=7）：处于 SE 语境但时间压力证据模糊的论文（如仅在背景中提到）。LLM 容易在此类出现误判（漏选），需要人工复核。
  3. 边界排除（Boundary Excludes, n=17）：看似相关但实际无实证证据的论文（如仅将时间压力作为背景动机）。LLM 容易在此类出现误判（误选），常错误地认为论文提供了实证证据。
  4. 易排除（Clear Excludes, n=107）：与 SE 无关的领域（如医学、航空）。LLM 和人类均能准确排除。
• 性能评估：
  • 试验使用了 Google Gemini 2.5 Flash, Mistral Small 3.2-23B, 和 OpenAI GPT-4.1 Mini。
  • 结果显示，LLM 在处理“易包含”和“易排除”类别时表现良好，但在“边界案例”中容易出错，验证了人工干预的必要性。
  • 工具成功实现了高吞吐量的并行筛选。

5. 意义与未来展望 (Significance & Future Work)

• 减轻负担：虽然 LLM 不能完全替代人类判断，但 AISysRev 能显著减少处理海量文献的负担，特别是在快速综述（Rapid Reviews）场景中。
• 研究基础设施：该工具为评估新 LLM 在筛选任务中的性能提供了基础设施，支持大规模、快速的筛选实验。
• 领域通用性：虽然试验基于软件工程领域，但工具本身是领域无关的，可推广至其他学科。
• 未来计划：
  • 与其他 AI 辅助工具（如 Elicit, Rayyan）进行性能对比。
  • 扩展功能：包括搜索策略生成、关键词识别、全文筛选、数据提取以及利用嵌入（Embeddings）可视化决策边界。
  • 开展用户研究，量化使用该工具对人类筛选效率和准确性的提升。

总结：AISysRev 是一个旨在解决系统性综述中筛选阶段效率瓶颈的开源工具。它通过集成多种 LLM、并行处理技术和透明的人机协同界面，在保持科学严谨性的同时，大幅提升了文献筛选的速度和可管理性，特别强调了在 LLM 不确定的“边界案例”中保留人类专家判断的重要性。