제공된 논문 "AISysRev - LLM-based Tool for Title-abstract Screening"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

• 체계적 문헌고찰 (Systematic Reviews, SRs) 의 비효율성: 소프트웨어 공학 및 기타 분야에서 체계적 문헌고찰을 수행하는 것은 매우 노동 집약적이며, 평균적으로 67 주가 소요됩니다.
• 스크리닝 단계의 과부하: 제목 및 초록 (Title-abstract) 스크리닝 단계에서는 수천 건의 논문 (예: 25,000 건) 을 검토해야 하므로 인간 연구자의 부담이 큽니다.
• 기존 도구의 한계:
  • 기존 오픈소스 도구 (AIReview, ASReview 등) 는 다중 LLM 제공자 지원이 제한적이거나 문서화가 부족하며 유지보수가 중단된 경우가 많습니다.
  • 상용 도구 (Elicit, Consensus, Rayyan 등) 는 소스 코드가 폐쇄되어 있어 내부 모델, 파라미터, 프롬프트 기법에 대한 투명성이 부족합니다.
  • LLM 의 오류 (False Negative 등) 가 누적되어 최종 결과의 과학적 품질이 저하될 위험이 있습니다.

2. 방법론 및 도구 아키텍처 (Methodology & Tool Architecture)

저자들은 이러한 문제를 해결하기 위해 AISysRev이라는 컨테이너화된 웹 애플리케이션을 개발했습니다.

• 핵심 철학: 인간 - 루프 (Human-in-the-loop) 설계. LLM 은 인간 검토자에게 제안만 제공하고, 최종 결정은 인간이 내리도록 설계되었습니다.
• 기술 스택:
  • 백엔드: Python (비동기 프로그래밍 asyncio 활용, Pydantic AI 를 통한 구조화된 응답 처리).
  • 프론트엔드: React.js 기반 웹 UI.
  • 데이터베이스: PostgreSQL (영구 저장), Redis (실시간 캐싱), MinIO (객체 저장소).
  • 배포: Docker 컨테이너 환경 (AWS, Azure, GCP 등 클라우드 또는 로컬 배포 가능).
• 주요 기능 및 워크플로우:
  1. 입력: Scopus, PubMed 등 데이터베이스에서 추출된 CSV 파일 (제목, 초록 포함) 을 업로드합니다.
  2. 설정: 포함/제외 기준 (Inclusion/Exclusion Criteria) 을 정의하고 LLM 제공자 (OpenRouter, OpenAI, 로컬 모델 등) 를 선택합니다.
  3. 스크리닝 기법:
     • Zero-shot (ZS): 사전 정의된 기준만으로 LLM 이 평가.
     • Few-shot (FS): 이미 평가된 샘플 (포함/제외 예시) 을 LLM 에 제공하여 성능 향상.
     • 병렬 처리: Python asyncio 를 활용하여 분산 처리, 분당 100~300 건의 논문 처리 속도 달성.
  4. 인터페이스:
     • 개별 검토 모드: 인간이 논문을 하나씩 검토하되 LLM 의 추천 (이진, 서열, 확률 점수) 을 참고.
     • 상위 증거 선별 모드: LLM 이 계산한 포함 확률 순으로 논문을 정렬하여 신속한 검토 (Rapid Review) 지원.
  5. 출력: 최종 결과를 CSV 로 내보내며, 각 LLM 의 결정, 기준별 결정, 그리고 이진/서열/확률 값을 포함합니다.

3. 주요 기여 (Key Contributions)

1. AISysRev 도구 개발: 투명성, 확장성, 다중 LLM 지원 (Gemini, Claude, Mistral, ChatGPT 등) 을 갖춘 오픈소스 스크리닝 도구 제공.
2. 유연한 프롬프트 및 모델 지원: Zero-shot 과 Few-shot 프롬프팅을 모두 지원하며, 로컬 호스팅 모델과 OpenAI SDK 호환 모델을 모두 사용할 수 있습니다.
3. 인간 - AI 협업 인터페이스: LLM 의 불확실성 (확률 점수 등) 을 시각화하여 인간 검토자가 '경계선 (Boundary)' 사례를 식별하고 개입할 수 있도록 지원.
4. 개방형 아키텍처: 상용 도구의 '블랙박스' 문제를 해결하여 연구자와 실무자가 모델 파라미터와 프롬프트 기법을 완전히 통제할 수 있게 함.

4. 실험 결과 (Results)

저자들은 소프트웨어 공학의 '시간 압박 (Time Pressure)'에 관한 기존 체계적 문헌고찰을 업데이트하는 과정에서 137 편의 논문을 대상으로 도구 사용 실험을 수행했습니다.

• 논문 분류 체계: 실험 결과, 논문은 LLM 의 판별 난이도에 따라 4 가지 범주로 분류됨이 확인되었습니다.
  1. Easy Includes (6 건): 시간 압박이 명시적으로 언급된 논문. LLM 이 매우 높은 정확도로 포함.
  2. Boundary Includes (7 건): 맥락상 관련성이 있으나 시간 압박 언급이 모호하거나 암시적인 논문. LLM 이 종종 제외하는 오류를 범함 (인간 개입 필요).
  3. Boundary Excludes (17 건): 소프트웨어 공학 맥락이지만 시간 압박에 대한 실증적 증거가 거의 없는 논문. LLM 이 종종 포함하는 오류를 범함.
  4. Clear Excludes (107 건): 의료나 항공 등 비관련 분야 논문. LLM 과 인간 모두 정확하게 제외.
• 성능: LLM 은 '마스터 과정 학생' 수준의 판별 능력을 보였으나, 경계선 (Boundary) 사례에서는 오류가 발생하여 인간의 최종 검토가 필수적임이 확인되었습니다.
• 처리 속도: 모델과 호스트에 따라 분당 100~300 건의 논문을 처리할 수 있었습니다 (Google Gemini Flash 모델이 가장 빠름).

5. 의의 및 향후 과제 (Significance & Future Work)

• 실무적 의의: 대규모 과학 문헌을 평가하는 인간의 부담을 줄이면서도, LLM 의 오류를 보완하는 인간 - 루프 방식을 통해 체계적 문헌고찰의 효율성을 극대화합니다.
• 연구 인프라: 새로운 LLM 이 등장할 때마다 스크리닝 성능을 체계적으로 평가할 수 있는 기반을 제공합니다.
• 향후 계획:
  • Elicit, Consensus 등 다른 상용 AI 도구와의 성능 비교.
  • 검색 전략 생성, 키워드 식별,全文 (Full-text) 스크리닝, 데이터 추출 기능 확장.
  • 임베딩을 활용한 의사결정 경계 시각화 및 사용자 연구 (도구 사용 유무에 따른 인간 판별자 성능 비교) 수행.

결론적으로, AISysRev 는 LLM 을 활용한 체계적 문헌고찰의 자동화 과정에서 투명성, 확장성, 그리고 인간 판단의 중요성을 동시에 고려한 실용적인 솔루션을 제시한다는 점에서 의미가 있습니다.