기술 요약: 대규모 언어 모델 시대의 과학적 지식 발견

문제 정의

과학 문헌의 급격한 팽창은 전통적인 검색 및 검토 워크플로우를 점점 더 비효율적으로 만들고 있습니다. 기존 시스템은 키워드 매칭, 인용 기반 순위 지정, 그리고 노동 집약적인 수동 스크리닝에 크게 의존하며, 이는 관련 연구를 간과하거나, 중복된 노력을 기울이거나, 증거 합성을 지연시키는 위험을 초래합니다. 반자동 도구들이 존재하기는 하지만, 이들은 주로 우선순위 지정(prioritization)을 보조할 뿐 인간의 평가를 대체하지는 못합니다. 저자들은 자연어를 해석하고, 의미론적 관계를 포착하며, 구조화된 판단을 생성하여 **과학적 지식 발견(scientific knowledge discovery)**을 지원할 수 있는 더 유연한 방법론의 절실한 필요성을 식별하였으며, 특히 다음 두 가지 핵심 과제에 집중합니다:

1. 문헌 검색(Literature Retrieval): 쿼리, 시드 논문(seed paper) 또는 사용자 프로필과 관련된 출판물을 식별, 순위 지정 또는 추천하는 작업.
2. 문헌 스크리닝(Literature Screening): 체계적 문헌 고찰(systematic reviews) 및 증거 합성 워크플로 내에서, 사전에 정의된 적격성 기준에 따라 후보 출판물을 평가하는 작업.

방법론

본 장에서는 생성형 대규모 언어 모델(LLM)을 이러한 과제에 적용한 34편의 피어 리뷰 논문(2024년~2026년 발행)에 대한 체계적인 조사를 제시합니다.

• 검색 전략: 저자들은 OpenAIRE Graph를 통해 2억 5천만 개 이상의 출판물을 인덱싱하는 학술 검색 엔진인 BIP! Finder를 활용하였습니다. 2026년 5월에 "large language model"과 관련된 용어와 특정 검색 및 스크리닝 키워드를 결합한 불리언(Boolean) 검색을 수행하였습니다.
• 선택 기준: 초기 1,589개의 레코드 중, 다음 조건을 충족하는 연구를 포함하였습니다: (i) 검색 또는 스크리닝을 다룰 것; (ii) 생성형 LLM을 주요 구성 요소로 사용할 것; (iii) 비교를 위한 충분한 방법론적 세부 사항을 보고할 것; (iv) 영어로 작성될 것. 확장 초록, 프리프린트(피어 리뷰 버전을 찾지 못한 경우), 그리고 범위 외의 과제(예: 요약)에 집중하는 연구는 제외되었습니다.
• 코퍼스 특성: 최종 코퍼스인 34편의 논문은 급격한 성장세(2024년 9편, 2025년 24편, 2026년 초 1편)를 보여줍니다. 문헌은 생물 의학 및 임상 도메인에 집중되어 있으며, "Biomedical Text Mining and Ontologies"와 "Topic Modeling"이 가장 빈번한 연구 주제입니다.
• 분석 프레임워크: 본 조사는 연구들을 두 가지 주제 영역(검색 및 스크리닝)으로 분류하고, 기술적 접근 방식에 따라 다시 하위 그룹으로 나눕니다. 각 그룹은 다음을 기준으로 분석됩니다:
  • 사용된 모델: 특정 LLM, 액세스 방식(API, 로컬, Web UI), 그리고 적응 전략(파인튜닝 vs. 프롬프팅).
  • 평가 트렌드: 정답(ground truth) 출처(기존 벤치마크 vs. 저자 구축) 및 지표(순위 지표, 진단 정확도, 효율성).

주요 기여 및 결과

1. 문헌 검색을 위한 LLM

본 조사는 문헌 검색 적용의 두 가지 주요 모드를 식별합니다:

• 핵심 검색 및 추천: 이는 다섯 가지 연구 스트랜드를 포함하는 가장 다양한 분야입니다:

  • 의미론적 검색(Semantic Search): LLM을 사용하여 다중 입도(multi-granular) 개념을 추출하거나(예: SemRank), 임베딩의 가중치를 재조정하여 중복성을 억ట하는 방식(예: Zheng et al.).
  • 에이전트 기반 검색(Agentic Search): LLM이 검색을 계획, 경로 지정 및 정제하는 시스템(예: LitChat, LITERAS). 이들은 종종 쿼리 생성, 검색, 검증 및 정제를 위한 멀티 에이전트 아키텍처를 채택합니다.
  • 구조화된 지식 근거 제시(Structured Knowledge Grounding): 환각(hallucination)을 줄이기 위해 지식 그래프에 근거한 검색(예: SPARQL 쿼리를 생성하는 GPTscholar; Cypher 쿼리를 생성하는 Liu et al.).
  • 인용 감사(Citation Auditing): 데이터베이스 근거 없이 기억으로부터 참고 문헌 목록을 재현하는 LLM의 능력을 조사하는 통제된 연구(예: Chelli et al.).
  • 프로필 기반 추천: 그래프 기반 추천 시스템을 위해 LLM을 사용하여 유사성 신호를 정교화하는 방식(예: MCAP).
  • 모델 및 평가: 대부분의 시스템은 파인튜닝 없이 API를 통해 상용 모델(GPT-4, Claude, Gemini)을 사용합니다. 평가는 기존 벤치마크에 대해 고전적인 정보 검색(IR) 지표(Recall, Precision, nDCG)에 의존하는 경우가 많습니다. 그러나 검색 구성 요소에 대한 집중적인 평가는 자주 누락되는데, 이는 검색이 흔히 다운스트림 과제를 위한 지원 단계로 취급되기 때문입니다.

• 다운스트림 과제를 위한 RAG 스타일 검색:

  • 이 시스템들은 자동화된 피어 리뷰, 임상 의사 결정 지원, 또는 서베이 생성을 위한 파이프라인에 검색을 통합합니다.
  • 검색은 참신성(novelty)을 맥락화하거나, 한계점을 명시하거나, 증거 기반 의사 결정을 지원하는 데 사용됩니다.
  • 평가 격차: 이러한 연구들에서 검색 품질은 전용 정답(ground truth)에 대해 평가되는 경우가 드뭅니다. 평가는 인용 프록시(citation proxies)나 절제 연구(ablation studies)와 같은 간접적인 신호를 사용하여 다운스트림 출력(예: 리뷰 또는 치료 계획의 품질)에 집중됩니다.

2. 문헌 스크리닝을 위한 LLM

스크리닝 접근 방식은 두 가지 아키텍처 패턴으로 나뉩니다:

• 단일 패스 스크리닝(Single-Pass Screening):

  • 스크리닝을 논문당 단일 모델 호출로 처리합니다.
  • 기술적 변이는 프롬프트 엔지니어링에 있습니다: 정적 기준, 퓨샷(few-shot) 예시, 생각의 사슬(Chain-of-Thought, CoT), 그리고 반복적인 프롬프트 최적화(예: Tao et al., Ruan et al.).
  • 평가: 기존의 체계적 문헌 고찰이나 저자가 구축한 정답에 대해 표준 진단 정확도 지표(Precision, Recall, Specificity, F1, MCC)를 활용하여 매우 엄격하게 수행됩니다.
  • 모델: 상용 모델(GPT, Claude, Gemini)과 오픈 웨이트 모델(Llama, Mistral, Gemma)이 혼합되어 사용됩니다. 특히, *Delgado-Chaves et al.*은 18개 모델에 대해 가장 광범위한 비교를 수행했습니다. 모델 가중치의 파인튜닝은 관찰되지 않았으며, 적응은 주로 프롬프팅에 국한되었습니다.

• 설계된 다중 구성 파이프라인(Engineered Multi-Component Pipelines):

  • 인간 리뷰 팀을 모방하도록 설계되었으며, 사전 필터링, 모델 간 중재, 또는 검색 증강 스크리닝을 포함합니다.
  • 중재(Arbitration): 여러 모델이 독립적으로 스크리닝하고, 제3의 모델이나 인간 전문가가 불일치를 해결합니다(예: Dai et al., Pan et al.).
  • 검색 증강(Retrieval-Augmented): 적격성 질문에 답하기 위해 전체 텍스트 구절을 검색합니다(예: Trad et al.).
  • 에이전트/반복형(Agentic/Iterative): 피드백을 바탕으로 프롬프트를 정제하거나 업무량 감소 임계값을 적용하는 멀티 에이전트 시스템(예: GREP-Agent).
  • 평가: 표준 진단 지표와 함께 일치도 통계(Cohen's $\kappa$, PABAK) 및 효율성 지표(업무량 감소, 비용)를 사용합니다. 정답은 일반적으로 기존의 체계적 문헌 고찰이나 전문가가 레이블링한 부분 집합에서 도출됩니다.

의의 및 주장

본 논문은 빠르게 진화하는 LLM 지원 과학적 지식 발견의 지형에 대한 포괄적인 개요를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 지형 매핑: 검색과 스크리닝 모두에서 단일 모델 호출에서 구성된, 종종 에이전트 기반의, 다중 구성 시스템으로의 변화를 특징짓습니다.
2. 방법론적 분기 식별:
   • 검색은 기술적으로 다양하지만 방법론적으로 파편화되어 있으며, 검색 구성 요소 자체에 대한 표준화된 평가가 부족합니다.
   • 스크리닝은 방법론적으로 더 표준화되어 있으며, 엄격한 진단 정확도 벤치마크를 활용하고 다중 모델 합의를 통해 생산 가능한 도구로 나아가고 있습니다.
3. 도메인 집중: 본 조사는 현재의 발전이 생물 의학 및 임상 응용 분야에 집중되어 있음을 강조합니다. 이는 생의학 분야의 체계적 문헌 고찰 방법론이 성숙하여 확립된 정답과 명확한 평가 관례를 제공하기 때문입니다.
4. 채택 트렌드: 분야는 개인정보 보호 및 비용 통제를 위한 오픈 웨이트 모델의 부상과 함께 지배적인 폐쇄형 API 모델이 공존하고 있습니다. 그러나 도메인 특화 파인튜닝은 여전히 드물며, 적응은 주로 프롬프트 수준에서 이루어집니다.

저자들은 LLM 지원 검색 및 스크리닝이 고립된 시연에서 확립된 관행으로 이동하고 있지만, 이 분야는 여전히 **도메인에 종속적(domain-bound)**이라고 결론짓습니다. 생의학 이외의 분야에 대한 비교 가능한 벤치마크와 리뷰 관례가 부족하기 때문에, 이러한 접근 방식의 비생의학적 도메인으로의 전이 가능성은 현재 불분명합니다.