1. 문제 정의 (Problem Statement)

과학 문헌의 폭발적인 증가로 인해 연구자들은 관련 연구를 효율적으로 발견, 평가, 종합하는 데 어려움을 겪고 있습니다. 기존의 검색 엔진이나 추천 시스템은 심층적인 문헌 검토에 필요한 깊이와 맥락을 제공하지 못해 단편화된 발견 워크플로우를 초래합니다. 최근 등장한 자율적 다중 에이전트 시스템 (MAS) 은 잠재력이 크지만, 완전한 자동화 (연구자 대체) 와 인간 연구 커뮤니티의 실제 협업적 필요성 사이에는 격차가 존재합니다.

2. 방법론 (Methodology)

Paper Circle 은 인간 연구자를 대체하는 것이 아니라, 인간의 지능을 증강시키는 협업형 워크벤치로 설계되었습니다. 시스템은 두 가지 상호 보완적인 파이프라인과 다중 에이전트 오케스트레이션 프레임워크로 구성됩니다.

A. 시스템 아키텍처

• 코어 프레임워크: smolagents 라이브러리를 기반으로 하며, CodeAgent 를 중앙 오케스트레이터로 사용하여 다양한 도구 (ToolCallingAgent) 를 호출하고 상태를 공유합니다.
• 상태 관리: 모든 에이전트 단계에서 공유 상태 (Shared State) 를 유지하며, 이를 JSON, CSV, BibTeX 등 구조화된 형식으로 동기화하여 출력합니다. 이는 재현성과 감사 추적을 보장합니다.

B. 발견 파이프라인 (Discovery Pipeline)

사용자의 질의를 기반으로 관련 논문을 찾는 과정으로, 다음과 같은 에이전트들이 순차적/병렬적으로 작동합니다.

1. 의도 분류 에이전트 (Intent Classification): 사용자의 자연어 질의를 검색 모드 (오프라인/온라인), 컨퍼런스 필터, 연도 범위 등으로 파싱합니다.
2. 논문 검색 에이전트 (Paper Search): arXiv, Semantic Scholar, OpenAlex 등 여러 소스에서 오프라인/온라인 검색을 수행하고 결과를 병합 및 중복 제거합니다.
3. 정렬 에이전트 (Sorting): BM25, 시맨틱 유사도, 인용 수, 최신성, novelty(새로움) 등 다중 기준 점수를 계산하여 논문을 재순위화합니다.
4. 분석 에이전트 (Analysis): 소스 분포, 연도 추이, 주요 저자 등 집계 통계를 생성합니다.
5. 내보내기 에이전트 (Export): 결과를 다양한 형식 (JSON, Markdown, HTML 등) 으로 동기화하여 출력합니다.

C. 분석 파이프라인 (Analysis Pipeline) - "Paper Mind"

개별 논문을 심층적으로 이해하기 위해 논문을 **구조화된 지식 그래프 (Knowledge Graph)**로 변환합니다.

• 입력 및 분할: PyMuPDF 를 사용하여 PDF 를 메타데이터, 섹션, 그림, 표, 수식 등으로 파싱합니다. 토큰 기반이 아닌 의미적 분할 (Semantic Chunking) 을 수행합니다.
• 지식 그래프 스키마:
  • 노드: 논문, 섹션, 개념, 방법론, 실험, 데이터셋, 시각적 요소 (그림/표/수식).
  • 엣지: 계층 구조, 정의, 제안, 사용, 평가, 의존성 등의 관계.
  • 추적성: 모든 노드와 엣지는 원본 PDF 의 페이지 번호, 청크 ID, 검증 상태 등의 메타데이터를 포함하여 출처를 명확히 합니다.
• 추출 에이전트: 개념, 방법론, 실험 설정, 시각적 요소 연결을 위한 4 가지 전문 추출 에이전트가 단계별로 그래프를 구축합니다.
• 그래프 인식 Q&A: 벡터 검색과 그래프 탐색 (1-hop neighbor) 을 결합하여 질문에 답변하고, 답변의 근거를 그림이나 표와 함께 제공합니다.
• 커버리지 검증 (Coverage Verification): 추출 과정에서 누락된 요소 (그림, 표, 섹션 등) 를 자동으로 감지하여 품질 보증을 수행합니다.

D. 리뷰 에이전트 (Review Agents)

논문 분석을 넘어 동료 검토 (Peer Review) 스타일의 평가를 수행합니다.

• Deep Analyzer: 기술적 핵심과 실험 결과를 분석.
• Critic: 강점/약점 평가 및 점수 부여.
• Literature Expert: 기존 연구와의 위치 파악 및 인용 정확성 검증.
• Reproducibility Checker: 코드 공개 여부, 하이퍼파라미터, 데이터 접근성 등을 평가.

3. 주요 기여 (Key Contributions)

1. 다중 소스 통합 발견: 오프라인/온라인 검색을 통합하고, BM25 와 시맨틱 검색을 결합한 다중 기준 점수링을 통해 기존 시스템보다 포괄적인 논문 집합을 제공합니다.
2. 구조화된 지식 그래프 ("Paper Mind"): 논문을 단순 텍스트가 아닌, 개념/방법/실험이 연결된 그래프로 변환하여 그래프 기반 질의응답 (Graph-aware QA) 과 커버리지 검증을 가능하게 합니다.
3. 결정론적 재현성 (Deterministic Reproducibility): 모든 에이전트 단계에서 구조화된 로그 (JSON, CSV 등) 를 생성하여 워크플로우의 각 단계를 검증 가능하고 재현 가능하게 만듭니다.
4. 오픈 소스 플랫폼: 웹사이트 (papercircle.vercel.app) 와 코드 (github.com/MAXNORM8650/papercircle) 를 공개하여 연구 커뮤니티가 활용할 수 있도록 했습니다.

4. 실험 결과 (Results)

• 검색 성능:
  • Hit Rate (명중률): qwen3-coder-30b 모델을 사용한 에이전트 기반 시스템은 80% 의 Hit Rate를 기록하여 BM25 베이스라인 (78%) 을 상회했습니다.
  • MRR (평균 역순위): 0.627 로, 가장 높은 순위 품질을 보였습니다.
  • 성능 대 비용: 30B 파라미터 모델이 약 22 초의 응답 시간을 가지며, 메모리 효율성과 정확성 사이의 균형을 잘 맞췄습니다.
• 커버리지 분석:
  • 단일 소스 (arXiv, Semantic Scholar 등) 는 전체 논문 집합의 36.9%~80.4% 만을 발견하는 반면, Paper Circle 은 9.0% 만 누락하여 다중 소스 통합의 우수성을 입증했습니다.
• 사용자 경험:
  • 81 회의 실제 발견 세션에서 NASA-TLX 기준 인지 부하가 매우 낮았으며 (1.2/7), 학습 용이성은 8/10 으로 평가되었습니다.
• 리뷰 에이전트 한계:
  • 인간 심사자와의 점수 상관관계는 낮았으며 (r < 0.25), 특히 코드 중심 모델은 전체적인 리뷰 일관성 유지에 어려움을 겪었습니다. 이는 대형 모델의 필요성을 시사합니다.

5. 의의 및 결론 (Significance)

Paper Circle 은 단순한 검색 도구를 넘어, 인간과 AI 가 협력하여 학술 문헌을 관리하고 통찰을 얻는 통합 플랫폼을 제시합니다.

• 연구 효율성 증대: 문헌 발견부터 심층 분석, 리뷰 작성까지의 전 과정을 자동화하여 연구자의 시간을 절약합니다.
• 투명성과 신뢰성: 에이전트의 모든 결정과 추출 과정을 구조화된 데이터로 남김으로써 "블랙박스"가 아닌 검증 가능한 AI 연구 도구를 제공합니다.
• 지식 그래프 활용: 논문의 내용을 구조화하여 단순 키워드 매칭을 넘어선 심층적인 질문 답변과 연구 간 숨겨진 연결고리를 발견할 수 있게 합니다.

이 시스템은 과학적 발견의 속도가 가속화되는 시대에, 연구자들이 방대한 정보 속에서 고품질의 지식을 효율적으로 추출하고 협업할 수 있는 강력한 기반을 마련했다는 점에서 의의가 큽니다.