상상해 보세요. 여러분은 아주 거대한 국립 도서관에 있습니다. 이 도서관에는 수억 권의 책이 있고, 누가 어떤 책을 많이 읽었는지, 어떤 학자가 가장 영향력이 있는지에 대한 복잡한 통계 자료가 산더미처럼 쌓여 있습니다.
기존에는 누군가 **"최근 3년간 서울대학교 물리학과에서 가장 인용이 많이 된 교수는 누구야?"**라고 물으면, 사서(사용자)는 직접 수많은 장부를 뒤지고, 통계표를 대조하고, 계산기를 두드려야 했습니다. 시간이 너무 오래 걸리고 실수할 확률도 높죠.
🤖 ANALYTICSGPT: "천재적인 전략을 가진 수석 사서"
이 논문에서 소개하는 **'ANALYTICSGPT'**는 단순히 질문에 답하는 비서가 아니라, **'치밀한 계획을 세우고 실행하는 수석 사서'**와 같습니다.
이 수석 사서는 질문을 받으면 바로 답을 내뱉지 않고, 마치 '미션 임파서블'의 요원처럼 5단계의 작전을 수행합니다.
전략 수립 단계 (HLPM): 질문을 듣자마자 "아, 이 질문은 '서울대', '물리학', '인용 횟수'라는 키워드가 핵심이구나!"라고 핵심 요소를 파악하고 큰 그림을 그립니다.
상세 작전 설계 (DPM): "먼저 서울대 교수 명단을 뽑고, 그다음 물리학 분야 논문을 필터링한 뒤, 마지막으로 인용 횟수를 계산하자"라며 아주 구체적인 행동 지침을 만듭니다.
현장 실행 (AM): 설계된 계획에 따라 실제로 데이터베이스(장부)를 뒤집니다. 이때, 한 번에 하나씩 하는 게 아니라 여러 작업을 동시에 처리해서 속도를 높입니다.
보고서 작성 (WM): 찾아낸 숫자들을 그냥 던져주는 게 아니라, "이 데이터에 따르면 A 교수가 가장 영향력이 높습니다"라고 읽기 좋은 보고서 형태로 정리합니다.
시각화 (VM): 마지막으로, 복잡한 숫자를 한눈에 볼 수 있게 멋진 그래프와 차트로 그려서 보여줍니다.
🏆 결과: "그냥 비서 vs 전략가 사서"
연구팀은 이 '전략가 사서(ANALYTICSGPT)'와 '그냥 시키는 대로만 하는 비서(기존 방식)'를 비교했습니다.
정확도와 범위: 전략가 사서가 훨씬 더 빠짐없이, 그리고 정확하게 정보를 찾아냈습니다. (비서는 가끔 엉뚱한 장부를 뒤지거나 계산 실수를 했거든요.)
신뢰도: 단순히 아는 대로 떠드는 게 아니라, 실제 데이터에 근거해서 답변하기 때문에 "거짓말(환각 현상)"을 훨씬 적게 했습니다.
💡 한 줄 요약
"이 논문은 복잡한 과학 통계 데이터를 마치 숙련된 전문가가 분석하듯, AI가 스스로 계획을 세우고 데이터를 찾아 멋진 보고서와 그래프까지 만들어내게 만드는 똑똑한 업무 프로세스를 개발했다는 내용입니다."
[기술 요약] AnalyticsGPT: 계량서지학적 질의응답을 위한 LLM 워크플로우
1. 문제 정의 (Problem Statement)
본 논문은 **계량서지학적 질의응답(Scientometric Question Answering, SQA)**이라는 특화된 태스크를 다룹니다. SQA는 단순히 논문 내용을 묻는 일반적인 과학적 질의응답과 달리, 연구 성과, 인용 지수, 기관 순위 등 '과학의 과학(science of science)'에 관한 메타 과학적 질문을 처리해야 합니다.
기존 방식의 한계 및 도전 과제:
복잡한 엔티티 인식: 저자, 기관, 저널, 주제 등 다양한 학술적 엔티티에 대한 정밀한 개체명 인식(NER)이 필요합니다.
다면적 데이터 검색: 단순 텍스트 검색이 아닌, 데이터베이스의 필터링 및 집계(aggregation) 기능을 활용한 복잡한 쿼리 생성이 요구됩니다.
환각(Hallucination) 문제: LLM의 내부 지식에만 의존할 경우, 부정확하거나 오래된 데이터, 혹은 존재하지 않는 참고문헌을 생성할 위험이 큽니다.
2. 방법론 (Methodology)
연구진은 LLM의 계획(Planning) 및 추론 능력을 극대화하기 위해 5단계의 순차적 워크플로우를 갖춘 ANALYTICSGPT 시스템을 제안합니다. 이 시스템은 Retrieval-Augmented Generation(RAG)과 에이전트 개념을 결합하였습니다.
핵심 모듈 구성 (Figure 1 참조):
High-Level Planning Module (HLPM): 사용자의 질문에서 학술 엔티티를 인식(NER)하고, 질문을 추상적인 단계별 개요로 분해합니다. 이후 인식된 엔티티 이름을 고유 ID로 변환합니다.
Detailed Planning Module (DPM): HLPM의 개요를 바탕으로, 실제 실행 가능한 저수준(low-level) 계획을 수립합니다. 어떤 도구(Tool)를 어떤 파라미터로 호출할지 상세히 정의합니다.
Action Module (AM): 계획된 단계에 따라 API 도구를 호출하여 데이터를 수집합니다. 독립적인 단계는 병렬로 처리하며, 이전 단계의 결과가 필요한 의존적 단계는 LLM을 통해 파라미터를 추론하여 실행합니다.
Writing Module (WM): 수집된 데이터를 바탕으로 최종 답변을 작성합니다. 이때 내부 지식을 배제하고 검색된 데이터에만 기반하도록 유도하며, 마크다운 표와 리스트를 사용하여 구조화된 분석을 제공합니다.
Visualization Module (VM): 답변의 내용을 시각화하는 것이 효과적이라고 판단될 경우, LLM이 Python 코드를 생성 및 실행하여 동적으로 그래프나 차트를 생성합니다.
3. 주요 기여 (Key Contributions)
최초의 SQA 전용 LLM 프레임워크: 계량서지학적 질문을 해결하기 위해 LLM을 활용한 최초의 방법론을 제시했습니다.
계층적 계획 구조 제안: '추상적 계획(HLPM) → 상세 계획(DPM) → 실행(AM)'으로 이어지는 계층적 접근법을 통해 LLM의 복잡한 태스크 수행 능력을 높였습니다.
실용적인 RAG 인터페이스: 복잡한 데이터베이스 쿼리 언어를 직접 생성하는 대신, 규칙 기반(rule-based) 접근법을 사용하여 LLM의 구문 오류를 방지하고 안정성을 확보했습니다.
4. 실험 결과 (Results)
연구진은 기존의 단순 RAG 방식(Naive RAG Baseline)과 ANALYTICSGPT를 비교 평가하였습니다.
성능 향상: 전문가(SME) 및 LLM-as-judges 평가 결과, ANALYTICSGPT는 커버리지(Coverage), 일관성(Coherence), 검증 가능성(Verifiability), 타당성(Validity) 모든 지표에서 베이스라인을 유의미하게 상회했습니다.
데이터 오류 감소: 베이스라인에서 발생한 치명적인 데이터 검색 오류(Critical Errors)가 ANALYTICSGPT에서는 현저히 줄어들었습니다 (5건 → 1건).
효율성: 답변의 질은 높아졌으나, API 호출 시간 및 토큰 사용량 측면에서는 베이스라인보다 약간의 비용 증가가 있었습니다.
5. 의의 및 결론 (Significance & Conclusion)
비즈니스 및 학술적 가치:
사용자 경험 개선: 복잡한 분석 플랫폼을 직접 조작하지 않고도 자연어로 연구 성과를 분석할 수 있게 하여, 연구자 및 정책 결정자의 '통찰 도달 시간(Time-to-insight)'을 크게 단축시켰습니다.
의사결정 지원: 연구 자원 배분, 전략적 투자, 연구 협력 등을 위한 고수준의 분석 데이터를 신속하게 제공할 수 있습니다.
향후 과제:
환각 현상(특히 가짜 DOI 링크 생성 등)을 줄이기 위한 신뢰성 강화.
"emerging"과 같은 모호한 시간적 수식어를 정확히 해석하기 위한 정밀도 향상.
더 복잡한 질문을 처리하기 위한 대규모 추론 모델(Reasoning Models)의 도입 연구.