From Toil to Thought: Designing for Strategic Exploration and Responsible AI in Systematic Literature Reviews

이 논문은 체계적 문헌고찰 (SLR) 과정의 인지적 부담과 분산된 도구 문제를 해결하기 위해 20 명의 연구자를 대상으로 한 설계 연구를 수행하고, 이를 바탕으로 다중 데이터베이스 통합과 투명한 AI 지원 기능을 갖춘 'ARC'라는 시스템을 개발하여 연구자의 행정적 업무 부담을 줄이고 전략적 탐색과 검증 가능한 판단을 지원함을 보여줍니다.

핵심

이 논문은 **"학술 논문을 찾아서 정리하는 일 (시스템적 문헌 고찰, SLR) 이 얼마나 힘들고 지루한지, 그리고 인공지능 (AI) 을 어떻게 활용하면 그 고통을 덜어주고 더 똑똑한 연구를 할 수 있는지"**에 대한 이야기입니다.

비유하자면, 이 연구는 **"수천 권의 책이 쌓인 거대한 도서관에서, 특정 주제에 맞는 책만 찾아서 정리해야 하는 도서관 사서 (연구자) 들을 위해, 마법 같은 도구를 만들어준 이야기"**입니다.

다음은 이 논문의 핵심 내용을 쉬운 비유로 설명한 것입니다.

---

1. 문제: "지루한 노동"에 시달리는 연구자들

과거의 학술 연구는 마치 수천 개의 퍼즐 조각을 손으로 하나하나 맞추는 일과 같았습니다.

• 분산된 도구: 연구자들은 책 (논문) 을 찾을 때, 도서관 A, 도서관 B, 도서관 C 등 여러 곳을 따로따로 돌아다녀야 했습니다. 각 도서관의 검색 규칙 (문법) 이 다 달라서, 같은 질문을 할 때도 규칙을 바꿔서 입력해야 했습니다.
• 지루한 정리: 찾아낸 책들 중 쓸모없는 것을 걸러내고, 중복된 것을 제거하고, 엑셀 시트에 정리하는 일만 해도 하루 종일 걸렸습니다.
• 결과: 연구자들은 진짜 중요한 '아이디어'를 생각할 시간이 부족하고, 단순한 '정리 노동'에 지쳐버렸습니다.

2. 해결책: 'Arc'라는 새로운 도구

연구팀은 이 문제를 해결하기 위해 **'Arc (자동화된 리뷰 동반자)'**라는 도구를 만들었습니다. Arc 는 연구자를 대신해 일을 해주는 것이 아니라, **연구자가 더 똑똑하게 일할 수 있도록 돕는 '스마트한 조수'**입니다.

Arc 는 크게 세 가지 마법 같은 기능을 제공합니다:

① "한 번에 모든 도서관을 검색하는 통역사"

• 비유: 예전에는 영어, 프랑스어, 스페인어를 각각 다른 사전을 찾아서 번역해야 했지만, Arc 는 한 번에 모든 언어를 알아듣는 통역사입니다.
• 기능: 연구자가 한 번 검색어를 입력하면, Arc 가 자동으로 여러 학술 데이터베이스 (IEEE, ACM 등) 에 맞는 규칙으로 변환해서 한 번에 찾아줍니다. 연구자는 복잡한 규칙을 외울 필요가 없습니다.

② "검색의 변화를 눈으로 보여주는 '타임머신'"

• 비유: 요리할 때 "소금을 조금 더 넣으면 맛이 어떻게 변할까?"를 실험할 때, 변화 전과 후의 요리를 나란히 비교해 보여주는 거울입니다.
• 기능: 연구자가 검색어를 조금 바꿨을 때, 어떤 논문이 새로 생기고 어떤 논문이 사라졌는지 눈으로 바로 비교할 수 있게 해줍니다. "아, 이 단어를 바꿨더니 이런 결과가 나왔구나!"라고 쉽게 파악할 수 있어, 실수 없이 전략적으로 검색을 개선할 수 있습니다.

③ "이유를 설명해주는 AI 비서 (검증 가능한 AI)"

• 비유: AI 가 "이 책은 쓸모없어요"라고 말만 하는 게 아니라, **"이 책은 주제와 맞지 않는 A, B, C 이유 때문에 쓸모없어요"**라고 증거를 보여주며 설명해주는 비서입니다.
• 기능: AI 가 수많은 논문 중 쓸모없는 것을 먼저 걸러내지만, 무조건 믿는 게 아니라 연구자가 "왜 이걸 걸러냈지?"라고 물어보면 AI 가 그 이유를 보여줍니다. 연구자는 AI 가 한 일을 **검증 (확인)**만 하면 되므로, 시간을 아끼면서도 실수를 방지할 수 있습니다.

3. 실험 결과: "노동"에서 "전략"으로의 변화

연구팀은 8 명의 연구자에게 Arc 와 기존 방식 (구글 스칼라 + 엑셀) 을 비교해 보게 했습니다. 결과는 놀라웠습니다.

• 스트레스 감소: Arc 를 쓴 연구자들은 "머리가 더 맑아졌다"고 느꼈습니다. 단순한 정리를 AI 가 대신해주니, 진짜 중요한 '무엇을 연구할지'를 고민하는 시간이 늘어났습니다.
• 시간 단축: 논문을 찾아서 정리하는 데 걸리는 시간이 기존 방식보다 훨씬 짧아졌습니다.
• 신뢰: AI 가 "왜 이걸 추천했는지" 이유를 설명해주니, 연구자들이 AI 를 더 신뢰하고 적극적으로 활용했습니다.

4. 결론 및 제언: "열린 도서관"이 필요합니다

이 논문은 단순히 도구를 만든 것을 넘어, 학계 전체에 중요한 메시지를 전합니다.

• 현재의 문제: 학술 데이터 (논문) 를 제공하는 곳들이 서로 문을 닫고 있어 (API 가 없거나 접근이 어려움), 새로운 도구를 만들기가 매우 어렵습니다. 마치 도서관이 문을 닫고 열쇠를 숨겨놓은 것과 같습니다.
• 제안: 학술 출판사와 데이터베이스는 **모든 사람이 자유롭게 접근할 수 있는 '열린 문 (Open API)'**을 만들어야 합니다. 그래야만 더 좋은 도구들이 만들어지고, 연구자들은 더 창의적인 일을 할 수 있습니다.

한 줄 요약

"Arc 는 연구자들이 단순한 '책 정리 노동'에서 해방되어, 진짜 '지식 탐험가'가 될 수 있도록 돕는 똑똑한 조수입니다. 하지만 이 도구가 제대로 작동하려면, 학술 데이터라는 '도서관'이 모두에게 열려 있어야 합니다."

기술 요약

1. 문제 정의 (Problem Statement)

체계적 문헌 고찰 (Systematic Literature Review, SLR) 은 과학적 진보의 핵심이지만, 현재 연구자들은 다음과 같은 심각한 장애물에 직면해 있습니다.

• 단편화된 도구 생태계와 높은 인지 부하: 연구자들은 여러 학술 데이터베이스 (IEEE, ACM, Google Scholar 등) 를 오가며 각각 다른 검색 구문 (syntax) 을 수동으로 변환하고, 스프레드시트를 통해 데이터를 관리해야 합니다. 이는 반복적이고 탐색적인 SLR 과정의 본질을 해치며 연구자의 인지적 에너지를 고갈시킵니다.
• 문헌의 폭발적 증가: 생성형 AI 등 급변하는 분야에서는 기존 수동 방식으로는 최신 문헌을 따라가기 어렵습니다.
• 자동화 vs 학문적 주체성 (Agency) 의 긴장: AI 도구의 도입이 증가하고 있지만, 연구자들은 AI 의 '블랙박스'식 작동과 신뢰성, 그리고 자신의 판단권을 잃을 수 있다는 우려를 가지고 있습니다.

2. 방법론 (Methodology)

이 연구는 설계 중심 연구 (Design Science Research) 접근법을 따르며, 다음과 같은 단계를 거쳤습니다.

• 탐색적 설계 연구 (Exploratory Design Study):

  • 참여자: 컴퓨터 과학 분야 전문가 20 명 (Machine Learning, HCI, DB 등).
  • 방법: 반구조화 인터뷰 및 개념 모킹 (Mock-up) 을 통해 SLR 워크플로우의 실제 병목 현상과 요구사항을 도출했습니다.
  • 결과: 3 가지 주요 도전 과제 (C1: 반복적 검색의 마찰, C2: 문헌의 과부하, C3: 자동화와 주체성의 균형) 와 이를 해결하기 위한 3 가지 설계 목표 (DG1-DG3) 를 설정했습니다.

• 시스템 개발 (Arc Design Probe):

  • Arc (Automated Review Companion): 위 설계 목표를 구현한 고충실도 웹 기반 프로토타입입니다.
  • 핵심 기능:
    1. 통합 다중 데이터베이스 검색: 여러 DB 를 동시에 검색하고, 키워드 변형 (동의어, 철자 등) 을 자동 제안합니다.
    2. 투명한 반복적 검색 비교 (Iterative Search Comparison): 검색어 변경 전후의 결과 차이를 시각적으로 비교 ('Diff' 기능) 하여 전략적 수정을 지원합니다.
    3. 검증 가능한 인간 - AI 협업 필터링 (Verifiable Human-in-the-loop Filtering): 연구자가 소수의 예시 (Few-shot) 로 AI 를 교정 (Calibration) 하면, AI 는 문헌에 태그를 부여하고 그 이유 (Rationale) 를 설명합니다. 연구자는 이를 검증하거나 수정할 수 있습니다.

• 비교 사용자 연구 (Comparative User Study):

  • 참여자: SLR 경험이 있는 8 명의 연구자.
  • 설계: Arc 와 기존 워크플로우 (Google Scholar + Google Sheets) 를 비교하는 대조 실험.
  • 과제: 검색 (Search), 스노우볼링 (Snowballing/참조 추적), 필터링 (Screening).
  • 측정 지표: NASA-TLX (인지 부하), 자신감 (Assurance), 작업 시간, 정확도, 정성적 인터뷰.

3. 주요 기여 (Key Contributions)

1. 질적 통찰: SLR 과정에서 인지 부하와 주체성 (Agency) 간의 긴장 관계가 핵심 병목 현상임을 규명했습니다.
2. Arc 시스템 (오픈 소스 설계 프로브): 책임 있는 리뷰를 위한 설계 원칙을 구체화한 통합 도구입니다. 이는 단순한 자동화를 넘어, 연구자의 전략적 탐색을 지원하는 '인간 - AI 협업' 모델을 제시합니다.
3. 실증적 증거: 통합된 인간 - AI 환경이 연구자의 행정적 업무에서 전략적 감독으로의 전환을 촉진하고, 검색의 투명성과 신뢰를 높인다는 것을 입증했습니다.

4. 연구 결과 (Results)

사용자 연구 결과, Arc 는 기존 방식 대비 다음과 같은 긍정적 효과를 보였습니다.

• 인지 부하 감소 및 전략적 탐색:
  • 검색 작업 시 NASA-TLX 점수가 기존 (평균 4.04) 대비 Arc (평균 2.21) 에서 유의미하게 낮아졌습니다.
  • 'Diff' 기능은 연구자가 검색 전략을 '시행착오'가 아닌 '체계적인 실험'으로 전환하도록 돕고, 검색 이력을 시각화하여 기억 부담을 줄였습니다.
• 효율성 극대화:
  • 스노우볼링: 수동 방식 (평균 10.68 분) 대비 Arc 사용 시 1 분 미만으로 단축되었습니다.
  • 필터링: AI 보조 필터링 + 인간 검증 방식은 순수 수동 필터링보다 약 18% 더 빠른 시간이 소요되었으며, 인간 오류를 줄이고 검증에 집중할 수 있게 했습니다.
• 신뢰와 검증 행동:
  • 연구자들은 AI 가 제시한 태그와 그 이유 (Rationale) 를 확인하는 과정에 만족했습니다. AI 가 95% 정확도를 보인 반면, 수동 방식은 75% 였습니다.
  • 연구자들은 AI 를 완전히 대체하는 것이 아닌, '검증 가능한 파트너'로 인식하며 주체성을 유지했습니다.
• 전반적 만족도: Arc 를 사용한 워크플로우는 더 스트레스가 적고, 미래 작업에 도입할 의사가 높았으며, 전체적으로 더 만족스러웠습니다.

5. 의의 및 시사점 (Significance)

• 작업의 재정의 (From Toil to Thought): Arc 는 연구자가 단순한 데이터 정리 (Toil) 에서 벗어나, 의미 있는 지식 통합과 전략적 의사결정 (Thought) 에 집중할 수 있도록 돕습니다.
• 책임 있는 AI 설계: AI 를 '블랙박스'가 아닌, 추론 과정을 투명하게 보여주는 '검증 가능한 파트너'로 설계함으로써 연구자의 주체성을 보장합니다.
• 지속 가능한 지식 인프라: 검색 이력과 AI 판단 기준을 영구적으로 기록함으로써, SLR 을 '한 시점의 문서'가 아닌 지속적으로 업데이트 가능한 '살아있는 리뷰 (Living Review)'로 만들 수 있는 기반을 마련했습니다.
• 학술 인프라 개선 요구: 연구는 학술 데이터베이스의 API 부재와 접근성 문제를 지적하며, FAIR 원칙 (찾기 쉽고, 접근 가능하며, 상호 운용성 있고, 재사용 가능) 을 준수하는 개방형 학술 인프라의 필요성을 강력히 호소합니다.

이 논문은 단순한 도구 개발을 넘어, AI 시대의 학문적 연구 방식을 어떻게 인간 중심적이고 전략적으로 재설계할 수 있는지에 대한 중요한 방향성을 제시합니다.