SLRMentor: An LLM-Based Tool Supporting Learning of SLR in Software Engineering

기술 요약: SLRMentor

문제 정의
체계적 문헌 고찰(Systematic Literature Review, SLR)을 수행하는 것은 증거 기반 소프트웨어 공학(Evidence-Based Software Engineering, EBSE)의 기초적인 활동이지만, 초보 연구자들에게는 상당한 어려움을 안겨준다. 특히 연구 질문의 정립, 검색식(search string) 구축, 선정 및 제외 기준(inclusion/exclusion criteria)의 정의를 포함하는 계획 단계는 리뷰의 품질에 결정적이지만, 용어의 변이와 복잡한 데이터베이스 구문으로 인해 시간이 많이 소요되고 오류가 발생하기 쉽다. 효율성을 높이기 위해 연구 선택 및 키워드 제안을 위한 기존의 AI 기반 도구들이 탐색되어 왔으나, 이들은 SLR 과정 자체에 대한 '방법론적 이해'와 '학습'을 지원하는 데에는 한계가 있다. 현재의 교육적 접근 방식은 기저에 깔린 방법론적 추론을 명시적으로 만드는 데 어려움을 겪고 있으며, 이로 인해 학생들이 엄격한 리뷰에 필요한 의사결정 논리에 참여하기보다는 단순히 결과물을 만들어내는 데에만 집중하게 되는 경증이 빈번하다.

방법론
본 연구는 SLRMentor라는 소프트웨어 아티팩트를 개발하고 평가하기 위해 디자인 과학(Design Science) 연구 방법을 채택한다. 이 도구는 대규모 언어 모델(LLM)(구체적으로 OpenAI 및 Google Gemini)을 기반으로 구축된 대화형 어시스턴트로, SLR의 계획 활동을 지원하도록 설계되었다.

• 아키텍처 및 메커니즘: SLRMentor는 검증된 SLR 가이드라인 및 방법론적 문서(예: [10, 12, 14])에 응답의 근거를 두기 위해 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**을 활용한다. 이러한 설계 선택은 생성된 출력이 확립된 관행과 일치하도록 보장하며, 모델이 맥락 없는 생성에만 의존하는 것을 방지하여 투명성을 높인다.
• 기능적 구성 요소: 이 도구는 세 가지 학습 지향적 대화 모듈로 구조화되어 있다:
  1. 멘토 채팅(Mentor Chat): SLR 단계, 방법론적 원칙, 편향(bias)의 원인에 대한 일반적인 가이드를 제공하여 개념적 이해를 지원한다.
  2. 검색식 채팅(Search String Chat): 연구 목표를 구조화된 검색식으로 변환하는 것을 도우며, 키워드 선택, 동의어, 불리언 연산자(Boolean operators)에 대한 설명을 제공한다.
  3. 기준 채팅(Criteria Chat): 연구 목표로부터 선정 및 제외 기준을 도출하도록 지원하며, 이러한 기준이 범위와 관련성을 어떻게 구체화하는지 설명한다.
• 검증: 대학원 소프트웨어 공학 과정에 참여한 8명의 학생(박사 과정 4명, 석사 과정 4명)을 대상으로 파일럿 검증을 실시하였으며, 참여자 전원은 초보 리뷰어였다. 4명의 참가자가 수동으로 진행한 교과 과제를 완료한 후 자발적으로 도구를 사용하였다. 평가는 리커트 척도 항목과 개방형 질문이 포함된 구조화된 설문지를 사용하여 명확성, 기존 관행과의 일치성, 그리고 학습 및 성찰에 대한 인지된 지원 정도를 평가하는 탐색적이고 형성적인 방식으로 이루어졌다.

주요 기여
본 연구의 주요 기여는 SLRMentor 아티팩트 그 자체로, 이는 리뷰 작업을 자동화하는 것이 아니라 방법론적 추론을 위한 스캐폴딩(scaffold, 학습 보조 도구) 역할을 하도록 설계된 대화형 인터페이스이다. 주요 기술적 특징은 다음과 같다:

• 가이드라인에 근거한 설명: 일반적인 챗봇과 달리, SLRMentore는 RAG를 통해 자신의 추론을 확립된 SLR 가이드라인에 명시적으로 연결함으로써, 교육적 콘텐츠가 EBSE 표준과 일치하도록 보장한다.
• 반복적 정교화 지원: 시스템은 사용자가 여러 차례의 상호작용을 통해 목표와 아티팩트를 수정할 수 있도록 허용하며, 이는 실제 현장에서의 프로토콜 개발이 갖는 반복적인 특성을 반영한다.
• 자동화보다 추론에 집중: 이 도구는 단순히 검토되지 않은 최종 결과물을 출력하는 것이 아니라, 계획 결정(예: 특정 용어가 왜 검색식에 포함되는지)에 대한 "왜(why)"와 "어떻게(how)"에 대한 설명을 제공하도록 설계되었다.

결과
파일럿 검증을 통해 4명의 참가자로부터 질적 및 양적 통찰을 얻었다:

• 학습 도구로서의 인식: 참가자들은 SLRMentor를 확정적인 결과물을 생산하기 위한 도구가 아닌 "학습 지향적 지원"으로 일관되게 간주하였다. 이는 복잡한 계획 과업을 구조화하는 데 도움을 주는 "초보자 친화적인 스캐폴드"로 묘사되었다.
• 명확성 및 일치성: 멘토 채팅은 명확성과 관행과의 일치성 측면에서 높은 점수를 받았다. 참가자들은 이 도구가 "복잡한 체계적 문헌 고찰 요구사항을 파싱(parsing)하는 데" 도움이 되었다고 언급하였다.
• 검색식 구축: 검색식 채팅은 규범적이기보다 교육적이라는 찬사를 받았다. 참가자들은 이 도구가 용어 및 연산자 선택의 근거를 효과적으로 설명한다고 느꼈으나, 학생들의 추가적인 정교화 작업이 필요하다는 점도 인정하였다.
• 기준 정의: 기준 채팅에 대한 결과는 다소 엇갈렸다. 일부 참가자는 일반적인 범주를 예시하고 초기 기준을 도출하는 데 유용하다고 느꼈으나, 다른 참가자들은 도구가 생성한 기준과 수동으로 정의한 기준 사이의 비교 가능성에 변동성이 있음을 지적하였다.
• 능동적 판단의 필요성: 반복되는 주제는 이 도구가 학습을 지원하지만 능동적인 방법론적 판단을 대체할 수는 없다는 점이었다. 참가자들은 도구가 이해와 성찰을 돕지만, 연구자가 최종 결정을 내려야 한다는 점을 강조하였다.

의의 및 주장
본 논문은 SLRMentor가 대화형의, 가이드라인에 근거한 지원을 SLR 계획 활동에 직접 내재화함으로써 기존 교육 도구의 격차를 해소한다고 주장한다. 본 연구의 의의는 다음과 같다:

1. 장벽 완화: 온디맨드(on-demand) 설명과 구조화된 가이드를 제공함으로써 초보 연구자의 초기 진입 장벽을 낮추고, SLR 과정을 더 접근 가능하게 만든다.
2. 명시적 추론: 방법론적 추론을 명시적으로 만들어 학습자가 도구의 가이드와 자신의 결정을 비교할 수 있게 함으로써 비판적 성찰을 촉진한다.
3. 보완적 역할: 저자들은 이 도구를 기존의 교수법 및 인간의 지도에 대한 대체재가 아닌 보완재로 겸허히 위치시킨다. 이는 연구자의 책임을 유지하면서 방법론적 개념과 실습을 강화하도록 설계되었다.

저자들은 파일럿 연구가 학습과 성찰에 효과적임을 시사하지만, 장기적인 학습 성과와 다양한 학생 집단에 대한 전이 가능성을 평가하기 위해서는 더 대규모의 실증적 연구가 필요하다고 결론지었다. 향ant 향후 과제는 검색 코퍼스를 확장하고 연구 선택 및 데이터 합성(data synthesis)과 같은 후기 SLR 단계에 대한 지원을 확장하는 것이다.