A Locally Deployed RAG-Based Academic Advising System for Course Selection

기술 요약: 학사 지도(Course Selection)를 위한 로컬 배포형 RAG 기반 시스템

문제 정의

학생들은 방대한 강의 계획서에 포함된 정보 과부하, 인지적 한계, 그리고 복잡한 선수 과목 체계로 인해 최적의 수강 경로를 구성하는 데 어려움을 겪습니다. 반대로 교육 기관은 제한된 자원과 상담사의 과도한 업무량으로 인해 충분하고 개인화된 학사 지도를 제공하는 데 어려움을 겪고 있습니다. AI 기반 챗봇이 잠재적인 해결책을 제시하지만, 표준 생성형 AI 모델은 기관 특유의 최신 강의 계획서 데이터에 접근할 수 없으며, 전용 모델을 학습시키는 데는 많은 조직이 감당하기 어려운 컴퓨팅 자원이 필요합니다. 또한, 기존의 검색 증강 생성(RAG) 시스템은 고정된 크기의 청킹(chunking) 전략을 사용하는 경우가 많아, 표, 메타데이터, 섹션 제목과 같은 반구조화된 강의 계획서 문서의 의미론적 무결성을 보존하지 못해 검색 품질이 저하되는 문제가 발생합니다.

방법론

저자들은 데이터 프라이버시를 보호하면서 강의 계획서 정보를 활용하여 학생들의 수강 선택을 돕도록 설계된 로컬 배포형 RAG 시스템인 Syllabot을 제안합니다.

시스템 아키텍처

시스템은 4단계 워크플로우로 작동합니다:

1. 전처리(Preprocessing): 강의 계획서 문서를 헤더 기반 청크로 변환하고, 메타데이터(소스 경로 및 간결한 강의 정보)를 추가하여 풍부하게 만듭니다.
2. 인덱싱(Indexing): 검색을 위해 청크를 인덱싱합니다.
3. 검색(Retrieval): 학생의 질의가 주어지면, 시스템은 다음 세 가지 전략 중 하나를 사용하여 관련 청크를 검색합니다:
   • BM25: Janome을 이용한 일본어 토큰화 기반의 어휘 검색.
   • 의미론적 검색(Semantic Retrieval): multilingual-e5-large와 Pinecone을 이용한 임베딩 기반 검색.
   • 하이브리드 검색(Hybrid Retrieval): 상호 순위 융합(Reciprocal Rank Fusion, RRF)을 통해 결합된 어휘 및 의미론적 검색 결과의 조합.
4. 생성(Generation): 로컬에서 실행되는 대규모 언어 모델(LLM)인 RakutenAI-7B-instruct가 검색된 컨텍스트만을 바탕으로 답변을 생성합니다. 일관성을 보장하기 위해 온도는 0.0으로 설정되었습니다.

평가 프레임워크

성능을 엄격하게 평가하기 위해, 본 연구는 검색 복잡도(필요한 "골드 청크"의 수와 어휘 중첩도로 정의됨)에 따른 **검색 지향적 질의 분류 체계(retrieval-oriented query taxonomy)**를 도입했습니다:

• 어휘 매칭 질의(Lexical Match Queries): 단일 골드 청크, 높은 키워드 중첩.
• 의미론적 패러프레이즈 질의(Semantic Paraphrase Queries): 단일 골드 청크, 낮은 키워드 중첩.
• 다중 증거 합성 질의(Multi-evidence Synthesis Queries): 다수의 골드 청크 필요.
• 범위 외 질의(Out-of-scope Queries): 골드 청크 없음 (거절 동작을 테스트하기 위해 사용).

평가 질의는 사전 정의된 골드 청크로부터 LLM을 사용하여 자동으로 생성되었습니다. 시스템은 다음을 통해 평가되었습니다:

• 검색 지표: Gold Chunk Precision@K 및 Recall@K.
• 생성 지표: 충실도(Faithfulness, 컨텍스트에 근거함) 및 답변 관련성(Answer Relevance).
• 경계 지표: 범위 외 질의에 대한 거절률(Refusal Rate).

주요 기여

1. 시스템 구현: 외부 클라우드 API에 대한 의존도를 낮추면서 프라이버시를 보호하는, 학사 지도를 위한 로컬 배포형 RAG 시스템을 구현했습니다.
2. 분류 체계 및 생성: 새로운 검색 지향적 질의 분류 체계와 골드 청크 레이블이 포함된 자동화된 평가 질의 생성 방법을 제안하여, 검색 복잡도에 대한 세밀한 분석을 가능하게 했습니다.
3. 평가 지표: 필수적인 증거를 수집하는 검색기의 능력을 직접 측정하기 위해 Gold Chunk Precision@K 및 Recall@K를 제안했습니다.
4. 경험적 분석: 검색 전략의 효과가 질의 유형과 복잡도에 따라 크게 달라짐을 보여주는 종합적인 평가를 수행했습니다.

실험 결과

본 연구는 97개의 일본 대학 강의 코퍼스와 100개의 질의 평가 세트를 활용했습니다.

• 베이스라인: RAG를 사용하지 않은 LLM 단독 베이스라인은 답변 가능한 질의의 93.3%를 거절하였으며, 이는 이 도메인에서 외부 강의 계획서 데이터의 필요성을 확인시켜 줍니다.
• 검색 성능:
  • 어휘 매칭: 밀집(의미론적) 검색이 경쟁력 있는 성능을 보였으며, 가장 높은 Precision@K를 달성하여, 이 코퍼스에서 BM25가 키워드 중심 질의에 더 우수할 것이라는 가설에 도전했습니다.
  • 의미론적 패러프레이즈: 예상대로 밀집 및 하이브리드 검색이 BM25보다 크게 앞섰습니다.
  • 다중 증거 합성: 하이브리드 검색이 밀집 검색에 비해 명확한 우위를 보이지 않았으며, 두 방식 모두 BM25보다 Recall 측면에서 우수했으나, BM25는 Top-k가 증가함에 따라 Precision이 급격히 하락했습니다.
  • 하이브리드 한계: 고정 가중치 하이브리드 융합(RRF)이 밀집 검색보다 일관되게 우수한 성능을 보이지 않았는데, 이는 한 전략의 비-골드 청크가 다른 전략의 결과를 희석할 수 있음을 시사합니다.
• 생성 품질: 검색된 청크의 수(Top-k)가 증가함에 따라, Top-10 이후에는 충실도가 감소했습니다. 이는 과도한 컨텍스트가 경량 로컬 LLM의 성능을 저하시키는 노이즈를 유입시킨다는 것을 나타냅니다.
• 경계 능력: 범위 외 질의에 대한 거절율은 Top-k가 증가함에 따라 감소했습니다. 모델은 표면적으로 유사한 넓은 컨텍스트가 제공될 때, 근거는 없지만 그럴듯한 답변을 생성하는 경향(hallucination)을 보였습니다.

의의 및 주장

본 논문은 Syllabot이 클라우드 기반 솔루션에 대한 대안으로서 프라이버시를 고려한 학사 지도를 위한 로컬 배포형 RAG 시스템의 생존 가능성을 성공적으로 입증했다고 주장합니다. 연구는 검색 복잡도가 전략의 효과를 결정한다는 점을 강조하며, "만능형(one-size-fits-all)" 검색 접근 방식은 최선이 아니라고 주장합니다. 구체적으로, 저자들은 밀집 검색이 본 강의 계획서 코퍼스에서 좋은 성능을 보였지만, 고정된 하이브리드 전략이 반드시 필요하거나 최적인 것은 아닐 수 있다고 논합니다.

저자들은 현재의 "답변 관련성"과 같은 평가 지표가 올바른 거절을 벌하거나 그럴듯하지만 틀린 답변에 보상을 줄 수 있다는 점을 언급하며 한계를 겸허히 인정했습니다. 결과적으로, 본 논문은 향후 연구가 학사 지도 시스템에서의 환각 위험을 더욱 줄이기 위해 증거 지향적 검색(단순한 의미론적 유사성이 아닌 증거를 제공하는 청크 식별) 및 증거 기반 생성 평가에 집중해야 한다고 결론짓습니다.