Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects

"학부 프로젝트를 위한 평가 연구: 검색 증강 생성을 활용한 생성형 AI 기반 가상 조교"에 대한 상세 기술 요약입니다.

1. 문제 제기

마스트리히트 대학교의 고급 컴퓨팅 과학 학과 (DACS) 는 학부 프로그램 확대로 인해 프로젝트 그룹 수가 36 개에서 72 개로 두 배 증가하면서 상당한 행정 병목 현상에 직면했습니다. 이 급증으로 인해 학업 규정, 규칙, 회의 출석 정책, 그리고 시험 세부 사항에 관한 반복적인 학생 문의가 압도적인 수준으로 늘어났습니다.

• 핵심 과제: 학생들은 종종 복잡한 규정을 해석하는 데 어려움을 겪어, 시간이 많이 소요되는 검색이나 프로젝트 조정관과의 불필요한 연락을 하게 됩니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 인간과 유사한 텍스트를 생성할 수 있지만, 환각 (hallucinations, 사실 조작) 문제, 맥락별 지식 부족(특히 니치한 학업 규정의 경우), 그리고 시간적 제한(정적 훈련 데이터가 최신 규정을 반영하지 못함) 으로 인해 어려움을 겪습니다.
• 목표: 직원을 과부하시키지 않으면서 학생 문의에 정확하고 맥락을 인식하며 신뢰할 수 있는 답변을 제공하는 가상 조교 (VA) 를 개발하는 것입니다.

2. 방법론

저자들은 멀티-쿼리 (Multi-Query) 메커니즘과 자기 성찰 (Self-Reflection) 루프가 강화된 검색 증강 생성 (RAG) 시스템을 제안합니다. 아키텍처는 세 가지 주요 단계로 구성됩니다:

A. 검색 파이프라인

• 데이터 전처리: 노이즈를 최소화하기 위해 문서를 관련 청크로 수동 파싱했습니다.
• 멀티-쿼리 검색: 학생들이 정확한 질문을 구성하는 데 어려움을 겪는 문제를 해결하기 위해, 시스템은 LLM 을 사용하여 사용자 쿼리의 여러 변형을 생성합니다. 이는 다양한 관점을 포착하고 검색 범위를 확장합니다.
• 벡터 데이터베이스 및 임베딩: 문서와 쿼리는 임베딩 모델 (예: Google, OpenAI, Mistral, BGE) 을 사용하여 밀집된 벡터 표현으로 변환됩니다.
• 순위 매기기 및 퓨전:
  • 상호 순위 퓨전 (RRF): 여러 쿼리 변형의 결과를 결합하여 문서를 재순위 매기며, 여러 목록에서 일관되게 높은 순위를 차지하는 문서를 강조합니다.
  • 재순위 매기기: 쿼리와 검색된 문서 간의 정확한 유사도 점수를 계산하기 위해 크로스-인코더 모델 또는 LLM-임베더가 사용됩니다.
  • 퓨샷 학습 (Few-Shot Learning): 조정관들의 기존 Q&A 데이터셋을 벡터 스토어에 저장하여 생성 모델에 올바른 답변의 퓨샷 예시를 제공합니다.

B. 생성 파이프라인

• 프롬프트 엔지니어링: 시스템은 무작위성을 줄이고 사실 기반의 보수적인 응답을 보장하기 위해 구조화된 XML 프롬프트와 낮은 온도 설정 (0.2) 을 활용합니다.
• 출력: LLM 은 검색된 맥락에 엄격히 기반하여 응답을 생성합니다.

C. 자기 성찰 (폴백 메커니즘)

이는 사용자에게 도달하기 전에 출력을 검증하도록 설계된 새로운 구성 요소입니다:

1. 환각 확인: LLM 이 생성된 답변이 검색된 사실에 기반하는지 평가합니다. 환각이 감지되면 시스템이 응답을 재생성합니다.
2. 답변 관련성 확인: 시스템이 답변이 실제로 사용자의 쿼리를 해결하는지 검증합니다.
3. 쿼리 재작성: 답변이 불만족스럽거나 쿼리가 모호한 경우, 시스템은 쿼리를 재작성하거나 사용자에게 명확화 질문을 던집니다.
4. 초과 시도: 설정된 횟수만큼 루프가 실패하면, 시스템은 안전한 응답으로 전환하거나 에스컬레이션합니다.

3. 주요 기여

• 전문 RAG 아키텍처: 학업 규제 도메인에 특화된 멀티-쿼리 생성과 자기 성찰 루프의 통합.
• 강건한 평가 프레임워크: 이 연구는 다음을 사용하는 하이브리드 평가 방식을 채택합니다:
  • 자동화 지표: RAGAS 프레임워크 지표 (맥락 정밀도, 맥락 재현율, 답변 관련성, 충실도) 및 맞춤형 정밀도 지표.
  • 인간 평가: "크로스오버" 설계로 가상 조교를 인간 조정관과 비교하기 위해 두 그룹 (A 와 B) 으로 나뉜 64 명의 학부생을 대상으로 한 통제 실험.
• 현실 세계 검증: 많은 이론적 연구와 달리, 이 작업은 실제 학업 상황에 직면한 실제 학생들을 대상으로 테스트되어 사용자 행동과 시스템 유용성에 대한 경험적 데이터를 제공했습니다.

4. 결과

자동화 평가 (RAGAS 지표)

GPT-3.5와 Gemini 1.0 Pro 비교:

• Gemini 1.0 Pro: 맥락 정밀도가 약간 더 높음 (89% 대 88%).
• GPT-3.5: 맥락 재현율 (42% 대 41%), 답변 관련성 (57% 대 37%), 그리고 충실도 (43% 대 32%) 에서 우수한 성능을 보임.
• 결론: 관련성과 사실 기반의 더 나은 균형으로 인해 GPT-3.5 가 주요 생성기로 선정됨.

인간 평가 (학생 설문조사)

• 정확도 향상: 대부분의 시나리오에서 학생들이 VA 를 사용할 때 정답 비율이 증가했습니다.
  • 예시 (시나리오 1): 정답 비율이 (VA 없음) **32.4%**에서 (VA 있음) **46.7%**로 상승.
  • 예시 (시나리오 6): 정답 비율이 **50.0%**에서 **73.5%**로 상승.
• 불확실성 감소: "모르겠다" 응답이 VA 사용 시 현저히 감소 (예: 시나리오 2 는 32.4% 에서 6.7% 로 감소).
• 예외: 시나리오 5 와 7 은 성능 저하를 보임. 분석 결과 이는 훈련 데이터의 누락 (회의와 시험 구분) 및 규칙으로 다루지 못한 예기치 않은 엣지 케이스 때문임이 밝혀짐.
• 사용자 만족도:
  • 도움됨: 대부분의 시나리오에서 높은 점수 (평균 3.5–4.5/5) 를 받음.
  • 응답 시간: 평균 10.045 초(표준편차 2.39 초)로 학생들이 수용 가능하다고 판단.
  • 선호도: VA 의 유용성에도 불구하고, 학생들의 71% 가 처음에는 인간 조정관에게 연락하는 것을 선호하여, 시간이 지남에 따라 VA 가 해소하려는 신뢰 격차가 존재함을 시사함.

5. 중요성 및 향후 작업

• 교육적 영향: VA 는 직원들의 행정 업무 부담을 줄일 수 있는 잠재력을 성공적으로 입증하면서, 학생들에게 복잡한 규정에 대한 즉각적이고 정확한 접근을 제공했습니다.
• 기술적 통찰: 이 연구는 RAG 가 정확도를 향상시키지만, 데이터 품질(수동 파싱, 포괄적인 훈련 데이터) 이 결정적임을 강조합니다. 소스 문서의 결함은 직접적으로 시스템 실패로 이어집니다.
• 식별된 한계:
  • 학습 관리 시스템 (LMS) 과 통합되지 않으면 개인 학생 데이터 (예: 특정 조정관 배정) 에 접근할 수 없음.
  • 유사한 개념 (예: "기술 클래스" 대 "강의") 을 구분하는 데 어려움.
  • 긴 맥락 입력에 대한 도전.
• 향후 방향:
  • 개인화된 응답을 위한 대학 LMS 와의 통합.
  • 검색 개선을 위한 Reverse HyDE 및 대조 학습 구현.
  • 더 강력한 환각 감지를 위한 의미론적 엔트로피 (semantic entropy) 사용.
  • 학생 피드백에 기반한 특정 템플릿 (예: 불가항력용) 과 FAQ 추가.

결론적으로, 이 논문은 기반 지식 베이스가 엄격하고 시스템이 실제 사용자 피드백에 기반하여 지속적으로 개선된다면, 자기 수정 메커니즘이 있는 잘 설계된 RAG 시스템이 효과적인 전문 교육 도구로 기능할 수 있음을 검증했습니다.