논문 개요

이 논문은 대규모 언어 모델 (LLM) 기반 추천 시스템의 투명성, 지식 기반성 (Grounding), 그리고 신뢰할 수 있는 설명 생성 능력을 해결하기 위해 제안된 MATRAG(Multi-Agent Transparent Retrieval-Augmented Generation) 프레임워크를 소개합니다. 기존 LLM 추천 시스템이 겪는 '블랙박스' 문제와 사실 오류 (Hallucination) 를 극복하고, 지식 그래프 (Knowledge Graph) 와 다중 에이전트 협업을 결합하여 투명하고 설명 가능한 추천을 제공하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem Statement)

기존 LLM 기반 추천 시스템은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 투명성 부족 (Lack of Transparency): 추천의 근거를 설명하지 않아 사용자의 신뢰를 떨어뜨리고, 의료/금융 등 고위험 분야에서 적용을 제한합니다.
2. 지식 기반성 부재 (Poor Knowledge Grounding): LLM 은 사전 학습된 지식에 의존하여 사실 오류를 범하거나 최신/도메인 특화 정보를 반영하지 못합니다. 기존 RAG(검색 증강 생성) 는 텍스트 조각만 검색하여 지식 그래프의 풍부한 관계 구조를 활용하지 못합니다.
3. 단일 에이전트의 한계 (Single-Agent Limitations): 복잡한 추천 작업을 단일 LLM 이 수행할 경우, 다양한 신호를 통합하고 일관된 추론을 유지하는 데 어려움을 겪습니다.

2. 방법론 (Methodology)

MATRAG 는 중앙 오케스트레이터 (Orchestrator) 가 조정하는 4 개의 전문화된 에이전트와 투명성 점수화 모듈로 구성됩니다.

A. 프레임워크 아키텍처

1. 오케스트레이터 에이전트 (Orchestrator Agent):

   • 전체 워크플로우를 관리하며, 요청 유형 (콜드 스타트, 재순위화 등) 을 분석하고 하위 작업을 적절한 에이전트에 할당합니다.
   • ReAct(Reasoning + Acting) 스타일의 추론 루프를 사용하여 다단계 계획을 수행합니다.

2. 사용자 모델링 에이전트 (User Modeling Agent):

   • 행동 신호 (클릭, 구매, 체류 시간), 텍스트 피드백 (리뷰, 대화), 맥락적 요소를 처리하여 동적인 사용자 프로필을 생성합니다.
   • 명시적 선호도, 암시적 선호도, 상황적 요소, 시간적 변화를 구조화된 프로필로 통합합니다.

3. 아이템 분석 에이전트 (Item Analysis Agent):

   • 지식 그래프 (KG) 에서 후보 아이템에 대한 구조화된 지식을 검색하고 합성합니다.
   • 2 단계 검색 전략: 밀도 검색 (Dense Retrieval) 으로 의미적 유사 서브그래프를 찾은 후, LLM 을 이용한 재순위화 (Re-ranking) 를 통해 사용자 선호도와 관련된 정보를 필터링합니다.

4. 추론 에이전트 (Reasoning Agent):

   • 사용자 모델링과 아이템 분석 신호를 통합하여 추천을 생성합니다.
   • 협업 필터링 (CF), 콘텐츠 기반 (CB), 그리고 검색된 지식을 기반으로 한 LLM 예측을 결합한 하이브리드 점수 산출 방식을 사용합니다.
   • 단순 점수뿐만 아니라, 검색된 증거를 기반으로 한 **명시적인 추론 체인 (Reasoning Chain)**을 생성합니다.

5. 설명 에이전트 (Explanation Agent):

   • 추론 체인을 사용자의 이해 수준에 맞는 자연어 설명으로 변환합니다.
   • 간결한, 상세한, 비교형 등 다양한 모드 지원하며, 생성된 설명이 검색된 지식에 기반하여 사실에 부합하도록 (Faithful) 유도합니다.

B. 투명성 점수화 모듈 (Transparency Scoring Module)

생성된 설명의 품질을 정량화하기 위해 3 가지 차원의 점수를 계산합니다:

• 충실도 (Faithfulness): 설명이 검색된 증거와 추론 체인을 얼마나 정확하게 반영하는지 (NLI 기반).
• 일관성 (Coherence): 설명의 논리적 흐름과 모순 여부 (LLM-Judge 기반).
• 개인화 (Personalization): 설명이 사용자 프로필과 얼마나 일치하는지 (임베딩 유사도).
• 최종 투명성 점수는 가중 합으로 계산되어 자동 평가 및 RLHF(인간 피드백 기반 강화 학습) 에 활용됩니다.

3. 주요 기여 (Key Contributions)

1. MATRAG 프레임워크 제안: 지식 그래프 기반 검색과 전문화된 다중 에이전트 협업을 결합한 새로운 추천 프레임워크를 제시했습니다.
2. 투명성 점수화 메커니즘: 설명의 충실도, 일관성, 개인화를 정량적으로 평가할 수 있는 도구를 개발했습니다.
3. 성능 입증: 3 개의 벤치마크 데이터셋 (Amazon, MovieLens, Yelp) 에서 기존 최첨단 (SOTA) 방법론 대비 뛰어난 성능을 입증했습니다.
4. 인간 평가: 도메인 전문가의 평가에서 생성된 설명의 87.4% 가 '유용하고 신뢰할 수 있음'으로 평가받았습니다.

4. 실험 결과 (Results)

• 추천 정확도:
  • Amazon: Hit Rate(HR@10) 에서 12.7% 향상, NDCG 에서 15.3% 향상.
  • MovieLens 및 Yelp: 모든 데이터셋에서 기존 LLM 기반 및 에이전트 기반 모델 (InteRecAgent, MACRec 등) 을 능가하는 SOTA 성능 달성.
  • 분석: 다중 에이전트 협업이 단일 에이전트보다 정확도를 크게 높였으며, 지식 그래프 증강이 LLM 의 추론 능력을 강화함을 확인했습니다.
• 설명 품질:
  • 충실도 (Faithfulness) 와 일관성 (Coherence) 지표에서 기존 모델 대비 크게 개선되었습니다.
  • 인간 평가 (1~5 점 척도) 에서 유용성, 신뢰성, 정보성, 개인화 모든 항목에서 가장 높은 점수 (평균 4.36) 를 기록했습니다.
• 효율성:
  • 다중 에이전트 협업과 KG 검색으로 인해 지연 시간 (Latency) 은 증가했으나 (약 5.3 초), 비실시간 시나리오나 설명 생성을 비동기화하면 실용적인 수준임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 추천 시스템의 새로운 기준: LLM 기반 추천 시스템이 '블랙박스'를 탈피하고, 사용자가 이해하고 신뢰할 수 있는 '설명 가능한 AI(XAI)'로 발전하는 데 필요한 아키텍처를 제시했습니다.
• 지식 기반의 중요성 강조: LLM 이 지식 그래프와 같은 구조화된 외부 지식을 활용해야 사실 오류를 줄이고 신뢰성을 높일 수 있음을 입증했습니다.
• 실무 적용 가능성: 투명성 점수화 모듈을 통해 설명 품질을 지속적으로 개선할 수 있는 피드백 루프를 제공하여, 실제 서비스 환경에 배포 가능한 솔루션을 제시합니다.

이 연구는 추천 시스템 분야에서 다중 에이전트 시스템과 지식 그래프의 통합이 정확도와 설명 가능성 (Explainability) 을 동시에 달성할 수 있는 유효한 경로임을 보여줍니다.