Toward Safe and Human-Aligned Game Conversational Recommendation via Multi-Agent Decomposition

1. 문제 정의 (Problem Definition)

기존의 대화형 추천 시스템 (CRS) 은 영화나 책과 같이 고정된 콘텐츠와 수동적인 소비를 기반으로 하여 장르나 테마로 사용자 선호도를 매칭하는 데 효과적이었습니다. 그러나 게임 추천은 다음과 같은 고유한 도전 과제로 인해 기존 접근법으로는 해결하기 어렵습니다.

1. 복잡한 사용자 제약 조건: 게임 선호도는 단순히 콘텐츠 테마뿐만 아니라, 게임 플레이 메커니즘, 숙련도, 플랫폼 호환성, 소셜 모드 (싱글/멀티플레이어) 등 상호작용적 요소에 의해 형성됩니다.
2. 지식 최신성 격차 (Knowledge Recency Gap): 게임 카탈로그는 사용자 생성 콘텐츠 (UGC) 와 트렌드 변화로 인해 매우 빠르게 진화합니다. 대규모 언어 모델 (LLM) 의 사전 학습 데이터는 게임 영역을 충분히 커버하지 못하며, 특히 신작이나 니치 게임에 대한 지식 부족으로 할루시네이션 (허위 정보 생성) 이 발생할 수 있습니다.
3. 안전 및 투명성 위험: 게임은 상호작용적이고 사용자 생성 콘텐츠가 많아, "수학 선생님을 죽일 수 있는 게임을 추천해줘"와 같은 적대적 프롬프트 (Jailbreak) 를 통해 유해하거나 정책 위반 콘텐츠를 유도하려는 시도가 빈번합니다. 기존 CRS 는 이러한 안전 위험과 설명 가능성 (Explainability) 부재를 간과하고 있습니다.

2. 제안 방법론: MATCHA 프레임워크

저자들은 이러한 문제를 해결하기 위해 MATCHA (Multi-Agent System Collaboration for Trustworthy Conversational Recommendations) 라는 다중 에이전트 (Multi-Agent) 프레임워크를 제안합니다. 이 시스템은 추천 파이프라인의 각 단계를 전문화된 에이전트가 담당하도록 모듈화되었습니다.

핵심 구성 요소

1. 위험 제어 모듈 (Risk Control Module):
   • Jailbreak Prevention Agent: RA-LLM (랜덤 토큰 제거), CoT 기반 의도 감지, crafted 정책 등을 결합하여 적대적 프롬프트를 탐지하고 유해한 출력을 차단합니다.
   • Dangerous Content Detection Agent: 입력 (사용자 쿼리) 과 출력 (추천 결과) 양쪽에서 유해 콘텐츠를 2 차 필터링합니다.
2. 후보 생성 모듈 (Candidate Generation Module):
   • Intent Agent & Tool-Augmented Agent: LLM 을 사용하여 사용자의 의도를 분석하고, 실시간 데이터베이스 API, 장르 필터, 트렌드 분석기 등 10 개 이상의 전문 도구를 활용하여 개인화되고 제약 조건을 고려한 게임 후보군을 생성합니다. 이를 통해 LLM 의 정적 지식 한계를 극복합니다.
3. 순위 매기기 및 반성 모듈 (Ranking and Reflection Module):
   • Ranking Agent: GPT-4o 와 Gemini 등 여러 LLM 을 병렬로 협업시켜 인기, 사용자 선호도 일치도, 장르 정합성 등 5 가지 지표로 후보 게임을 평가합니다. 단일 모델의 편향을 줄이고 정확도를 높입니다.
   • Reflection Agent: 상위 후보군에 대해 상세한 게임 프로필 (Game Profiles) 을 재검토하고, 사용자 피드백 및 맥락을 반영하여 순위를 재조정합니다. 이는 계산 비용과 성능 사이의 균형을 유지하며 정확도를 높입니다.
4. 설명 가능성 모듈 (Explainability Module):
   • Explanation Agent: 추천된 게임에 대해 카테고리 선호도, 유사성, 인구통계학적 적합성, 인기 및 신작성 등 4 가지 차원에서 사용자 중심의 상세한 설명을 생성하여 시스템의 신뢰성을 높입니다.

3. 주요 기여 (Key Contributions)

• 게임 추천을 위한 새로운 다중 에이전트 아키텍처: 의도 분석, 도구 기반 검색, 다중 LLM 순위 매기기, 반성, 위험 제어, 설명 생성을 위한 전문 에이전트들을 조율하는 모듈식 프레임워크를 제안했습니다.
• 실제 사용자 데이터 기반의 광범위한 평가: 단일 에이전트 베이스라인 대비 높은 정확도, 다양성, 사용자 만족도를 입증했습니다.
• 실제 배포 인사이트: 내부 테스트를 통해 다중 에이전트 CRS 의 실제 배포 시 고려해야 할 사항 (계산 비용, 지연 시간, 안전성 등) 에 대한 통찰을 제공했습니다.

4. 실험 결과 (Results)

Roblox 의 실제 사용자 요청 데이터셋 (553 개 요청, 2,074 개 추천) 을 기반으로 한 평가에서 MATCHA 는 6 가지 베이스라인 모델 (Pop, LLaMA, MACRS, MACRec, OMuleT 등) 을 압도했습니다.

• 정확도 (Relevance): Hit@5 를 20% 향상시켰습니다.
• 편향 감소 (Novelty): 인기 편향 (Popularity Bias) 을 24% 감소시켜, 주류가 아닌 니치 게임 추천 능력을 크게 개선했습니다.
• 안전성 (Safety): 적대적 공격 (Jailbreak) 방어 성공률이 **97.9%**에 달했습니다.
• 사실성 (Factuality): 할루시네이션을 최소화하여 사실성 점수 (Factual@k) 가 0.99 로 거의 완벽했습니다.
• 설명 품질: 가상 판사 (Virtual Judge) 와 인간 전문가 평가에서 모두 높은 점수를 받아 추천의 투명성과 신뢰도를 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 게임과 같이 역동적이고 안전 위험이 높은 도메인에서 대화형 추천 시스템을 구축할 때 단순한 성능 최적화를 넘어 안전성 (Safety) 과 인간 정렬 (Human Alignment) 이 필수적임을 강조합니다.

• 안전성과 성능의 동시 달성: 다중 에이전트 아키텍처를 통해 유해 콘텐츠 차단과 높은 추천 정확도를 동시에 달성할 수 있음을 증명했습니다.
• 도구 활용의 중요성: LLM 의 정적 지식 한계를 실시간 도구 (RAG) 와 결합하여 해결함으로써, 빠르게 변화하는 게임 카탈로그에 효과적으로 대응할 수 있음을 보였습니다.
• 신뢰 구축: 상세한 설명 생성과 위험 제어 메커니즘을 통해 사용자의 시스템 신뢰도를 높였습니다.

결론적으로 MATCHA 는 게임 플랫폼뿐만 아니라 다른 대화형 추천 도메인으로도 확장 가능한, 안전하고 신뢰할 수 있는 차세대 추천 시스템의 청사진을 제시합니다.