From "Strings" to "Things" for Personal Knowledge Graphs: Evaluating LLM Triple Extraction for Recommendation Systems

기술 요약: 개인 지식 그래프를 위한 "문자열(Strings)"에서 "사물(Things)"로의 전환

문제 정의
개인 지식 그래프(Personal Knowledge Graphs, PKGs)는 사용자 선호도를 모델링하기 위한 프라이버시 보존형 프레임워크를 제공하지만, 비구조화되고 분산된 대화 데이터로부터 이를 구축하는 것은 여전히 중대한 과제로 남아 있다. 구조화된 사용자-아이템 관계에 의존하는 전통적인 추천 시스템은 중앙 집중식으로 기록된 상호작용 트레이스에 의존하는 경우가 많으나, 이는 프라이버시 문제나 인프라 제약으로 인해 이용 불가능한 경우가 빈번하다. 거대 언어 모델(LLMs)은 오픈 도메인 지식 추출에는 뛰어나지만, 비구조화된 "문자열"과 의미론적 "사물" 사이의 간극을 메우며 대화형 상호작용으로부터 직접 PKG를 구축하는 능력은 아직 충분히 탐구되지 않았다. 또한, 기존 방식들은 기기 내(on-device)에서 가공되지 않은 대화 이력을 처리하는 비효율성과 중복 없이 비구조화된 요약본을 병합하는 데 어려움을 겪는 경우가 많다.

방법론
저자들은 자연어 대화로부터 구조화된 사용자 선호도 트리플(triple)을 추출하여 PKG를 구축하는 재현 가능한 파이프라인을 제안한다. 이 방법론은 다음 구성 요소들을 포함한다:

• 파이프라인 아키텍처: 시스템은 사용자와 에이전트 간의 다회차(multi-turn) 대화를 입력값으로 받는다. LLM은 대화를 처리하여 (사용자, 관계, 아이템) 트리플을 추출한다. 추출된 트리플은 정규화되고, 외부 지식 그래프 식별자(특히 Wikidata IRI)에 정렬된 후 PKG에 통합된다.
• 의미론적 스키마: 파이프라인은 RDF에 기반한 명시적인 '사용자 영화 선호 온톨로지(User Movie Preference Ontology)'를 활용한다. 이는 두 가지 핵심 엔티티 유형(pkg:User 및 pkg:Movie)과 다섯 가지 객체 속성(pkg:likes, pkg:dislikes, pkg:hasSeen, pkg:hasNotSeen, pkg:wasSuggested)을 정의한다. 엔티티들은 글로벌 상호 운용성을 보장하기 위해 안정적이고 참조 가능한 IRI에 연결된다.
• 데이터셋: 평가는 인간 간의 영화 추천 대화를 담고 있는 11,000개 이상의 대화 데이터인 ReDial(Recommendation Dialogues) 데이터셋을 활용한다. 이 데이터셋은 사용자 선호도를 설명하는 구조화된 메타데이터 주석(ground truth)을 제공하여, 인간이 주석을 단 데이터와 LLM이 추출한 구조 간의 원칙적인 비교를 가능하게 한다.
• 실험 설정: 본 연구는 다양한 파라미터 크기(0.6B에서 12B 범위)와 프롬프트 체계(0-shot에서 10-shot까지)에 걸쳐 Qwen3 및 Gemma-3 제품군의 오픈 웨이트 LLM을 평가한다. 추출된 트리플은 원래의 데이터셋을 증강하여 ground-truth 주석을 대체하며, 이를 통해 다운스트림 유용성을 테스트하기 위한 통제된 환경을 조성한다.
• 평가 지표:
  • 업스트림(Upstream): 추출된 트리플을 ground-truth 주석과 비교하여 표준 정보 추출 지표(정밀도, 재현율, F1-score)를 계산한다.
  • 다운스트림(Downstream): 추출된 PKG의 유용성은 FedTREK-LM 추천 시스템을 사용하여 평가한다. 모델들은 LLM이 추출한 트리플로 증강된 데이터셋으로 학습되며, 원래의 ground-truth 데이터로 학습된 모델과 비교하여 추천 성능(F1-score)을 측정함으로써 다운스트림 성능을 평가한다.

주요 기여

1. 파이프라인 개발: IRI를 사용하는 명시적 의미론적 스키마를 통해 대화형 추천 대화를 구조화된 RDF 준수 PKG로 변환하는 프롬프트 기반의 PKG 구축 파이프라인을 개발하였다.
2. 체계적 평가: ReDial 데이터셋의 구조화된 주석을 대상으로 오픈 웨이트 LLM(Qwen3 및 Gemma-3 변체)을 벤치마킹하여, 대화형 PKG 추출 가능성에 대한 최초의 대규모 평가를 수행하였다.
3. 다운스트림 유용성 분석: 추출 성능이 추천 성능에 미치는 영향을 분석하여, LLM 유도 PKG가 분산형, 프라이버시 보존형 개인화 서비스를 위한 토대로 기능할 수 있음을 입증하였다.

결과

• 추출 성능: Gemma-3 Instruct 제품군이 일반적으로 Qwen3 모델보다 우수한 성능을 보였다. 추출 성능이 가장 뛰어난 모델은 Gemma-12B Instruct였다. 성능은 모델 크기와 샷(shot) 수에 따라 일정 수준까지는 증가했으나, 10-shot 설정에서는 성능이 크게 하락했는데, 이는 프롬프트 패턴에 대한 과적합을 시사한다.
• 관계 특이성: "좋아함(liked)" 관계는 선호도가 명시적으로 표현되는 경우가 많아 모든 모델에서 가장 높은 F1-score를 기록했다. "보았음(seen)" 관계는 중간 정도의 성공을 거두었으며, "제안됨(suggested)"은 장기적인 대화 기억을 요구하기 때문에 가장 어려운 과제로 나타났다.
• 다운스트림 영향:
  • 작은 모델들의 경우, 업스트림 추출 점수 대비 다운스트림 성능에서 주목할 만한 회복력을 보였다. 예를 들어, Qwen3-0.6B 모델은 낮은 업스트림 추출 F1-score(0.3577)에도 불구하고 다운스트림 작업에서 ground-truth 베이스라인 성능의 75% 이상을 유지했다.
  • 더 큰 모델(예: Qwen3-8B)은 자신의 추출물로 증강된 데이터로 학습될 때 다운스트림 성능이 "붕괴"되는 현상을 경험했다. 이는 낮은 재현율(recall)로 인한 취약한 업스트림 추출이 제공하는 희소하고 약한 맥락적 토대가 모델 고유의 추론 능력을 저해했기 때문으로 분석된다.
  • 역스케일링(Inverse Scaling) 관찰: Qwen3-0.6B 다운스트림 모델을 사용한 교차 모델 평가에서, 가장 작은 모델인 Gemma-1B에 의해 추출된 트리플이 가장 높은 다운스트림 F1-score(0.184)를 기록하며, 더 큰 모델인 Gemma-4B 및 Gemma-12B의 추출물을 앞질렀다. 저자들은 이를 1B 모델이 더 균형 잡힌 프로필을 가지고 있어, 결정적인 "좋아함" 관계에 대해 더 높은 재현율을 확보하고 대화 흐름에서의 일관성이 좋아, 희소하고 정밀도가 높은 그래프보다 학습을 위한 더 풍부한 토대를 제공했기 때문이라고 설명한다.

의의 및 주장
본 논문은 명시적인 중앙 집중식 로깅에 의존하는 전통적인 방식에 대한 확장 가능한 대안으로서, 대화로부터 직접 PKG를 구축하는 재현 가능한 파이프라인을 검증한다고 주장한다. 핵심적인 의의는 다음을 입증하는 데 있다:

1. 분산형 구축의 실현 가능성: 경량화된 오픈 웨이트 LLM을 사용하여 강력한 선호 신호를 추출할 수 있으며, 이는 막대한 계산 비용이 드는 거대 모델 없이도 기기 내(on-device) 프라이버시 보존형 PKG 구축이 가능하다는 것을 보여준다.
2. 추출 품질과 다운스트림 유용성 간의 관계: 추출 충실도와 다운스트래닝 유용성 사이에는 복잡한 관계가 존재한다. 더 큰 모델의 고정밀/저재현율 추출은 다운스트림 작업에 해로울 수 있는 반면, 작은 모델의 균형 잡힌/재현율 중심 추출은 학습을 위한 더 효과적인 토대를 제공할 수 있다.
3. 적응형 AI를 위한 기반: 본 연구는 구조화된 개인화를 바탕으로 하는 적응형 대화형 AI를 향한 중요한 단계로서, 사용자 특정 지식을 추출하는 현재 LLM 능력에 대한 진단적 렌즈를 제공한다. 이는 검색 증강 생성(RAG)과 지식 편집(knowledge editing)을 통한 동적 적응을 지원하는 PKG의 잠재력을 강조하며, 개인화 서비스의 콜드 스타트 문제를 해결하는 데 기여한다.