Personalized Graph-Empowered Large Language Model for Proactive Information Access

1. 문제 정의 (Problem)

개인적인 생활 기록 (Lifelog) 은 시간이 지남에 따라 방대해지지만, 사용자는 과거의 세부 사항을 기억하지 못하거나 사건을 혼동하는 경우가 많습니다. 기존 연구들은 주로 심층 학습 (Deep Learning) 기법에 의존하여 개인화된 기억 회상 시스템을 구축했으나, 다음과 같은 한계가 있었습니다.

• 데이터 부족 및 훈련 비용: 개인 라이프로그 데이터의 양이 제한적이어서 대규모 모델 훈련이 어렵고, 새로운 데이터가 계속 축적될 때마다 모델을 재훈련해야 하는 비효율성이 존재합니다.
• 적응성 부족: 기존 모델들은 특정 시기의 데이터에 맞춰 미세 조정 (Fine-tuning) 되었기 때문에, 끊임없이 업데이트되는 사용자의 지식 그래프에 신속하게 적응하기 어렵습니다.
• LLM 의 한계: 최근 등장한 대규모 언어 모델 (LLM) 은 강력한 성능을 보이지만, 개인화된 정보 접근 필요성을 탐지할 때 환각 (Hallucination) 이 발생하거나, 텍스트 기반 정보만으로는 구조화된 사실 관계를 정확히 파악하는 데 어려움을 겪습니다.

따라서, 사용자의 기억 상실이나 오류를 능동적 (Proactive) 으로 감지하고 지원할 수 있으며, 새로운 데이터에 유연하게 적응할 수 있는 시스템이 필요합니다.

2. 방법론 (Methodology)

저자들은 그래프 기반 정제 프레임워크 (Graph-Empowered Refinement, GER) 를 제안합니다. 이 프레임워크는 개인 지식 그래프 (Personal Knowledge Graph, PKG) 와 LLM 을 결합하여 정보 접근 필요성을 탐지하는 3 단계 모듈로 구성됩니다.

A. 핵심 작업 정의

사용자가 과거의 이야기를 다시 전하는 (Retold) 상황과 원본 기록 (Reference) 을 비교하여 다음 5 가지 이벤트 유형을 분류하는 것이 목표입니다.

1. 일관성 (Consistent): 원본과 일치함.
2. 불일치 (Inconsistent): 사실과 모순됨 (오기억).
3. 추가 (Additional): 원본에 없던 새로운 정보 (로그 업데이트 필요).
4. 잊혀진 (Forgotten): 원본에 있었으나 현재 이야기에서 누락됨 (기억 회상 필요).
5. 기억된 (Unforgotten): 원본과 현재 이야기가 모두 존재함.

B. GER 프레임워크의 3 단계 모듈

1. Base Module (기초 예측):
   • LLM 을 사용하여 원본 이야기와 대상 이벤트 (쿼리) 간의 관계를 직접 예측합니다.
   • 초기에는 5 가지 클래스 분류를 시도했으나 성능이 낮아, '관련성 (Relevant)' 과 '무관성 (Irrelevant)' 의 이진 분류로 변환하여 예측합니다.
2. Support Module (지식 그래프 지원):
   • 구조화된 개인 지식 그래프 (PKG) 를 활용하여 쿼리와 관련된 '지원 이벤트 (Support Events)'를 찾습니다.
   • 그래프 기반 분류기: Sentence Transformer 를 사용하여 쿼리와 그래프 노드 (주어, 술어, 목적어) 간의 코사인 유사도를 계산합니다.
   • LLM 기반 분류기: LLM 에게 원본 이야기와 쿼리를 입력받아 관련성을 분석합니다.
   • 두 분류기의 결과를 교집합 (Intersection) 하여 신뢰할 수 있는 지원 이벤트를 도출합니다.
3. Correction Module (정제 및 최종 결정):
   • Base 와 Support 모듈의 예측 결과를 비교하여 최종 라벨을 결정합니다.
   • 일치 시: 초기 예측 유지.
   • Base 가 Relevant, Support 가 Irrelevant 일 때: '재고려 (Rethinking)' 프롬프트를 사용하여 LLM 이 환각을 교정하도록 유도합니다.
   • Base 가 Irrelevant, Support 가 Relevant 일 때: '탐색 (Exploration)' 프롬프트를 사용하여 그래프에서 놓친 관련 정보를 LLM 이 찾아내도록 합니다.
   • Label Mapper: 최종 이진 분류 결과 (Relevant/Irrelevant) 를 다시 5 가지 이벤트 유형 (Consistent, Forgotten 등) 으로 매핑하여 서비스 (기억 회상, 수정, 로그 업데이트 등) 를 제공합니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 정보 접근 필요성 탐지: LLM 을 활용하여 사용자가 잊어버린 경험이나 오류를 능동적으로 감지하는 새로운 접근법을 제시했습니다.
2. 하이브리드 프레임워크 (GER): 텍스트 정보 (LLM) 와 구조화된 정보 (개인 지식 그래프) 를 결합하여 탐지 결과의 정확성과 신뢰성을 향상시켰습니다.
3. 유연성과 확장성: 프레임워크 내부의 모듈 (Base, Support, Correction) 을 다양한 모델 (ChatGPT, Llama3, SEEN 등) 로 교체할 수 있어, 최신 모델 도입 시 성능을 지속적으로 개선할 수 있습니다. 또한 추가 학습 (Fine-tuning) 없이도 새로운 라이프로그 데이터에 즉시 적응 가능합니다.

4. 실험 결과 (Results)

• 데이터셋: NIR (Narrative Information Recall) 데이터셋을 사용했습니다.
• 성능 비교:
  • 제안된 GER 프레임워크는 기존 SOTA 모델인 SEEN 및 직접 LLM 을 사용한 분류 모델보다 '잊혀진 (Forgotten)' 및 '추가 (Additional)' 이벤트 탐지 성능에서 우수한 결과를 보였습니다.
  • 특히 '잊혀진' 이벤트 탐지에서 통계적으로 유의미한 (p < 0.05) 성능 향상을 기록했습니다.
  • Base Module 의 중요성: 프레임워크의 전체 성능은 Base Module 의 능력에 가장 크게 의존하지만, Support 와 Correction 모듈을 통해 Base 의 오류를 상당 부분 보정할 수 있음을 확인했습니다.
  • 이진 분류의 효과: 5 클래스 직접 분류보다 '관련성/무관성' 이진 분류 후 매핑하는 방식이 LLM 기반 접근에서 더 효과적이었습니다.
• 오류 분석: Support 모듈이 '추가'와 '잊혀진' 사건에서 높은 성공률을 보였으나, '불일치' 사건의 경우 모델이 새로운 정보로 오인하는 경향이 있어 개선이 필요함을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 적응성: 기존 모델과 달리 추가 학습 없이도 사용자의 축적되는 라이프로그에 실시간으로 적응하여 능동적인 정보 접근 서비스를 제공할 수 있습니다.
• 개인화 및 정확성 향상: 개인 지식 그래프를 활용하여 LLM 의 환각을 줄이고, 사실에 기반한 정확한 기억 회상 및 오류 수정을 가능하게 합니다.
• 미래 과제: 사용자 프라이버시 보호를 위한 데이터 보안 프레임워크 구축과 실제 일상 생활에 적용 가능한 엔드 - 투 - 엔드 시스템 개발이 향후 과제로 제시되었습니다.

이 연구는 LLM 과 지식 그래프의 시너지를 통해 개인 정보 접근 서비스의 새로운 패러다임을 제시하며, 특히 사용자가 기억하지 못하는 과거 경험을 효과적으로 지원할 수 있는 기술적 토대를 마련했습니다.