Semantic XPath: Structured Agentic Memory Access for Conversational AI

이 논문은 컨텍스트 창 제한과 평면적 메모리 접근법의 한계를 극복하기 위해 계층적 트리 구조를 기반으로 한 'Semantic XPath'를 제안하여, 기존 RAG 대비 성능을 176.7% 향상시키고 토큰 사용량을 9.1%로 획기적으로 줄인 대화형 AI 시스템의 새로운 패러다임을 제시합니다.

핵심

🗣️ 대화형 AI 의 '기억력'을 혁신한 새로운 방법: "시맨틱 XPath"

이 논문은 대화형 AI(예: 챗봇, 비서) 가 오랜 시간 동안 복잡한 일을 도와줄 때, 어떻게 기억을 효율적으로 관리하고 찾아낼 수 있는지에 대한 획기적인 해결책을 제시합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 왜 망각증에 걸릴까요? 🤔

지금까지의 AI 는 두 가지 방식으로 기억을 처리했습니다.

• 방법 A: "모든 것을 입에 물고 있는" 방식 (In-context Memory)

  • 비유: 친구와 대화할 때, 처음부터 지금까지의 대화 내용 전체를 다시 한 번 읽어보며 다음 말을 잇는 상황입니다.
  • 문제점: 대화가 길어질수록 (예: 여행 계획 3 일 차, 10 일 차) 입에 물고 있는 내용이 너무 많아져서 머리가 아파지고 (비용 증가), 중요한 내용을 놓치기 쉽습니다. 또한, 대화의 길이가 제한되어 있어 더 이상 기억할 수 없게 됩니다.

• 방법 B: "무질서한 책상 서랍" 방식 (Flat RAG)

  • 비유: 모든 대화 내용을 하나의 거대한 책상 서랍에 쑤셔 넣은 뒤, 필요한 것을 찾을 때 키워드만 보고 끄집어내는 방식입니다.
  • 문제점: 구조가 없어서 맥락을 잃습니다. 예를 들어, "3 일 차 회의가 꽉 찬 날에 커피 브레이크를 추가해 줘"라고 요청하면, AI 는 '회의'라는 단어만 보고 **틀린 날 (예: 1 일 차)**의 회의 내용을 가져와서 엉뚱한 곳에 커피 브레이크를 넣을 수 있습니다.

---

2. 해결책: "시맨틱 XPath" (Semantic XPath) 🌳

이 논문이 제안한 시맨틱 XPath는 AI 의 기억을 **정리된 나무 구조 (트리)**로 바꾸고, 정교한 검색 도구를 사용하는 방식입니다.

🌲 비유: "정리된 도서관과 전문 사서"

이 시스템은 AI 의 기억을 층층이 정리된 도서관으로 바꿉니다.

• 나무 구조 (Tree Structure): 여행 계획이라면 여행 → 날짜 → 일정 → 장소처럼 계층적으로 정리되어 있습니다.
• XPath (검색 언어): "3 일 차 중 회의가 가장 많은 날"이라는 복잡한 요청을, 도서관 사서가 정확한 위치 (날짜) 를 찾아내고, 그 안의 세부 내용 (회의) 을 분석하여 가장 적합한 장소를 골라내는 것처럼 작동합니다.

✨ 핵심 기능: "의미 있는 검색"

기존의 XPath 는 정확한 글자만 찾았지만, **시맨틱 (Semantic)**이 붙으면서 의미까지 이해합니다.

• 예시: "회의가 꽉 찬 날"이라고 하면, AI 는 단순히 '회의'라는 글자가 많은 날이 아니라, 그날의 일정 내용 전체를 분석해서 회의 비중이 가장 높은 날을 찾아냅니다.

---

3. 왜 이 방법이 더 좋은가요? 🚀

논문의 실험 결과를 비유로 풀어보면 다음과 같습니다.

1. 성능이 압도적으로 좋습니다 (176.7% 향상)

   • 비유: 무질서한 책상 서랍 (Flat RAG) 에서 물건을 찾는 것보다, 정리된 도서관에서 전문 사서가 찾아주는 것이 훨씬 정확합니다. 특히 복잡한 작업 (여행 계획, 할 일 목록) 에서 실수가 훨씬 적습니다.

2. 비용과 시간이 획기적으로 줄어듭니다 (토큰 사용량 9.1% 수준)

   • 비유: 모든 대화 내용을 다시 읽는 방식 (In-context) 은 매번 도서관 전체를 다시 훑어보는 것과 같습니다. 하지만 시맨틱 XPath 는 필요한 책장 한 줄만 정확히 가져옵니다.
   • 결과: 같은 일을 처리하는 데 드는 비용 (토큰) 이 기존 방식의 약 10 분의 1밖에 들지 않습니다.

3. 오래된 대화도 잘 기억합니다 (멀티턴 대화)

   • 비유: 대화가 100 번 이상 이어져도, AI 는 중요한 부분만 기억하고 나머지는 깔끔하게 정리해 둡니다. 그래서 대화 길이가 길어질수록 성능이 떨어지지 않고 일정하게 유지됩니다.

---

4. 실제 시스템: "시맨틱 XPath 챗" 💬

저희는 이 기술을 실제로 보여주는 데모 시스템도 만들었습니다.

• 사용자: "회의가 많은 날에 커피 브레이크를 추가해 줘."
• AI 의 시각화:
  1. 메모리 뷰: 나무 구조로 정리된 여행 일정을 보여줍니다.
  2. 실행 뷰: AI 가 어떻게 "회의가 많은 날"을 계산하고, 2 일 차를 선택했는지, 어떤 점수를 매겼는지 단계별로 보여줍니다.
  • 마치 AI 가 생각하는 과정을 투명하게 보여주는 X-레이 같은 기능입니다.

---

📝 한 줄 요약

"AI 가 복잡한 일을 오랫동안 도와줄 때, 모든 대화를 다시 읽거나 무질서하게 검색하는 대신, 정리된 나무 구조에서 '의미'를 이해하며 필요한 부분만 정확히 찾아내는 새로운 기억 시스템을 만들었습니다."

이 기술은 앞으로 여행 계획, 할 일 관리, 레시피 추천 등 오래 지속되고 복잡한 작업을 수행하는 AI 비서의 핵심 기술이 될 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대화형 AI(ConvAI) 에이전트는 장기적이고 작업 지향적인 상호작용 (여행 일정 계획, 할 일 관리 등) 을 지원하기 위해 구조화된 메모리를 유지해야 합니다. 기존 접근 방식들은 다음과 같은 한계를 가지고 있습니다.

• 인-컨텍스트 메모리 (In-context Memory): 대화 이력을 모델 입력에 계속 추가하는 방식입니다.
  • 문제점: 컨텍스트 윈도우 제한으로 인해 확장성이 떨어지며, 토큰 비용과 지연 시간이 급증합니다. 또한 긴 컨텍스트는 추론 능력 저하와 할루시네이션 (환각) 을 유발하여 신뢰성이 떨어집니다. 실험 결과, 5 번의 상호작용 이후 사용자 요청의 절반 이상을 실패했습니다.
• 기존 RAG (Retrieval-Augmented Generation): 관련 정보를 검색하여 제공하는 방식입니다.
  • 문제점: 대부분의 기존 방법은 메모리를 '평탄한 (flat)' 컬렉션으로 취급하여, 대화나 작업에서 자연스럽게 존재하는 계층적 구조 (Hierarchical Structure) 를 무시합니다. 예를 들어, "회의가 빡빡한 날에 커피 브레이크를 추가해 달라"는 요청 시, 평탄한 RAG 는 날짜 구조를 이해하지 못해 잘못된 날의 정보를 검색할 수 있습니다.

2. 제안 방법론: Semantic XPath (Methodology)

저자들은 계층적 트리 구조 메모리를 효율적으로 접근하고 업데이트하기 위해 Semantic XPath를 제안합니다. 이는 XPath 쿼리 언어의 문법을 확장하여 의미적 (Semantic) 이해를 결합한 트리 구조 메모리 모듈입니다.

• 데이터 모델 (Data Model):
  • 대화 메모리를 루트 트리 $T = (V, E, r)$로 표현합니다.
  • 노드 (Node) 는 대화 상태 단위이며, 스키마 (Schema) 를 통해 노드 유형 (예: Itinerary, Day, POI) 과 속성이 정의됩니다.
  • 예시: 여행 일정 $\rightarrow$ 버전 $\rightarrow$ 날짜 $\rightarrow$ 방문 장소 (POI) 의 계층 구조를 가집니다.
• 쿼리 문법 (Query Grammar):
  • 기존 XPath 의 축 (Axis), 노드 선택자 (Node Selector), 위치 선택자 (Positional Selector) 에 의미적 관련성 연산자 (Semantic Relevance Operator) 를 추가했습니다.
  • Local: 노드 내용과 문자열 간의 의미적 유사도 (예: "conference"와 유사한지).
  • Aggregation: 하위 노드들의 점수를 집계 (평균, 최대, 최소 등) 하여 상위 노드의 점수를 산출 (예: 하루의 '회의 밀집도' 계산).
  • 예시 쿼리: //Day[avg(/POI[node~="conference"])]는 "회의 관련 POI 가 평균적으로 가장 많은 날짜"를 찾습니다.
• 쿼리 실행 (Query Execution):
  • 재귀적 평가 함수를 사용하여 트리를 탐색합니다.
  • 각 단계에서 축 탐색, 노드 필터링, 의미적 점수 부여를 수행하여 가장 관련성 높은 서브트리 (Substructure) 를 추출합니다.
  • 추출된 데이터만 생성 (Generation) 단계에 전달하여 토큰 사용량을 최소화합니다.

3. 시스템 구현: SemanticXpath Chat

• 엔드 투 엔드 데모 시스템: 사용자가 구조화된 메모리 뷰와 쿼리 실행 상세 정보를 시각적으로 확인할 수 있는 시스템을 구축했습니다.
• 기능: 대화 기록, 메모리 트리 구조 (추천된 경로 하이라이팅), 단계별 쿼리 실행 및 점수 매기닝 과정을 실시간으로 보여줍니다.

4. 주요 기여 (Key Contributions)

1. Semantic XPath 제안: XPath 스타일의 쿼리 언어를 사용하여 트리 구조 메모리에서 필요한 하위 구조만 효율적으로 검색 및 업데이트하는 모듈을 개발했습니다.
2. 성능 및 효율성 입증: 평탄한 RAG 기반선 (Baseline) 대비 176.7% 성능 향상을 달성했으며, 인-컨텍스트 메모리 방식에 비해 필요한 토큰 수를 9.1% 수준으로 줄였습니다.
3. 실제 적용 시스템: 구조화된 메모리와 쿼리 실행 과정을 시각화한 데모 시스템 (SemanticXpath Chat) 을 공개하여 장기적 작업 지향 대화 AI 의 가능성을 입증했습니다.

5. 실험 결과 (Evaluation Results)

저자들은 여행 일정, 할 일 목록, 식사 키트 추천 등 3 가지 도메인에서 실험을 수행했습니다.

• 단일 턴 평가 (Single-turn):
  • Semantic XPath 는 인-컨텍스트 방식과 유사한 높은 통과율 (Pass Rate) 을 보였으나, 평탄한 RAG 는 계층적 추론 부재로 인해 성능이 낮았습니다.
  • 토큰 사용량은 인-컨텍스트 방식보다 약 5 배 적게 소모되었습니다.
• 다중 턴 평가 (Multi-turn):
  • 대화 길이가 길어질수록 인-컨텍스트 방식은 통과율이 급격히 떨어지는 반면, Semantic XPath 는 관련 구조화된 데이터만 검색하여 일관된 높은 성능을 유지했습니다.
  • 토큰 사용량도 대화 턴이 증가함에 따라 일정하게 유지되는 반면, 인-컨텍스트 방식은 기하급수적으로 증가했습니다.

6. 의의 및 결론 (Significance)

이 논문은 장기적이고 복잡한 작업 지향 대화 AI 시스템의 핵심 구성 요소로서 구조화된 메모리 (Structured Memory) 의 중요성을 강조합니다. Semantic XPath 는 단순한 텍스트 검색을 넘어, 작업의 계층적 구조를 이해하고 의미적으로 관련된 부분만 정밀하게 추출함으로써 효율성 (토큰 절감) 과 정확도 (할루시네이션 감소) 를 동시에 해결하는 실용적인 프레임워크를 제공합니다. 이는 차세대 대화형 AI 에이전트 개발을 위한 중요한 기술적 토대가 될 것으로 기대됩니다.