Structured Linked Data as a Memory Layer for Agent-Orchestrated Retrieval

본 논문은 Schema.org 마크업과 링크드 데이터 플랫폼 기반의 구조화된 엔티티 페이지를 활용하여 표준 및 에이전트 기반 RAG 시스템의 정확도와 답변 품질을 크게 향상시킬 수 있음을 실험을 통해 입증했습니다.

핵심

📚 비유: "지루한 책" vs "인터랙티브한 스마트 도서관"

과거의 검색 엔진은 책의 내용을 단순히 글자만 읽는 사서였습니다. 하지만 최신 AI(생성형 AI) 는 책을 읽을 뿐만 아니라, 책과 책 사이의 연결고리를 찾아다니며 스스로 추론하는 사서가 되었습니다.

이 연구는 **"AI 사서가 정보를 더 정확하고 완벽하게 찾아오게 하려면, 책 (웹페이지) 을 어떻게 만들어야 할까?"**를 실험했습니다.

1. 실험의 세 가지 버전 (책의 형태)

연구팀은 같은 내용을 가진 책 (웹페이지) 을 세 가지 형태로 만들어 AI 에게 읽게 했습니다.

• 📖 버전 A (일반 책): 그냥 글자로만 된 평범한 책입니다. (기존의 일반 웹사이트)
• 🏷️ 버전 B (책에 라벨 붙임): 책 내용 뒤에 '저자', '장르', '연출' 같은 **데이터 라벨 (JSON-LD)**을 붙여놓은 책입니다.
  • 결과: AI 가 라벨을 보고 조금 더 잘 이해했지만, 효과가 미미했습니다. (AI 가 라벨을 잘 읽지 못하거나, 책의 본문 내용이 너무 길어서 라벨이 잘려나갔기 때문입니다.)
• 🧭 버전 C (스마트 도서관): 책 자체가 지도와 나침반이 된 책입니다.
  • "이 페이지는 이 주제에 대해 말하고 있어요." (명확한 요약)
  • "이 내용과 관련된 다른 책들은 여기 있어요." (명시적인 링크)
  • "AI 사서님, 이 책을 읽을 때 이 순서로 찾아보세요." (AI 를 위한 안내문)
  • 결과: 대박! AI 가 정보를 찾은 정확도가 약 30%나 급상승했습니다.

2. 핵심 발견: "데이터를 숨기지 말고, 보여주세요!"

가장 놀라운 점은 단순히 데이터 (라벨) 를 숨겨두는 것만으로는 부족하다는 것입니다.

• 기존 방식 (버전 B): 책 뒤에 "이 책은 1990 년에 나왔습니다"라고 작은 글씨로 적어두는 것. (AI 가 읽기엔 너무 작거나, 책이 너무 길어서 못 찾음)
• 새로운 방식 (버전 C): 책 표지 바로 옆에 **"이 책은 1990 년에 나왔고, 관련 책은 이쪽입니다"**라고 크게 적어두고, 그 책으로 바로 갈 수 있는 **문 (링크)**을 열어두는 것.

결론: AI 가 정보를 찾을 때, 숨겨진 데이터보다 눈에 보이는 구조화된 정보와 연결고리 (링크) 가 훨씬 중요합니다.

3. AI 사서의 역할 (에이전트)

이 연구는 또 다른 재미있는 사실을 발견했습니다.

• 일반적인 책 (버전 A) 을 줄 때: AI 사서는 헤매다가, 스스로 다른 책들을 찾아다니며 (링크를 타고 이동하며) 정보를 모으는 데 성공합니다. (AI 의 노력이 많이 듭니다.)
• 스마트 도서관 (버전 C) 을 줄 때: 책 자체가 이미 모든 정보를 잘 정리해 두었기 때문에, AI 사서는 별도로 헤맬 필요가 없습니다. 바로 정답을 찾아냅니다.

즉, 웹페이지를 잘 만들어주면 AI 가 덜 힘들어지고 더 정확한 답을 내놓는 것입니다.

4. 이 연구가 우리에게 주는 교훈 (SEO 3.0)

과거의 검색 최적화 (SEO) 는 "키워드를 많이 넣으세요"였지만, 이제는 **"AI 가 이해하기 쉽게 내용을 구조화하세요"**가 되어야 합니다.

• 단순히 데이터 (JSON-LD) 를 넣는 것만으로는 부족합니다.
• 사람도 보고, AI 도 쉽게 이해할 수 있도록 페이지에 명확한 요약, 관련 링크, 그리고 AI 가 따라갈 수 있는 길잡이 (나침반) 를 만들어야 합니다.

💡 한 줄 요약

"AI 가 정보를 찾을 때, 단순히 책 뒤에 작은 라벨을 붙이는 것보다, 책 자체가 지도가 되어 AI 가 길을 잃지 않게 도와주는 것이 훨씬 중요합니다."

이 연구는 앞으로 웹사이트를 만들 때, 사람을 위한 디자인과 AI 를 위한 구조를 동시에 고려해야 함을 강력하게 주장하고 있습니다.

기술 요약

논문 요약: 에이전트 오케스트레이션 검색을 위한 구조화된 링크드 데이터의 메모리 레이어 역할

제목: Structured Linked Data as a Memory Layer for Agent-Orchestrated Retrieval
저자: Andrea Volpini, Elie Raad, Beatrice Gamba, David Riccitelli (WordLift, Rome, Italy)

1. 연구 배경 및 문제 정의

최근 생성형 AI 와 검색 엔진 (예: Google AI Mode) 의 발전으로 정보 접근 방식이 근본적으로 변화하고 있습니다. Retrieval-Augmented Generation (RAG) 시스템이 사실 기반의 답변을 생성하는 데 필수적이 되었지만, 대부분의 기존 RAG 구현은 문서를 **비구조화된 평문 (flat text)**으로만 처리합니다.

이로 인해 웹사이트에 이미 존재하는 풍부한 **구조화된 메타데이터 (Schema.org 마크업)**와 지식 그래프의 링크드 관계가 무시되는 문제가 발생합니다. 특히 에이전트 기반 AI 는 링크를 따라 다단계 추론을 수행할 수 있지만, 기존 RAG 는 이러한 구조적 연결성을 활용하지 못해 정보의 정확성과 완전성이 떨어질 수 있습니다.

핵심 연구 질문:

• 구조화된 링크드 데이터 (Schema.org 마크업 및 링크드 데이터 플랫폼) 가 RAG 의 검색 정확도와 답변 품질을 향상시킬 수 있는가?
• 에이전트의 링크 탐색 (link traversal) 기능이 추가적인 성능 향상을 이끌어내는가?

2. 방법론 (Methodology)

2.1 실험 설계

저자는 4 가지 도메인 (편집물, 법률, 여행, 전자상거래) 에서 2,443 개의 개별 쿼리 평가를 포함한 통제된 실험을 수행했습니다. 총 7 가지 조건을 비교 분석했습니다:

1. 문서 표현 형식 (3 가지):

   • C1 (Plain HTML): 모든 JSON-LD 스크립트 블록을 제거한 원시 HTML.
   • C2 (HTML + JSON-LD): 원시 HTML 에 Schema.org JSON-LD 마크업을 포함.
   • C3/C6 (Enhanced Entity Page): 에이전트 발견성을 극대화하도록 설계된 새로운 형식. 자연어 요약, JSON-LD 블록, 가시적인 링크드 엔티티 탐색, llms.txt 스타일의 에이전트 지시문, 신경망 검색 기능 포함.
   • C6+ (Enhanced+): C6 에 richer 한 탐색 affordance(사용성) 와 엔티티 간 링크를 추가한 변형.

2. 검색 모드 (2 가지):

   • Standard RAG: Vertex AI Vector Search 2.0 을 사용하여 문서에서 Top-K 문서를 검색 후 Gemini 모델로 답변 생성.
   • Agentic RAG: Google Agent Development Kit (ADK) 기반 에이전트가 ReAct 루프를 통해 검색, 링크 추적 (Link Traversal), 지식 그래프 탐색을 수행하며 답변 생성.

2.2 시스템 아키텍처

• 검색 (Retrieval): Vertex AI Vector Search 2.0 (하이브리드 검색: 밀도 기반 시맨틱 + 희소 키워드).
• 추론 (Reasoning): Google ADK 를 활용한 에이전트 (도구 사용, 다단계 계획).
• 구조화 데이터 레이어: WordLift 지식 그래프 (링크드 데이터 플랫폼). 엔티티 페이지는 콘텐츠 협상 (Content Negotiation) 을 지원하여 인간용 HTML 과 기계용 JSON-LD 를 모두 제공합니다.

3. 주요 결과 (Key Results)

실험 결과는 구조화된 데이터의 표현 방식과 에이전트 아키텍처의 중요성을 명확히 보여줍니다.

3.1 JSON-LD 마크업의 한계 (H1)

• HTML 에 JSON-LD 를 단순히 추가하는 것만으로는 RAG 성능에 미미한 개선 효과만 있었습니다 (정확도 향상 +0.17, 효과 크기 d=0.18).
• 이는 비구조화된 텍스트 기반 RAG 시스템이 JSON-LD 를 별도의 구조화된 신호로 파싱하지 않고, 단순 텍스트의 일부로만 처리하기 때문입니다.

3.2 향상된 엔티티 페이지의 압도적 성과 (H3)

• Enhanced Entity Page (C3/C6) 형식은 가장 큰 성능 향상을 보였습니다.
  • Standard RAG: 정확도 +29.6% 향상 (4.69/5, p < 10⁻²¹, d=0.60).
  • Agentic RAG: 정확도 +29.8% 향상 (4.70/5, p < 10⁻²¹, d=0.61).
• 이 형식은 인간과 AI 에이전트 모두에게 엔티티 관계, 탐색 경로, 사용 가능한 도구를 명시적으로 노출함으로써 정보 추출을 용이하게 했습니다.

3.3 에이전트 RAG 의 역할 (H2)

• 에이전트 기반 RAG 는 표준 RAG 보다 정확도 (+13.1%) 와 완전성 (+20.1%) 에서 유의미한 향상을 보였습니다.
• 중요한 발견: 문서 형식이 최적화되어 있을 때 (Enhanced Page), 에이전트의 추가적인 정확도 향상 효과는 미미했습니다 (C3: 4.69 vs C6: 4.70).
• 반면, 평문 (Plain HTML) 과 같은 비최적화된 콘텐츠에서는 에이전트가 링크를 추적하며 정보를 보충함으로써 큰 성능 향상 (+0.74) 을 가져왔습니다. 즉, 에이전트는 불완전한 콘텐츠 구조를 보완하는 역할을 합니다.

3.4 Enhanced+ 의 추가 효과

• Enhanced+ (C6+) 형식이 가장 높은 절대 점수 (정확도 4.85/5) 를 기록했으나, 기존 Enhanced 형식 (C6) 대비 통계적으로 유의미한 추가 향상은 없었습니다 (d=0.08). 이는 기본 Enhanced 형식이 이미 대부분의 이점을 포착했음을 시사합니다.

3.5 도메인별 차이

• 전자상거래 (BlackBriar): 평문 HTML 에 이미 핵심 정보가 풍부하여 개선 폭이 작음.
• 여행 (SalzburgerLand) 및 편집물 (WordLift Blog): 지식 그래프에 정보가 저장되어 있고 평문에는 URI 로만 존재하는 경우, Enhanced Page 를 통해 정보를 "구체화 (Materialize)"함으로써 가장 큰 개선 효과 (+2.47 ~ +2.73) 를 보임.

4. 주요 기여 및 의의 (Contributions & Significance)

4.1 SEO 3.0: 추론 웹 (The Reasoning Web)

이 연구는 검색 최적화 (SEO) 의 새로운 단계를 제안합니다.

• SEO 1.0: 키워드 매칭 및 링크 기반 순위.
• SEO 2.0: 구조화된 데이터 (Schema.org) 를 통한 엔티티 이해.
• SEO 3.0 (추론 웹): AI 가 콘텐츠를 **추론 (Reasoning)**하고 **행동 (Action)**할 수 있도록 최적화.
  • 인용 (Citations): 콘텐츠가 검색되는가?
  • 추론 (Reasoning): AI 가 사실을 올바르게 추출하고 종합하는가? (Enhanced Page 가 핵심)
  • 행동 (Actions): AI 에이전트가 링크를 따라 정보를 수집하고 작업을 수행하는가?

4.2 실무적 시사점

1. JSON-LD 만으로는 부족함: 평문 텍스트 기반 RAG 시스템에서는 숨겨진 JSON-LD 스크립트 블록이 효과가 없습니다. 구조화된 데이터를 **가시적이고 추출 가능한 형식 (Enhanced Entity Page)**으로 변환해야 합니다.
2. 링크드 데이터의 구체화 (Link Materialization): 지식 그래프의 관계 정보를 URI 로만 남기지 않고, 엔티티 페이지 내에서 자연어로 구체화하여 제공하는 것이 중요합니다.
3. 에이전트 친화적 설계: llms.txt 스타일의 지시문, 명확한 탐색 링크, dereferenceable URI 를 포함하여 AI 에이전트가 효율적으로 정보를 탐색하고 행동할 수 있도록 해야 합니다.

4.3 기술적 통찰

• 메모리 레이어로서의 링크드 데이터: 구조화된 링크드 데이터는 에이전트에게 외부 메모리 레이어 역할을 하여, 벡터 검색만으로는 찾을 수 없는 컨텍스트를 제공합니다.
• 검색 효율성: 잘 구조화된 콘텐츠 (Enhanced Page) 는 에이전트가 더 적은 도구 호출 (링크 추적) 로도 높은 정확도의 답변을 생성할 수 있게 하여 검색 효율성을 높입니다.

5. 결론

이 논문은 구조화된 링크드 데이터가 단순히 마크업으로 존재하는 것을 넘어, 에이전트 오케스트레이션 검색을 위한 메모리 레이어로 작용할 때 RAG 시스템의 성능을 획기적으로 개선할 수 있음을 실증했습니다. 특히, Enhanced Entity Page 형식은 인간과 AI 에이전트 모두에게 최적화된 정보 접근성을 제공하여, 생성형 AI 시대의 정확한 정보 제공을 위한 새로운 표준을 제시합니다.

저자는 데이터셋, 평가 프레임워크, 그리고 향상된 엔티티 페이지 템플릿을 오픈소스로 공개하여 연구의 재현성을 보장했습니다.