💬 NLP

Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval

본 논문은 지식 그래프 구축을 가이드하고 멀티 툴 검색 에이전트를 조건화하기 위해 원시 멀티 소스 데이터로부터 실행 가능한 스키마 계약을 자동으로 발견하는 시스템을 제시하며, 이는 구조화되고 추적 가능하며 스키마를 인식하는 증거 통합을 가능하게 함으로써 베이스라인 방법 대비 질의응답 성능을 유의미하게 향상시킨다.

원저자: Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 단서들은 어질러진 방 안에 흩어져 있습니다. 어떤 단서는 깔끔한 장부(테이블)에 적혀 있고, 어떤 것은 포스트잇(PDF)에 휘갈겨 써져 있으며, 어떤 것은 지저분한 디지털 로그(JSON) 형태이고, 또 어떤 것은 화이트보드 위의 무작위한 메모들입니다.

현재 대부분의 AI 시스템은 그저 손전등 하나를 들고 무작정 모든 것을 읽기 시작하는 탐정과 같습니다. 그들은 단서를 찾아낼 수는 있겠지만, 방의 구조를 이해하지 못하기 때문에 단서들이 어떻게 연결되는지는 놓치기 일쑤입니다. 그들은 장부에 적힌 이름이 포스트잇의 이름과 일치한다는 사실이나, 한 메모가 다른 메모의 '자식(child)' 관계라는 사실을 구분하지 못합니다.

이 논문은 탐정이 조사를 시작하기 전에 먼저 방의 **설계도(blueprint)**를 구축하는 초정밀 설계사(super-organized architect) 역할을 하는 새로운 시스템을 소개합니다.

이 시스템이 어떻게 작동하는지 간단한 단계별로 설명하겠습니다.

1. "자동 설계도" (스키마 발견 - Schema Discovery)

인간이 몇 주 동안 어디에 무엇이 있는지 지도를 그리도록 요청하는 대신, 이 시스템은 가공되지 않은 지저진 데이터를 보고 스스로 규칙을 파악합니다.

문제점: AI는 종종 "환각(hallucination)"을 일으킵니다. 데이터에는 "매출(Revenue)"만 있는데도 "이익(Profit)"이라는 열을 마음대로 만들어낼 수 있습니다.
해결책: 시스템은 **"폐쇄형 세계 카탈로그(Closed-World Catalog)"**를 생성합니다. 이것은 엄격한 규칙 책과 같습니다. "데이터에 실제로 존재하는 것들에 대해서만 말할 수 있다"라고 규정하는 것입니다. 만약 AI가 새로운 필드를 만들어내려 하면, 시스템은 "안 돼, 그건 카탈로그에 없어"라고 말하며 실제 존재하는 것에만 집중하도록 강제합니다.
결과: 시스템은 **"스키마 계약(Schema Contract)"**을 구축합니다. 이는 "이것이 '제품'의 모습이고, 이것이 '거래'의 모습이며, 이들이 어떻게 연결되는지"를 명시하는 공유된 약속입니다.

2. "지식 그래프" 구축 (정돈된 도서관)

설계도가 준비되면, 시스템은 이 설계도를 사용하여 지저분한 데이터를 **지식 그래프(Knowledge Graph)**라고 불리는 깔끔하고 연결된 도서관으로 정리합니다.

마법 같은 기능: 단순히 데이터를 쏟아붓는 것이 아니라, 설계도를 사용하여 관계를 파악합니다.
- 식별 키(Identity Keys): 한 파일의 "ID: 123"이 다른 파일의 "ID: 123"과 동일 인물임을 알아냅니다.
- 외래 키(Foreign Keys): 판매 테이블의 "주문 번호 #55"가 고객 테이블의 "고객 번호 #99"에 속해 있다는 것을 깨닫습니다.
- 출처(Provenance): 모든 정보 조각에는 그것이 어떤 원래 문서에서 왔는지를 보여주는 "영수증"이 붙어 있습니다. 즉, AI가 답을 내놓으면, 그 증거를 찾은 정확한 페이지와 줄까지 지목할 수 있습니다.

3. "스마트 탐정" (쿼리 시점의 검색 - Query-Time Retrieval)

당신이 질문을 던지면 (예: "2018년 합병 후 가장 많은 이익을 낸 제품은 무엇인가요?"), 시스템은 그냥 추측하지 않습니다. 시스템은 설계도를 사용하여 답을 찾는 방법을 결정합니다.

라우팅(Routing): 시스템은 스스로에게 묻습니다. "스프레드시트에 있는 깔끔한 숫자를 봐야 하나? PDF에 있는 긴 텍스트를 읽어야 하나? 아니면 여러 파일 사이의 연결 고리를 따라가야 하나?"
계약: AI는 설계도를 가지고 있기 때문에 어떤 도구를 사용해야 할지 정확히 압니다. 목적 없이 헤매는 것이 아니라, 설계도가 두 파일이 연결되어 있다고 말할 때만 스프레드시트에서 PDF로 직접 뛰어넘으며 가장 빠른 경로를 택합니다.
안전망: 만약 질문이 설계도가 알지 못하는 내용(예: 아직 추가되지 않은 새로운 제품)에 관한 것이라면, 시스템은 설계도를 일시적으로 "확장"하여 처리하거나, 가짜 답을 만들어내는 대신 모른다고 인정할 수 있습니다.

왜 기존 방식보다 더 나은가요?

저자들은 이 시스템을 다른 방식들(표준 AI 검색이나 설계도 없이 연결 관계를 추측하려는 시스템들)과 비교 테스트했습니다.

결과: "설계도 시스템"은 서로 다른 출처의 정보를 결합해야 하는 복잡한 질문에 답하는 데 있어 현저히 더 뛰어난 성능을 보였습니다.
비유:
- 기존 방식 (RAG): 사서에게 키워드를 외쳐서 책을 찾아달라고 하는 것과 같습니다. 사서는 "이익"이라는 단어가 들어간 책을 찾을 수는 있겠지만, 그것이 틀린 책일 수도 있습니다.
- 이 방식: 이미 완벽한 인덱스 카드 시스템을 구축해 놓은 사서가 있는 것과 같습니다. 사서는 어떤 카드가 이익 수치를 가리키는지, 어떤 카드가 합병 날짜를 가리키는지, 그리고 그들을 어떻게 연결하여 정확한 답을 줄 수 있는지를 정확히 알고 있습니다.

핵심 요약

이 논문은 혼란스러운 데이터로부터 엄격하고 실행 가능한 **지도(스키마)**를 질문에 답하기 전에 자동으로 생성함으로써, AI 시스템이 훨씬 더 정확하고 신뢰할 수 있으며, 자신이 답을 찾은 출처를 설명할 수 있게 된다고 주장합니다. 이는 혼란스러운 단서들의 방을 잘 정돈된 도서관으로 바꾸어, 탐정의 업무를 훨씬 쉽게 만들고 결과의 신뢰도를 높여줍니다.

기술 요약: 다중 소스 검색을 위한 실행 가능한 스키마 계약 (Executable Schema Contracts)

문제 정의

실제 세계의 데이터는 구조화된 테이블, 반구조화된 JSON 로그, 비구조화된 문서, 내부 위키에 이르기까지 본질적으로 이질적입니다. 이러한 소스들은 종종 일관되지 않은 식별자와 암시적인 의미론을 가집니다. 검색 증강 생성(RAG) 시스템은 단일 문서 조회에는 뛰어나지만, 교차 소스 조인(cross-source joins), 멀티홉(multi-hop) 검색, 그리고 감사 가능한 출처(provenance)를 요구하는 워크플로에서는 자주 실패합니다. 주요 병목 현상은 언어 모델링 능력의 문제가 아니라 구조의 부재입니다. 즉, 시스템은 수동적인 스키마 엔지니어링 없이 서로 다른 소스 간의 엔티티를 정렬하거나, 관계를 탐색하거나, 소스 전반에 걸쳐 답변을 정당화할 수 없습니다. 기존 솔루션들은 규모에 따라 확장되지 않는 비용이 많이 드는 정적인 수동 큐레이션을 요구하거나, 정확성과 지연 시간을 희생하는 완전히 개방적인 접근 방식에 의존합니다.

방법론

저자들은 원시 다중 소스 데이터로부터 자동화된 통합 **실행 가능한 스키마(executable schema)**를 유도하고, 이를 오프라인 지식 그래프(KG) 구축과 온라인 쿼리 시점 검색 모두를 위한 공유 계약으로 활용하는 시스템을 제안합니다. 파이프라인은 세 가지 핵심 단계로 구성됩니다.

1. 스키마 유도 (계약)

시스템은 수동 주석 없이 이질적인 소스들로부터 통합 스키마 $\Sigma = (F, T, R, I)$ 를 유도합니다.

폐쇄 세계 필드 카탈로그 (Closed-World Field Catalog): LLM의 환각을 방로하기 위해, 시스템은 먼저 소스를 프로파일링하여 안정적인 식별자를 가진 모든 관찰 가능한 필드의 카탈로그 $F$ 를 구축합니다. LLM은 엄격하게 검증된 이 필드들만을 참조하도록 제한됩니다.
2단계 의미론적 발견 (Two-Pass Semantic Discovery): LLM은 대표 샘플에 대한 "심층 발견(deep discovery)" 패스와 다양한 샘플에 대한 "검증(validation)" 패스를 수행하여 엔티티 유형, 속성 매핑 및 관계를 추출합니다. 이 2단계 전략은 단일 패스 추출에서 놓칠 수 있는 희귀 엔티티 유형을 복구합니다.
통계적 구조 지능 (Statistical Structural Intelligence): 구조적 패턴을 위해 LLM에 의존하는 대신, 시스템은 값의 중복(overlap)과 카디널리티(cardinality)를 기반으로 식별 키(중복 제거용), 외래 키(교차 소스 연결용), 소스 계층 구조를 추론하기 위해 결정론적인 통계 분석을 사용합니다.
교차 소스 통합: 매칭된 샘플링(병렬 인덱싱이 아닌 공유 키 값을 기준으로 레코드를 그룹화)을 사용하여, 시스템은 각 소스의 스키마를 출처 추적 기능(provenance hooks)을 가진 글로벌 $\Sigma$ 로 통합합니다.

2. 스키마 가이드 구축

유도된 스키마 $\Sigma$ 는 출처 인지형(provenance-aware) Neo4j 지식 그래프 $G$ 를 구축하기 위한 제어 평면(control plane) 역할을 합니다.

추출 (Extraction): $\Sigma$ 는 추출 전략을 규정합니다. 구조화된 필드는 결정론적으로 추출되며, LLM 추출은 하이브리드 소스나 해당 필드로 표시된 경우에만 트리거됩니다.
중복 제거 (Deduplication): $\Sigma$ 에 정의된 식별 키는 $O(n)$ 결정론적 중복 제거를 가능하게 합니다. 키가 없는 유형의 경우, 임베딩 기반 클러스터링이 폴백(fallback)으로 사용됩니다.
연결 (Linking): 교차 소스 엣지는 선언된 외래 키에 대한 해시 인덱스 조인을 통해 실체화되어, 소스 간 멀티홉 쿼리를 가능하게 합니다.
출처 (Provenance): 추출된 모든 엔티티는 DERIVED_FROM 엣지를 통해 원래의 SourceRecord 노드와 연결되어 완전한 추적성을 보장합니다.

3. 스키마 가이드 검색 및 QA

쿼리 시점에 시스템은 스키마(필요 시 단조 프로토콜을 통해 확장 가능)를 사용하여 검색 경로를 결정하는 멀티 툴 에이전트를 채택합니다.

스키마 조건부 라우팅: 에이전트는 $\Sigma$ 를 조사하여 런타임 컨텍스트를 구축합니다. 에이전트는 다음 선호 순서에 따라 쿼리를 라우팅합니다: 타입이 지정된 이산 값 제약 조건에 대한 SCHEMALOOKUP; 비구조화된 증거에 대한 VECTORRAG; 분포 외(OOD) 쿼리에 대한 EXTERNALSEARCH.
신뢰성 게이팅 (Reliability Gating): 2단계 게이팅 메커니즘은 환각을 방지합니다. 사전 검색 게이트는 쿼리 엔티티가 스키마의 알려진 값 집합 내에 있는지 확인하며, 사후 검색 게이트는 후보 답변이 검색된 증거에 근거하는지 검증합니다.
쿼리 시점 확장: 쿼리가 해결되지 않은 엔티티 유형을 도입하는 경우, 시스템은 개념 격차를 처리하기 위해 (기존 정의를 변경하지 않고 새로운 유형을 추가하는) 단조적 스키마 확장(monotonic schema extension)을 영구적 또는 특정 쿼리를 위한 인메모리 방식으로 수행할 수 있습니다.

주요 기여

본 논문은 이질적인 QA를 공유 실행 가능한 스키마 계약을 중심으로 정립합니다. 구체적인 기여는 다음과 같습니다:

실행 가능한 스키마 발견: 폐쇄 세계 필드 카탈로그에 기반하고 통계적 방법을 사용하여 LLM이 발견한 구조를 원시 이질적 소스에 대해 실행 가능하게 만들 수 있음을 입증했습니다.
스키마 가이드 구축: 추출 경로, 키 및 링크를 지정하는 유도된 스키마를 인입(ingestion) 단계에서 실행하는 것이 구조적 지능을 제거했을 때보다 다운스트림 QA 성능을 크게 향상시킨다는 것을 보여주었습니다.
스키마 가이드 검색: 유도된 스키마를 라우팅 결정을 위해 QA 에이전트에게 노출하는 것이 일반적인 도구 사용 에이전트(예: ReAct, PlanAct) 및 표준 RAG 베이스라인보다 실질적인 이득을 얻음을 증명했습니다.
단조적 확장: 기존 정의의 무결성을 유지하면서 쿼리 시점에 스키마를 진화시킬 수 있는 메커니즘을 도입했습니다.

결과

시스템은 네 가지 벤치마크(BlendQA (교차 소스 발견), HybridQA (테이블-텍스트 브릿징), TAT-QA (금융 추론), ComplexTR (시계열 멀티홉 추론))에서 평가되었습니다.

성능: 동일한 LLM(GPT-4.1)과 평가 하네스를 사용한 통제된 제로샷 비교에서, 스키마 가이드 시스템은 네 가지 벤치마크 모두에서 가장 높은 Exact Match(EM) 및 F1 점수를 달려 성취했습니다.
- BlendQA에서, 차순위 제어 베이스라인(AtomR)보다 EM을 +2.6 개선했으며, RAG보다 +10.2 개선했습니다.
- HybridQA에서, AtomR 대비 +19.8 EM, RAG 대비 +51.3 EM을 달성했습니다.
- TAT-QA 및 ComplexTR에서도 마찬가지로, 차순위 방법들보다 각각 +5.7 및 +10.5 EM의 높은 성과를 보였습니다.
절제 연구 (Ablation Studies): 특정 구성 요소를 제거함으로써 각각의 독립적인 기여를 확인했습니다:
- 스키마 가이딩을 제거(ReAct 스타일 라우팅으로 회귀)했을 때 BlendQA에서 EM이 9.3 하락했습니다.
- KG 인입을 제거했을 때 멀티홉 성능이 크게 저하되었습니다 (예: BlendQA에서 -8.0 EM).
- 구조적 지능을 제거했을 때 데이터셋 전반에서 EM이 2.1~6.8 하락했습니다.
- 쿼리 시점 확장을 제거했을 경우 스키마 진화가 필요한 데이터셋(HybridQA, TAT-QA)에서 성능이 감소했으나, 시스템은 여전히 견고함을 유지했습니다.
교차 모델 평가: 이 성과는 세 가지 다른 LLM 제품군(GPT-4.1, Claude Haiku, Llama 3.3 70B)에서 일관되게 나타났으며, 이는 이 접근 방식이 특정 모델 아키텍처에 국한되지 않음을 나타냅니다.

의의 및 주장

저자들은 결과가 이질적인 QA를 위한 세 가지 원칙을 확립한다고 주장합니다:

LLM이 발견한 구조를 실행 가능하게 만들고 환각된 필드 참조를 방지하기 위해서는 폐쇄 세계 스키마 유도가 필요합니다.
LLM이 어려워하는 키와 관계를 신뢰성 있게 추론하기 위해서는 통계적 구조 분석이 의미론적 추출보다 선행되어야 합니다.
검색 에이전트는 구축에 사용된 스키마가 라우팅을 조건화할 때 더 큰 이득을 얻으며, 이 방식은 일반적인 에이전트 도구 사용보다 실질적으로 우수합니다.

본 논문은 이 작업이 수동 스키마 설계 없이 비정상적(non-stationary) 데이터 소스에 대해 작동하면서도 낮은 지연 시간, 제어 가능성 및 감사 가능한 출처를 유지할 수 있는 자가 구성 및 자가 확장형 QA 시스템을 향한 단계임을 강조합니다. 저자들은 일부 모델에 대한 교차 모델 평가의 범위가 제한적이라는 점과, 쿼리 시점의 스키마 확장이 엄격한 실시간 애플리케이션에는 제약이 될 수 있는 지연 시간 비용을 가질 수 있다는 한계를 언급했습니다.