💬 NLP

Baikal: Structured Search for Deep Research over Data Lakes

이 논문은 데이터 레이크에 대한 심층 연구 시 반복적 검색의 한계를 해결하기 위해, 증거를 의미론적 영역으로 클러스터링하고 탐색과 활용의 균형을 맞추도록 적응적으로 탐색하는 예산 기반 탐색 문제로 과업을 설정함으로써 기존 베이스라인보다 현저히 높은 품질의 보고서를 생성하는 프레임워크인 Baikal을 소개한다.

원저자: Dhruv Agarwal, Rishitha Guttapalle Mohan, Aarti Kumari, Ashi Sinha, Athulya Anil, Kavitha Srinivas, Horst Samulowitz, Andrew McCallum

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dhruv Agarwal, Rishitha Guttapalle Mohan, Aarti Kumari, Ashi Sinha, Athulya Anil, Kavitha Srinivas, Horst Samulowitz, Andrew McCallum

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미스터리를 풀기 위해 노력하는 탐정이라고 상상해 보십시오. 그런데 당신에게 주어진 것은 단 몇 권의 단서가 담긴 수첩이 아니라, 도시 크기만 한 창고이며, 그 안에는 수백만 개의 흩어진 문서, 스프레드시트, 그리고 손으로 쓴 메모들이 가득 차 있습니다. 이것이 바로 "데이터 레이크(Data Lakes)"를 넘어서는 "딥 리서치(Deep Research)"의 세계입니다. 현실 세계에서 기업과 과학자들은 단순히 읽어야 할 파일 하나만을 가지고 있는 것이 아닙니다. 그들은 서로 소통하지 않는 수천 개의 숫자 테이블과 수백만 개의 텍스트 단락을 보유하고 있습니다. 복잡한 질문을 해결하기 위해 인공지능(AI)은 초스마트 조사관처럼 행동해야 합니다. 즉, 올바른 단서를 찾아내고, 그것이 무엇을 의미하는지 파악하며, 점들을 연결하여 보고서를 작성해야 합니다. 까다로운 점은 AI에게도 시간과 에너지(즉, "예산")가 제한되어 있다는 것입니다. 만약 AI가 작고 쉬운 단서 하나에 너무 흥분한다면, 창고의 다른 구석에 숨겨진 거대하고 중요한 비밀을 놓칠 수도 있습니다. 과학자들이 던지는 핵심적인 질문은 이것입니다: 어떻게 하면 AI가 거대하고 무질서한 도서관을 탐색하면서 특정 구역에 갇히거나 최고의 이야기를 놓치지 않도록 가르칠 수 있을까?

이것이 바로 **바이칼(Baikal)**을 개발한 연구자들이 해결하고자 했던 문제입니다. 그들은 기존의 AI 검색 방식, 즉 단순히 흥미로워 보이는 다음 텍스트 조각을 집어 들고 계속 나아가는 방식이 마치 나무 주변을 뱅글뱅글 도는 다람쥐와 같다는 점을 깨달았습니다. 다람쥐는 몇 알의 견과류를 찾을 수는 있겠지만, 숲 전체를 탐험할 수는 없습니다. 이를 해결하기 위해 연구팀은 탐색을 전략적인 게임처럼 다루는 새로운 방법을 발명했습니다.

첫째, 바이칼은 AI 앞에 창고 전체를 통째로 들이밀지 않습니다. 대신, 혼돈을 즉각적으로 정리하는 숙련된 사서 역할을 합니다. 바이칼은 서로 관련 없는 수천 개의 테이블과 문서를 "시맨틱 리전(semantic regions, 의미론적 영역)"—생각해 보면 라벨이 붙은 보관함이나 동네와 같은 개념—으로 그룹화합니다. 예를 들어, 한 보관함에는 "세르비아 운동선수"에 관한 모든 내용이 들어 있고, 다른 보관함에는 "크리켓 경기장"에 관한 내용이 들어 있는 식입니다. 이 과정은 AI가 질문을 시작하기도 전에 이루어집니다.

도서관이 정리되면, 바이칼은 AI 에이전트에게 50단계(또는 질문할 수 있는 횟수)라는 엄격한 예산을 부여하여 임무를 보냅니다. 에이전트는 단순히 무작위로 문서를 선택하는 대신, 다음에 어느 "동네"를 방문할지 결정하기 위해 스마트한 전략을 사용합니다. 이는 거대한 저택 안에서 어떤 방에 들어갈지 선택해야 하는 게임과 같습니다. 어떤 방은 이미 탐색되어 비어 있는 것으로 밝혀졌을 수도 있고, 어떤 방은 금보화로 가득 차 있을 수도 있습니다. 바이칼은 유망해 보이는 방을 방문하는 것(활용, exploitation)과 더 나은 것을 찾기 위해 새로운 미탐색 방을 시도하는 것(탐색, exploration) 사이의 균。형을 맞추기 위해 수학적인 "추측 게임"(밴딧 문제라고 불림)을 사용합니다.

선택된 동네 내부에서 AI는 구체적이고 근거 있는 질문을 생성합니다. 예를 들어, "세르비아" 보관함에 있다면, AI는 "세르비아 선수들이 가장 많은 메달을 딴 스포츠는 무엇인가?"라고 물을 수 있습니다. 그런 다음 해당 보관함 내의 특정 테이블과 텍스트를 파헤쳐 답을 찾아냅니다. 특수한 "판사(judge)" AI가 그 답이 진실인지, 유용한지, 그리고 이전에 발견된 것과 차별화되는지를 기준으로 점수를 매깁니다. 만약 답이 훌륭하다면, 시스템은 그 동네가 가치 있다고 기억합니다. 만약 답이 지루하다면, 그 구역을 "완료"로 표시하고 이동합니다.

이러한 접근 방식의 결과는 인상적이었습니다. 연구진은 바이칼을 두 개의 거대한 데이터 레이크에서 테스트했습니다. 하나는 약 11,000개의 테이블과 227,000개의 텍론 구절(위키피디아 수준)을 포함한 것이고, 다른 하나는 2,700개 이상의 테이블과 13,000개의 재무 보고서를 포함한 것이었습니다. 그들은 AI에게 15개의 복잡한 연구 질문을 던졌습니다. 바이칼을 기존의 가장 강력한 방법들과 비교했을 때, 그 차이는 엄청났습니다. 바이칼의 최적 설정은 위키피디아 데이터에서는 최종 연구 보고서의 품질을 28%, 재무 데이터에서는 36% 개선했습니다.

결정적으로, 이 논문은 마법이 단순히 정리된 보관함에 있는 것이 아니라, 바로 검색 전략에 있다는 것을 보여줍니다. 연구진이 강력한 코딩 AI에게 동일하게 정리된 보관함을 주었지만, 바이칼의 스마트한 "동네 이동" 규칙 없이 검색하게 했을 때는 동일한 성능 향상을 얻지 못했습니다. 이는 단순히 데이터를 정리하는 것만으로는 충분하지 않으며, 다음에 어디를 볼 것인지 결정하는 스마트한 방법이 필요하다는 것을 시사합니다. 탐색을 무작위 스캐빈저 헌트가 아닌 구조화된 탐색 게임으로 다룸으로써, 바이칼은 AI 에이전트가 시간이 촉박한 상황에서도 더 유용하고, 구별되며, 근거 있는 사실들을 찾아낼 수 있도록 돕습니다. 이는 혼란스러운 데이터 덤프를 체계적인 발견의 여정으로 바꾸며, 때로는 진실을 찾는 가장 좋은 방법이 어디를 보지 말아야 할지 정확히 아는 것임을 증명합니다.

기술 요약: Baikal – 데이터 레이크에 대한 심층 연구를 위한 구조화된 검색

1. 문제 정의

본 논문은 수천 개의 이질적인 테이블과 비정형 텍스트 구절에 분산된 증거를 선택적으로 조사하여 보고서를 합성해야 하는 과제인 데이터 레이크에 대한 심층 연구(deep research over data lakes) 문제를 다룹니다.

핵심적인 어려움은 이 문제가 **예산이 정해진 검색(budgeted search)**의 성격을 띤다는 점에 있습니다. 주어진 $B$ 단계의 예산(각 단계는 하나의 발견을 산출함) 내에서, 에이전트는 다음을 수행해야 합니다:

거대한 이질적 컬렉션( $L = T \cup P$ )으로부터 쿼리와 관련된 증거를 검색합니다.
추론을 통해 증거를 처리합니다.
결정적으로: 국소적으로 유망한 증거에 과도하게 몰입하지 않으면서, 쿼리에 대한 다양하고 중요한 측면들을 식별해야 합니다.

기존의 반복적인 검색 및 생성(retrieve-and-generate) 방식은 모델의 신념(belief)을 변화시키기 위해 컨텍스트를 축적하는 방식에 의존하기 때문에 여기서 실패하는 경우가 많습니다. 이는 에이전트가 국소적으로 유망한 증거에 편향되게 만들어, 독특한 의미적 영역에 대한 커버리지를 저하시키고 쿼리의 핵심 측면을 놓치는 저품질의 보고서로 이어지게 합니다. 저자들은 목적 함수를 네 가지 차원인 **근거성(groundedness), 관련성(relevance), 독특성(distinctness), 유용성(utility)**의 곱인 품질 점수( $\rho$ )를 예산 전반에 걸쳐 평균적으로 극대화하는 것으로 공식화했습니다.

2. 방법론: Baikal 프레임워크

Baikal은 심층 연구를 구조화된 의미 공간(semantic space) 상의 예산이 정해진 멀티 암드 밴딧(multi-armed bandit) 문제로 재정의합니다. 이 프레임워크는 세 가지 주요 단계로 작동합니다.

A. 구조 추가 (사전 계산)

Raw 테이블과 패시지를 직접 검색하는 대신, Baikal은 먼저 데이터 레이크를 **의미적 영역(semantic regions)**으로 구성합니다:

임베딩: 단일 인코더(예: Qwen3-Embedding)를 사용하여 테이블 메타데이터(제목, 스키마)와 텍스트 패시지를 공유 벡터 공간에 임베딩합니다.
클러스터링: BERTopic(차원 축소를 위한 UMAP + 클러스터링을 위한 HDBSCAN)을 사용하여 수천 개의 항목을 $|R|$ 개의 의미적 영역으로 그룹화합니다.
영역 정의: 각 영역 $c$ 는 테이블의 부분 집합 $T_c$ 와 패시지 $P_c$ , 그리고 설명을 포함합니다. 영역은 에이전트의 컨텍스트 윈도우 내에 들어갈 수 있으면서도 주제적 일관성을 유지하도록 설계되었습니다. 이는 검색 공간을 $|L|$ 개의 아이템에서 $|R|$ 개의 "arm"으로 줄여줍니다.

B. 검색 및 조사 (런타임)

주어진 쿼리 $q$ 에 대해, Baikal은 후보 영역 $C(q)$ 에 대해 순차적 검색을 수행합니다:

후보 선택: 쿼리를 임베딩하고 상위- $k$ 개의 테이블/패시지를 검색합니다. 이 상위- $k$ 아이템과 겹치는 모든 영역을 후보로 유지합니다. 이는 하나의 아이템을 검색함으로써 그 전체 의미적 영역을 범위 내로 가져오도록 보장합니다.
영역 선택 정책: 정책 $\pi$ $π$ 가 조사할 영역 $c \in C(q)$ $c \in C (q)$ 를 선택합니다. 본 논문은 여러 정책을 평가합니다:
- Random: 균등 샘플링.
- LLM-guided: LLM이 영역 설명과 이력을 바탕으로 선택합니다.
- Bayesian $\epsilon$ -greedy: 가장 높은 추정 평균 보상을 가진 영역을 활용(exploit)하며, 확률 $\epsilon$ 으로 사후 평균에 대한 소프트맥스를 통해 탐색(explore)합니다.
- Bayes-UCB: 탐색과 활용의 균형을 맞추기 위해 가장 높은 사후 상위 분위수(posterior upper quantile)를 가진 영역을 선택합니다.
- 참고: 베이지안 정책은 정보가 없는 상태에서의 무의미한 탐색에 예산을 낭비하지 않도록 **LLM으로부터 도출된 사전 확률(LLM-elicited priors)**로 초기화됩니다.
하위 질문 생성 및 선택: 선택된 영역 내에서, LLM은 영역의 내용에 근거하여 최대 $K$ 개의 분석적 하위 질문(예: 카운트, 비교)을 생성합니다. 하나의 하위 질문이 선택되어(무작위 또는 LLM 정책에 의해) 답변됩니다.
실행: 코딩 에이전트(예: OpenCode)는 영역의 테이블들에 대한 **영역 범위 SQL(region-scoped SQL)**을 SQLite 데이터베이스에 실행하고 패시지를 읽습니다. 초기 영역이 불충분할 경우, 에이전트는 추가적인 관련 패시지를 가져오기 위해 grep을 사용하는 **영역 확장(region expansion)**을 수행할 수 있습니다.
보상 피드백: LLM 심사위원이 네 가지 루브릭 차원에 따라 결과 발견(finding)을 점수화합니다. 이 점수는 해당 영역의 가치 추정을 업데이트하기 위한 보상 $r_t$ 로 사용됩니다(베이지안 업데이트를 위한 의사 카운트 방식 사용).

C. 보고서 합성

예산이 소진되거나 더 이상 후보가 없으면, 수집된 발견들을 최종 보고서로 합성하며, 각 주장은 특정 증거 출처에 귀속됩니다.

3. 주요 기여

공식화: 심층 연구를 구조화된 의미 영역 상의 예산이 정해진 검색 문제로 규정하여, 탐색과 활용 사이의 트레이드오프를 명시적으로 다루었습니다.
Baikal 프레임워크: 이질적인 데이터를 의미적 영역으로 클러스터링하고, 단순히 반복적인 컨텍스트 축적에 의존하는 대신 순차적 의사 결정(bandit policies)을 사용하여 증거 수집을 가이드하는 시스템을 구축했습니다.
새로운 테스트베드 및 평가: HybridQA(10,993개 테이블)와 TAT-QA(2,757개 테이블) 데이터 레이크 상에서 심층 연구 쿼리를 구축하였으며, LLM 심사위원을 사용하여 근거성, 관련성, 독특성, 유용성을 평가하기 위한 실질적인 루브릭을 제공합니다.
경험적 검증: 데이타 레이크의 구조 자체뿐만 아니라 검색 절차(순차적 자원 할당)로부터 이득이 발생함을 입증했습니다. 동일한 영역을 가진 강력한 코딩 에이전트를 사용하더라도 Baikal의 성능을 재현할 수 없습니다.

4. 결과

저자들은 15개의 쿼리와 50단계의 예산에 대해 HybridQA 및 TAT-QA 데이터 레이크에서 OpenCode 에이전트(검색/클러스터링 아티팩트 유무 포함) 및 DeepSearcher를 포함한 강력한 베이스라인들과 Baikal을 비교 평가했습니다.

성능: 가장 우수한 Baikal 설정(HybridQA의 Bayes-UCB; TAT-QA의 Random/Bayes $\epsilon$ -greedy)은 강력한 베이스라인 대비 HybridQA에서는 28%, TAT-QA에서는 36% 향상된 보고서 점수를 기록했습니다.
품질 차원: Baikal은 베이스라인(약 0.72)에 비해 근거성(0.92)과 독특성(0.86 vs ~0.62)을 크게 개선했습니다. 이는 반복적이거나 환각된 콘텐츠를 방지하는 데 매우 중요합니다. 베이스라인은 때때로 관련성 점수는 높았으나, 루브릭의 곱셈적 특성 때문에 낮은 근거성이 전체 점수를 낮추는 결과를 초래했습니다.
검색 효율성: Baikal 정책은 첫 10단계 이내에 베이스라인과 격차를 벌렸습니다. (구조 자체 덕분에 Random 방식도 놀라울 정도로 잘 수행되었지만) 베이지안 정책은 예산이 증가함에 따라 명확한 우위를 보였습니다 (예: 예산 200에서 Bayes-UCB가 Random보다 8.8% 우세).
비용 분석: Baikal은 더 많은 유효한 발견(44.6 vs 30.9)을 생성하기 때문에 쿼리당 총 비용은 더 높았습니다. 그러나 유효한 발견당 비용은 베이스라인과 유사하여, 이 프리미엄이 비싼 실패 단계가 아닌 사용 가능한 증거를 사는 데 쓰였음을 나타냅니다.

5. 의의 및 주장

본 논문은 구조화된 의미적 탐색이 이질적인 데이터 레이크에 대한 체계적인 연구에 필수적이라고 주장합니다. 주요 기여는 단순히 클러스터링을 하는 것이 아니라, 검색 프로세스를 명시적으로 관리하는 데 있습니다.

구조 vs 검색: 저자들은 강력한 에이전트에게 동일한 구조화된 영역(검색 및 클러스터링 결과물)을 제공하더라도 성능 향상이 전이되지 않는다는 점을 강조합니다. 개선은 커버리지와 독특성을 극대화하기 위해 예산을 여러 영역에 할당하는 순차적 의사 결정 정책에서 비롯됩니다.
확장성: 이 접근 방식은 검색 공간을 의미적 영역으로 축소함으로써, 반복적인 컨텍스트 기반 방식이 놓치기 쉬운 데이터 레이크의 서로 다른 부분들을 에이전트가 커버할 수 있게 하여 "장기적 지평(long-horizon)"의 특성을 처리합니다.
재현성: 평가 루브릭(근거성, 관련성, 독특성, 유용성)은 LLM 간의 일치도가 검증되었으며, 독특성과 근거성 점수 산출에서 높은 일관성을 보였습니다.

결론적으로, Baikal은 데이터 레이크를 단순한 검색 대상인 코퍼스가 아니라 검색해야 할 구조화된 공간으로 취급하는 것이, 특히 증거가 수천 개의 테이블과 패시지에 분산되어 있는 심층 연구 작업에서 강력한 토대를 제공함을 보여줍니다.