기술 요약: LAKEQA – 백만 규모 데이터 레이크에 대한 탐색적 QA 벤치마크

문제 정의

최근의 대규모 언어 모델(LLM)은 증거가 명시적으로 제공되거나 좁고 정제된 코퍼스에서 쉽게 검색 가능한 읽기 기반 질의응답(QA) 분야에서 상당한 진전을 보여주었습니다. 그러나 실제 시나리오는 이질적인 데이터 레이크를 대상으로 하는 **탐색적 질의응답(Exploratory Questioning, EQA)**을 포함하는 경우가 많습니다. 이러한 환경에서 증거는 사전에 제공되지 않으며, 대신 방대한 양의 구조화된 데이터(예: CSV, JSON)와 비구조화된 문서(예: PDF, HTML) 컬렉션 전반에 흩어져 있습니다. 이러한 문제를 해결하려면 에이전트가 관련 파일을 반복적으로 검색하고, 중간 엔티티를 발견하며, 최종 답변을 구성하기 전 여러 의존적인 단계에 걸쳐 추론할 수 있어야 합니다.

현재의 벤치마크들은 이러한 복잡성을 동시에 포착하지 못합니다. 기존 데이터셋은 높은 검색 강도(대규모 문서 컬렉션)를 갖추고 있지만 낮은 추론 깊이(적은 홉 수)를 보이거나, 높은 추론 깊이를 갖추고 있지만 작은 규모의 정제된 검색 공간에서 작동합니다. 즉, 높은 검색 강도(백만 개의 문서 스캐닝)와 높은 추론 강도(암묵적인 중간 단계를 포함한 장기적 다중 홉 추론)를 모두 요구하는 종합적인 벤치마크가 부족한 실정입니다.

방법론

1. 벤치마크 구축 (LAKEQA)

저자들은 거대하고 이질적인 데이터 레이크 상에서 EQA 능력을 평가하기 위해 설계된 벤치마크인 LAKEQA를 소개합니다.

• 데이터 레이크 규모: 이 벤치마크는 약 9.5 TB의 데이터로 구축되었으며, 약 4,000만 개의 고유 문서로 구성됩니다.
• 출처: 데이터는 두 가지 상호 보완적인 오픈 데이터 소스에서 수집되었습니다.
  • 위키피디아(Wikipedia): 표준 텍스트 코퍼스로서 역할을 하기 위해 최신 영어 덤프에서 파싱되었습니다.
  • Data.gov: Harvard LIL data.gov 아카이브에서 수집되었으며, 다양하고 약하게 표준화된 공공 정부 산출물(구조화된 테이블, 메타데이터, 보고서 등)을 제공합니다.
• 태스크 설계: 각 태스크는 에이전트에게 다음을 요구하는 복잡한 자연어 질문입니다:
  1. 4,000만 개의 컬렉션에서 관련 문서를 식별한다.
  2. 지원하는 사실(supporting facts)을 추출한다.
  3. 한 단계의 출력이 다음 단계의 입력 조건이 되는 방식으로 추론 단계를 체이닝(chaining)한다.
• 주석 생성 프로세스: 태스크는 박사급 전문가와 상급 학부생이 참여하는 인간 참여형(human-in-the-loop) 프로세스를 통해 구축됩니다. 이 과정은 다음과 같습니다:
  • 하위 질문 구축: 주석 작성자는 문서로부터 사실을 도출하고 하위 질문들을 구성하며, $Answer_i$가 $Question_{i+1}$의 전제 조건이 되도록 체이닝합니다.
  • 질문 재작성: 체인을 하나의 자연스러운 질문으로 재작성하여, 단순한 발견을 방지하기 위해 문서 식별자를 숨깁니다.
  • 품질 관리: 각 태스크는 논리적 타당성, 자연스러움, 그리고 최종 답변이 증거에 의해 유일하게 결정되는지를 확인하기 위해 독립적인 주석 작성자들에 의한 다단계 검토를 거칩니다.

2. 실험 설정

• 평가 대상 모델: OpenAI GPT-5.2, GPT-5-mini, Anthropic Claude Haiku/Sonnet/Opus 4.5와 같은 독점 모델과 DeepSeek-R1, Llama-3.3-70B와 같은 오픈 소스 모델을 포함한 7개의 프런티어 LLM이 테스트되었습니다.
• 에이전트 환경: 모델에는 다음과 같이 현실적인 데이터 분석 워크플로우를 모방한 도구 세트가 제공되었습니다:
  • search(query): 데이터 레이크에 대한 키워드 및 시맨틱 검색.
  • list_files, download, inspect: 파일 관리 및 미리보기.
  • execute_code: 로컬 데이터 분석(필터링, 집계)을 위한 파이썬 실행.
• 베이스라인: 데이터 레이크의 샘플 서브셋(10k–50k 문서)에 대해 BM25 및 하이브리드(BM25 + Vector) 검색을 사용하는 Retrieval-Augmented Generation (RAG) 베이스라인이 테스트되었습니다.
• 지표: 성능은 전체 엔드 투 엔드 정확도를 위한 Exact Match (EM)와 더불어, 검색 효과성을 위한 문서 수준의 Precision, Recall, F1을 사용하여 측정되었습니다.

주요 결과

1. 성능 격차

검색 및 검사 도구에 대한 접근 권한이 있음에도 불구하고, 최첨단 LLM들은 LAKEQA에서 상당한 어려움을 겪었습니다:

• 낮은 정확도: 가장 우수한 성능을 보인 모델인 Claude-sonnet-4.5는 전체 벤치마크(LAKEQA-full)에서 **32.87%**의 Exact Match를 기록했습니다. GPT-5.2는 **18.37%**를 기록했으며, 오픈 소스 모델들은 이보다 더 낮은 성능을 보였습니다.
• 비용-정확도 트레이드오프: 더 큰 모델(예: Claude Opus)이 미니 세트(45.93%)에서 더 높은 정확도를 보였으나, 훨씬 더 높은 비용과 실행 시간을 초차했습니다. 더 작고 저렴한 모델들은 비효율적인 코드 생성이나 부족한 추론 능력으로 인해 실패하는 경우가 많았습니다.

2. 실패 분석

경로 분석(Trajectory analysis) 결과, 주요 병목 구간은 발견된 증거에 대한 추론이 아니라 **문서 발견(document discovery)**임이 드러났습니다:

• 검색 실패: 모델들은 질문에 답하는 데 필요한 "골드(gold)" 문서를 빈번하게 검색해내지 못했습니다. 검색된 집합($D_{ret}$)에 대한 재현율(Recall)이 낮았는데, 이는 에이전트가 관련 파일을 표면화하지 못했음을 나타냅니다.
• 탐색 실패: 관련 문서가 검색되었음에도 불구하고, 에이전트들이 이를 검사하거나 분석하는 데 실패하는 경우가 많았습니다. 예를 들어, LAKEQA-full에서 Claude-sonnet-4.5는 검색된 문서에 대해 42.36%의 재현율을 보였으나, 액세스된 문서($D_{acc}$)에 대해서는 13.04%의 재현율만을 기록했습니다. 이는 검색과 효과적인 탐색 사이의 단절을 시사합니다.
• 오류 누적: 추론 홉(hop) 수가 증가함에 따라 성능이 급격히 저하되었습니다. 18 홉 이상의 단계를 요구하는 태스크에서 정확도가 급락했는데, 이는 장기적 탐색이 불완전한 검색과 놓친 제약 조건으로부터 발생하는 복합적인 오류를 증폭시킨다는 것을 나타냅니다.

3. RAG 베이스라인

축소된 문서 서브셋(10k–50k)에 검색 도구를 추가하는 것은 성능을 약간 개선했으나 문제를 해결하지는 못했습니다. 이 결과는 EQA가 단발성 검색(single-shot retrieval) 작업이 아님을 시사합니다. 에이전트는 반복적으로 누락된 정보를 추론하고, 새로운 쿼리를 구성하며, 증거가 충분한지 결정해야 하는데, 현재의 RAG 시스템은 이러한 능력이 부족합니다.

의의 및 주장

본 논문은 현대적인 데이터 레이크 환경에서 작동할 수 있는 LLM 에이전트를 개발하기 위한 현실적인 테스트베드로 LAKEQA를 제안합니다. 그 의의는 다음과 같습니다:

1. 간극 해소: LAKEQA는 검색 강도(4,000만 개 문서)와 추론 강도(다중 홉 체인)를 동시에 확장한 최초의 벤치마크로서, OTT-QA(높은 검색, 낮은 추론)나 MuSiQue(높은 추론, 낮은 검색)와 같은 기존 연구의 한계를 해결합니다.
2. 병목 지점 식별: 실험을 통해 현재의 LLM 에이전트가 효과적인 반복적 검색 및 탐색을 수행할 능력이 아직 갖춰지지 않았음을 입증했습니다. 주요 실패 모드는 증거를 찾은 후의 추론 능력이 아니라, 올바른 증거 문서를 발견하고 여는 능력의 부재입니다.
3. 실제 세계와의 관련성: 이질적인 정부 및 위키피디아 데이터를 활용함으로써, LAKEQA는 정제된 코퍼스를 넘어 에이전트가 암흑 속에서 증거를 찾아내는 복잡성에 직면하도록 함으로써 실제 세계의 무질서하고 비구조화된 데이터 레이크의 현실을 반영합니다.

저자들은 LLM이 읽기 이해력 측면에서는 발전했지만, 대규모 데이터 레이크 상의 복잡한 오픈 도메인 질문을 해결하는 데 있어 효과적인 검색과 탐색이 여전히 주요 병목 구간으로 남아 있다고 결론짓습니다.