EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge
이 논문은 현재의 모델들이 독자적인 비즈니스 이해를 필요로 함에 따라 높은 정확도를 달성하는 데 어려움을 겪고 있는 긴 문맥의 기업 지식 기반 Text-to-SQL 생성 그라운딩(grounding) 과제를 평가하기 위해 설계된, 5개 비즈니스 도메인에 걸친 1,066개의 사례로 구성된 새로운 중-영 벤치마크인 EntSQL을 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신에게 아주 똑똑하고 박학다식한 사서(AI)가 있다고 상상해 보세요. 이 사서는 인간의 언어로 말할 수도 있고, "데이터베이스 언어"(SQL)로도 말할 수 있습니다. 보통 이 사서에게 "지난달에 책을 몇 권 팔았나요?"라고 물으면, 사서는 도서관의 카드 목록(데이터베이스 스키마)을 살펴보고 답변을 가져오기 위해 조수에게 보낼 완벽한 메모를 작성할 수 있습니다.
하지만 현실 세계의 대기업에서는 그렇게 간단하지 않습니다. 회사에는 외부인은 절대 알 수 없는 비밀 규칙 책이 있기 때문입니다. 예를 들어, "지난달"이 실제로는 "6월에 끝나는 회계 분기"를 의미할 수도 있고, "인기 제품"에서 현재 할인 판매 중인 품목은 제외될 수도 있습니다. 만약 사서에게 이 비밀 규칙 책이 없다면, 사서는 추측을 하게 될 것이고 그 메모는 틀리게 될 것입니다.
"EntSQL"의 등장: 비밀 규칙 책에 대한 테스트
이 논문은 EntSQL이라는 새로운 테스트를 소개합니다. 이것은 AI 사서들을 위한 최종 시험이라고 생각하면 됩니다. 단순히 카드 목록을 읽을 수 있는지 묻는 대신, 이 시험은 AI에게 방대한 50페이지 분량의 기업 내부 지침서를 주고 그것을 바탕으로 쿼리를 작성하라고 요구합니다.
다음은 이 논문의 내용을 쉬운 비유를 사용하여 정리한 내용입니다.
1. 문제점: "누락된 매뉴얼"
기존의 AI 사서 테스트(Spider나 BIRD 등)는 일반적인 도서 카탈로그를 주는 것과 같습니다. 카탈로그가 명확하다면 책을 찾는 데는 능숙합니다. 하지만 실제 비즈니스에서 "카탈록"(데이터베이스)은 "직원 핸드북"(사내 규칙) 없이는 무용지물입니다.
- 비유: AI에게 "'프로젝트 X'에 얼마를 썼나요?"라고 묻는다고 가정해 봅시다. 데이터베이스에는 단지
cost라는 열(column)이 있을 뿐입니다. 데이터베이스는 "프로젝트 X"가 사실 "마케팅"의 암호명이라거나, 특정 날짜 이후의 비용만 집계해야 한다는 사실을 알지 못합니다. 이 사적인 핸드북 없이는 AI는 눈을 가린 채 비행하는 것과 같습니다.
2. 테스트: EntSQL
연구진은 재무, 재무(Treasury), 인사, 경영 관리, 당 건설(Party Building) 등 다섯 가지 다른 부서의 실제(하지만 익명화된) 데이터를 사용하여 테스트를 구축했습니다.
- 설정: 연구진은 AI에게 질문, 데이터베이스 구조, 그리고 회사의 특정 규칙들이 담긴 길고 복잡한 문서를 제공했습니다.
- 난이도: 질문들은 까다로웠습니다. AI는 긴 문서를 읽고, "회계 연도"나 "보너스 계산"에 관한 특정 규칙을 찾아낸 다음, 이를 데이터베이스와 결합하여 복잡한 컴퓨터 명령어를 작성해야 했습니다.
- 규모: 이 테스트에는 1,000개 이상의 질문이 포함되었습니다. "정답"(올바른 명령어)은 매우 길고 복잡하여, 마치 400단어 길이의 코드 문단과 같았습니다.
3. 결과: AI는 여전히 고전 중이다
연구진은 세계에서 가장 똑똑한 AI 모델들(Claude, GPT-4 등)을 이 시험에 투입했습니다.
- 점수: 긴 문서를 주었을 때, 가장 뛰어난 AI조차 정답률이 약 **16%**에 불과했습니다.
- 비유: 이는 우수한 학생에게 500페이지짜리 교과서를 주고 수학 문제를 풀라고 하는 것과 같습니다. 학생은 수학을 할 줄 알지만, 이 특정 문제에 적용되는 구체적인 규칙을 책에서 찾아내지 못하는 것입니다. 그들은 텍스트 속에서 길을 잃습니다.
- "증거" 힌트: 연구진이 AI에게 문서의 핵심 부분(중요한 2~3문장)을 하이라이트해서 주었을 때, 점수는 약 **21%**로 올라갔습니다. 이는 AI가 수학을 못 하는 것이 아니라, 건초더미에서 바늘을 찾는 능력이 부족하다는 것을 증명합니다.
4. 실패 원인
연구진은 왜 AI가 틀렸는지 분석했습니다. 대부분 코드를 쓰는 법을 잊어버려서가 아니었습니다.
- 주요 오류 (54%): AI가 "필터"를 놓쳤습니다. 이는 "빨간색 자동차"를 달라고 했는데 AI가 "모든 자동차"나 "파란색 자동차"를 가져오는 것과 같습니다. 문서에 명시된 특정 규칙을 데이터에 제대로 적용하지 못한 것입니다.
- 범위 오류 (14%): AI가 잘못된 기간이나 잘못된 부서를 참조했습니다. 이는 "2023년" 예산을 계산하라고 했는데 "2024년" 예산을 계산하는 것과 같습니다.
5. 인간과의 격차
연구진은 인간 전문가에게도 동일한 테스트를 수행하게 했습니다.
- 격차: 하이라이트된 노트를 받았을 때, 인간 전문가는 약 **84%**의 정답률을 보였습니다. 반면 AI는 **20%**에 그쳤습니다.
- 시사점: 기업 핸드북을 다루는 인간의 능력과 현재 AI의 능력 사이에는 거대한 간극이 존재합니다. AI는 여전히 특정 비즈니스의 "성문화되지 않은 규칙"을 이해하는 데 매우 서툽니다.
요약
EntSQL은 다음과 같이 말하는 새로운 벤치마크입니다: "AI가 데이터베이스를 읽을 수 있는지만 테스트하지 마세요. 기업의 '비밀 규칙 책'을 읽고 그것을 적용할 수 있는지 테스트하세요."
논문은 AI가 코드를 작성하는 능력은 향상되고 있지만, 실제 비즈니스가 의존하는 복잡하고 사적이며 긴 맥락의 지식에 코드를 접목하는 능력은 현재 매우 부족하다고 결론짓습니다. 이는 AI가 진정으로 사무실에서 도움을 주기 위해서는, 아주 세밀한 문구(fine print)를 읽는 능력을 훨씬 더 발전시켜야 한다는 점을 상기시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.