Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

현대 비즈니스의 세계에서 데이터는 종종 거대하고 복잡한 디지털 창고 속에 갇혀 있습니다. "지난해 2번 에이전트가 몇 건의 보험 계약을 판매했는가?"와 같은 간단한 질문을 던지기 위해서는 회사가 운영되는 방식을 정의하는 테이블, 관계, 그리고 규칙들의 미로를 헤쳐 나가야 합니다. 수년 동안 연구자들은 컴퓨터가 이러한 자연어 질문을 데이터를 추출하는 데 필요한 특정 코드로 직접 번역하도록 가르치려 노력해 왔습니다. 이것이 바로 텍스트-투-SQL(text-to-SQL)의 약속입니다. 즉, 인간의 의도를 이해하고 데이터를 검색하기 위한 정확한 지침을 작성하는 기계입니다. 그러나 중대한 문제가 남아 있습니다. 컴퓨터가 스스로 이러한 지침을 작성할 때, 코드는 완벽하게 실행되지만 틀린 답을 내놓는 경우가 자주 발생합니다. 잘못된 정보 조각들을 연결하거나 무언가를 잘못된 방식으로 계산하여, 그럴듯해 보이지만 근본적으로는 결함이 있는 결과를 만들어낼 수 있습니다. 이는 잘못된 숫자가 나쁜 비즈니스 결정으로 이어질 수 있는 기업 환경에서 매우 위험합니다.

새로운 연구는 이 신뢰성 문제를 해결하기 위한 다른 접근 방식을 탐구합니다. 인공지능에게 전체 코드를 처음부터 작성하도록 요청하는 대신, 연구자들은 AI가 설계자가 아닌 가이드 역할을 하는 시스템을 구축했습니다. AI의 역할은 질문을 이해하고 미리 승인된 유효한 경로와 관계 목록 중에서 선택하는 것으로 제한됩니다. 일단 AI가 선택을 마치면, 별도의 엄격한 컴퓨터 프로그램이 제어권을 넘겨받습니다. 이 프로그램은 선택 사항을 최종 코드로 변환하며, 이때 연결이 올바르게 이루어지고 계산 규칙이 정확하게 준수되도록 보장합니다. 연구진은 이 방법을 전통적인 "전부 작성하기(write-it-all)" 방식과 복잡한 보험 데이터셋을 사용하여 비교 테스트했습니다. 그 결과, 가이드형 시스템이 훨씬 더 신뢰할 수 있음을 발견했습니다. 이 시스템은 거의 매번 정확한 답을 만들어낸 반면, 전통적인 시스템은 코드는 실행되지만 틀린 결과를 내놓는 경우가 빈번했습니다.

이 연구의 핵심은 불확실성이 존재하는 위치를 바꾸는 데 있습니다. 표준 시스템에서는 인공지능 모델이 어떤 테이블을 조인할지, 어떻게 연결할지, 그리고 숫자를 어떻게 집계할지와 같은 모든 것을 결정해야 합니다. 이러한 모델은 확률에 기반하여 텍스트를 생성하기 때문에, 기술적으로는 가능하지만 의미론적으로는 틀린 경로를 선택할 때가 있습니다. 저자가 '시맨틱 패스 컴파일레이션(Semantic Path-Compilation)'이라고 부르는 이 새로운 시스템은 명확한 선을 긋습니다. 인공지능은 질문 속의 단어들을 특정 비즈니스 개념에 접지(grounding)하고, 인간이 큐레이션한 데이터 맵에서 제공하는 유한한 옵션 세트 중에서 선택할 수 있을 뿐입니다. AI는 새로운 연결을 발명하거나 코드 조각을 써낼 수 없습니다. AI가 선택을 마치면, 결정론적 엔진(deterministic engine)이 운전대를 잡습니다. 이 엔진은 AI의 선택을 최종 데이터베이스 쿼리로 변환하기 위해 고정된 규칙을 따르는 소프트웨어입니다. 이 엔진은 오류를 점검하고, 논리가 타당한지 확인하며, 모든 검사를 통과했을 때만 코드를 실행합니다. 만약 AI의 선택이 불분명하거나 규칙을 위반하면, 시스템은 추측하는 대신 답변을 거부합니다.

이를 테스트하기 위해 연구진은 보험 회사의 데이터를 기반으로 한 벤치마크를 사용했는데, 여기에는 사람의 다양한 역할(예: 보험계약자, 에이전트, 언더라이터)과 그 역할들이 보험 계약 및 사고(claims)와 어떻게 연결되는지와 같은 복잡한 관계가 포함되어 있습니다. 연구진은 동일한 38개의 질문에 대해 두 가지 서로 다른 시스템을 실행했습니다. 첫 번째 시스템은 AI가 데이터베이스 구조로부터 직접 코드를 생성하는 전통적인 방식입니다. 두 번째 시스템은 새로운 가이드형 방식입니다. 결과의 일관성을 확인하기 위해 각 질문을 세 번씩 실행했습니다. 전통적인 시스템은 38개의 질문 중 세 번의 실행 모두에서 정답을 맞힌 경우가 21개에 불과했습니다. 반면, 가이드형 시스템은 38개 중 37개 질문에서 성공했습니다. 더 중요한 점은, 전통적인 시스템이 코드는 성공적으로 실행되었으나 답은 틀린 경우가 29번이나 발생했다는 것입니다. 가이드형 시스템은 그러한 오류가 단 한 건도 없었습니다. 실패했을 때, 이 시스템은 오해의 소지가 있는 숫자를 제공하는 대신 단순히 답변을 거부했습니다.

연구는 또한 숨겨진 오류를 드러내기 위해 데이터를 약간 수정했을 때 어떤 일이 일어나는지도 살펴보았습니다. 보험 데이터셋의 일부 질문은 특정 수준의 상세도에서 항목을 계산해야 합니다. 만약 컴퓨터가 테이블을 잘못 조인하면, 숫자를 실수로 곱해버려 결과값이 너무 높게 나올 수 있습니다. 연구진은 이러한 곱셈 오류가 명백해지는 '역사실적(counterfactual)' 버전의 데이터베이스를 만들었습니다. 그 결과, 전통적인 시스템은 이러한 오류를 잡아내지 못하고, 원래 데이터에서는 맞는 것처럼 보이지만 수정된 데이터에서는 틀린 높은 수치를 반환하는 경우가 많다는 것을 발견했습니다. 가이드형 시스템은 시맨틱 맵의 엄격한 규칙을 따르도록 강제되었기 때문에 이러한 함정을 피할 수 있었습니다. 이 시스템은 데이터가 속임수를 쓰기 위해 조정되더라도 일관되게 정확한 계산을 산출했습니다.

연구진은 자신들의 성공이 단순히 새로운 소프트웨어 엔진 덕분이 아니라, 전체 시스템이 유기적으로 작동한 결과라는 점을 주의 깊게 언급했습니다. 가이드형 시스템은 전통적인 시스템에는 없었던, 인간이 작성한 상세한 비즈니스 규칙 맵에 접근할 수 있었습니다. 즉, 이 개선은 더 나은 지식과 더 신중한 프로세스를 결합한 결과입니다. 이 연구는 새로운 방법이 가능한 모든 질문에 작동한다거나 모든 불확실성을 제거한다고 주장하지는 않습니다. 인공지능은 여전히 초기 선택을 내려야 하며, 만약 비즈니스 규칙이 맵에 제대로 정의되어 있지 않다면 시스템은 답변을 거부할 것입니다. 그러나 이 보험 도메인에서 발견되는 것과 같이 복잡하고 규칙이 많은 질문의 경우, 가이드형 AI와 엄격한 컴파일러의 결합은 신뢰성을 확보하는 강력한 방법임이 입증되었습니다.

이 연구 결과는 미래에 이러한 도구들을 어떻게 구축해야 하는지에 대한 변화를 시사합니다. 대규모 언어 모델이 매번 복잡한 로직을 완벽하게 수행하기를 기대하는 대신, 모델이 안전한 선택을 하도록 제약을 가하고 결정론적 소프트웨어를 사용하여 이를 실행하는 시스템을 구축할 수 있습니다. 이 접근 방식은 유연성을 일부 희생하는 대신 훨씬 높은 수준의 신뢰를 얻습니다. 데이터가 중요한 비즈니스 결정을 주도하는 세상에서, "틀린 답을 드리겠다"라고 말하기보다 "모르겠다"라고 말할 수 있는 능력은 매우 큰 강점입니다. 이 연구는 논리와 연결이라는 무거운 짐을 확률적 모델에서 규칙 기반 엔진으로 옮김으로써, 이전에는 도달하기 어려웠던 일관성을 달성할 수 있음을 보여줍니다. 그 결과, 단순히 똑똑한 시스템이 아니라 믿을 수 있는 시스템을 만드는 것입니다.