Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

탐정 대 계산기: 왜 '빠름'보다 '옳음'이 더 중요한가

당신이 수백만 권의 책이 끊임없이 다시 쓰이고, 옮겨지고, 버려지는 거대하고 혼란스러운 도서관에 있다고 상상해 보십시오. 당신은 사서에게 "지난 화요일에 빨간색 책이 몇 권 팔렸나요?"라고 묻습니다. 전통적인 컴퓨터 프로그램은 초고속 계산기처럼 행동합니다. 즉시 검색을 시작하여 숫자를 뽑아낸 뒤 당신에게 외칩니다. 수학적으로 완벽하다면 컴퓨터는 스스로를 자랑스러워할 것입니다. 하지만 만약 당신에게 '빨간색'은 '진홍색'을 의미하는데 사서에게는 '다홍색'을 의미한다면 어떻게 될까요? 혹은 빨간색 책들이 지난주에 다른 건물로 옮겨져서 질문 자체가 답할 수 없는 상태라면 어떨까요? 계산기는 여전히 숫자를 내뱉겠지만, 그것은 틀린 숫자일 것이며 아무도 너무 늦기 전까지는 그 사실을 알지 못할 것입니다.

이것이 바로 **LLM 분석 에이전트(LLM analytics agents)**의 세계입니다. 이들은 데이터베이스(도서관)와 대화하여 비즈니스 질문에 답하도록 설계된 AI 시스템입니다. 오랫동안 과학자들은 AI가 도서관에 질문하기 위해 올바른 "코드"(SQL)를 작성하는지를 확인하여 성공 여부를 측정해 왔습니다. 이는 마치 학생이 실제로 이야기를 이해했는지는 무시한 채, 오직 문법을 제대로 사용했는지만으로 성적을 매기는 것과 같습니다. 하지만 현실 세계에서 잘못된 숫자로 이어지는 "완벽한" 문장은 재앙입니다. 그것은 작년에 불타 없어진 집으로 가는 완벽한 길 안내를 제공하는 GPS와 같습니다. 진짜 과제는 단순히 코드를 작성하는 것이 아니라, 언제 답변하지 말아야 하는지, 언제 명확한 설명을 요구해야 하는지, 그리고 언제 "도와드릴 수 없습니다"라고 말해야 하는지를 아는 것입니다. 이 논문은 이 혼란스럽고 실제적인 문제를 파고들며 다음과 같이 묻습니다. 확신에 차서 추측하는 거대하고 비싼 뇌를 가질 것인가, 아니면 모든 것을 재검토하는 작은 규칙 준수 탐정을 가질 것인가?

QueryProof 이야기: 규칙을 따르는 탐정

이 연구에서 모리스 리(Morris Lee)라는 연구자는 QueryProof라고 불리는 새로운 종류의 AI 에이전트를 구축했습니다. 목표는 대담한 아이디어를 테스트하는 것이었습니다. 즉, 똑똑해지기 위해 반드시 320억 개의 파라미터를 가진 거대한 "뇌"가 필요한 것은 아닐지도 모른다는 것입니다. 어쩌면 우리는 엄격한 규칙을 따르고 자신의 작업을 스스로 점검하도록 강제된 70억 개의 파라미터를 가진 더 작은 뇌만 있으면 될지도 모릅니다.

이를 테스트하기 위해 연구자는 WarehouseReliabilityBench라는 특별한 놀이터를 만들었습니다. 온라인 쇼핑몰과 소프트웨어 회사를 위한 두 개의 가짜 도서관을 상상해 보십시오. 이곳은 까다로운 함정들로 가득 차 있습니다. 400개의 질문 중 약 절반은 단순한 숫자로 정확히 답하는 것이 불가능하도록 설계되었습니다. 어떤 질문은 모호했고(예를 들어, '총매출'인지 '순매출'인지 명시하지 않고 '매출'을 묻는 경우), 어떤 질문은 존재하지 않는 데이터를 물었고, 어떤 질문은 AI가 규칙을 어기도록 유도했습니다. 이러한 경우, '정답'은 숫자가 아니라 정중한 거절, 추가 상세 정보 요청, 또는 "그것은 할 수 없습니다"라는 메시지였습니다.

실험은 세 가지 주요 캐릭터를 비교했습니다:

1. 거대 뇌 (32B): 모든 것에 답하도록 직접 프롬프트된 거대한 모델입니다. 이 모델은 안전망도, 규칙도 없었으며, 자신의 작업을 확인해 줄 사람도 없었습니다.
2. 규칙을 따르는 탐정 (QueryProof): 70억 개의 파라미터를 가진 더 작은 모델이지만, 이 모델은 "결정론적 상태 머신(deterministic state machine)"으로 감싸져 있습니다. 이것을 AI가 말하기 전에 규칙 책을 확인하도록 강요하는 엄격한 감독관이라고 생각하십시오. 질문이 모호하면 감독관은 "멈춰! 명확한 설명을 요구해!"라고 말합니다. 데이터가 누락되었다면 감독관은 "멈춰! 답변을 거부해!"라고 말합니다. AI는 이러한 검사를 통과해야만 비로소 말할 수 있습니다.
3. 비용 매칭 베이스라인 (The Cost-Matched Baseline): 단순히 더 많은 힌트를 주는 것이 도움이 되는지 알아보기 위해 몇 가지 예시(few-shot)를 추가한 작은 모델입니다.

거대한 발견: 규칙이 원초적인 힘을 이기다

결과는 놀랍고 매우 명확했습니다. 거대 뇌는 자신만만했지만 자주 틀렸습니다. 이 모델은 불가능한 질문에도 답하려고 시도하며 모든 질문에 답하려 했고, 결국 대부분의 질문에서 잘못된 비즈니스 숫자를 내놓았습니다. 이 모델의 "오답 성공률(False Success Rate, 틀린 답변과 전체 답변의 비율)"은 무려 0.754에 달했습니다. 이는 마치 모든 시험 문제에 추측해서 답을 적어내며 '노력' 점수는 높게 받지만, 실제 시험에서는 낙제하는 학생과 같았습니다.

규칙 책을 가진 작은 탐정인 QueryProof는 거대 모델을 완전히 압도했습니다.

• 정확도: QueryProof는 0.537의 비즈니스 진실률(Business Truth Rate)(정답 혹은 올바른 '행동'을 한 비율)을 달성한 반면, 거대 뇌는 겨우 0.300을 기록했습니다.
• 안전성: QueryProof가 답변을 반환했을 때, 거대 뇌보다 틀릴 확률이 훨씬 낮았습니다. 구체적으로, QueryProof가 반환한 답변 중 **35.1%**가 부정확했던 반면, 거대 뇌가 반환한 답변은 **75.4%**였습니다. 결정적인 승부처는, 답변 가능한 질문에 대해 거대 뇌는 감지되지 않은 잘못된 숫자를 0개도 걸러내지 못한 반면, Query-Proof는 명확한 설명이나 거절이 필요했던 질문에 대해 13개의 답변을 내놓았다는 점입니다. 핵심적인 승리는 QueryProof가 잘못된 숫자가 경고 없이 반환되는 '조용한 실패(silent failures)'를 막아내어, 답변 가능한 작업에서 잘못된 비즈니스 숫자가 절대 반환되지 않도록 보장했다는 데 있습니다.
• 비용: 여기서 반전이 있습니다. QueryProof는 거대 뇌보다 정답당 비용이 71.0% 더 저렴했습니다. 신뢰성을 확보하기 위해 거대한 모델이 필요한 것이 아니라, 잘 짜여진 체크 시스템이 필요했던 것입니다.

연구진은 "마법"이 AI의 뇌 크기에 있는 것이 아니라는 것을 발견했습니다. 그것은 결정론적 계층(deterministic layer), 즉 AI가 입을 열기 전에 데이터베이스의 실제 구조와 질문을 대조하는 엄격한 규칙에 있었습니다. 이 계층은 클럽의 보안 요원처럼 작동하여, 나쁜 질문이 문제를 일으키기 전에 차단했습니다.

효과가 없었던 것들 (그리고 그것이 중요한 이유)

연구진은 QueryProof를 더 좋게 만들기 위해 몇 가지 "스마트"한 기능들을 추가해 보았지만, 이들은 실패했습니다.

• 신뢰도 모델 (The Confidence Model): AI에게 자신이 얼마나 확신하는지 "느끼게" 하여 확신이 없는 질문은 건너뛰도록 가르치려 했습니다. 하지만 이는 작동하지 않았습니다. 테스트에서 AI가 학습한 신뢰도는 단순한 수동 규칙보다 오히려 더 나빴습니다. 이는 마치 자신이 답을 알고 있다고 생각하지만 실제로는 추측하고 있는 학생과 같았고, 단순한 규칙은 그저 정직하게 행동하는 것과 같았습니다.
• 라우팅 시스템 (The Routing System): 어려운 질문을 더 큰 모델로 보내는 시스템을 시도했습니다. 하지만 이는 테스트 세트에서 역효과를 냈으며, AI가 답변할 수 있었던 질문들까지 너무 많이 거절하게 만들었습니다.

이 논문은 이러한 실패가 실제적인 것임을 매우 신중하게 밝히고 있습니다. "스마트"한 부분들이 실제 연습으로부터 일반화되지 못했기 때문입니다. 오직 작동한 것은 지루하고 경직된 규칙 기반의 검사뿐이었습니다.

한계: 얼마나 확신할 수 있는가?

연구진은 자신들의 이야기에 담긴 한계를 솔직하게 밝히고 있습니다.

• 놀이터: 도서관들은 단일 시드(seed)로부터 만들어진 합성 데이터(fake)입니다. 이는 테스트를 공정하고 재현 가능하게 만들지만, 수십 년 된 나쁜 데이터가 쌓인 실제 복잡한 기업 환경에서도 이것이 작동할지는 알 수 없습니다.
• "유출(Leak)": 연구진은 설정 과정에서 테스트 질문과 일치하는 특정 문구들을 우연히 발견했음을 인정했습니다. 최종 테스트 전에 이를 제거했지만, 규칙을 만드는 동안 질문들을 인지하고 있었기 때문에 테스트가 완벽하게 "깨끗하지"는 않다는 점을 인정합니다. 그들은 이 결과를 완벽한 증명이 아닌, 알려진 결함이 있는 "동결된 평가(frozen evaluation)"로 취급합니다.
• 통계: 질문 개별 단위가 아닌 질문 '군집(families)'을 사용하여 수학적 재계산을 수행했을 때, 신뢰 구간이 넓어졌습니다. 이는 결과의 방향성(규칙 > 원초적 힘)은 사실일 가능성이 높지만, 승리의 정확한 크기는 다소 모호할 수 있음을 의미합니다.

시사점

여기서의 핵심 교훈은, 비즈니스 분석을 위해서는 신뢰성이 단순히 크기가 아니라 구조에서 온다는 것입니다. 엄격한 규칙 시스템으로 감싸져 질문과 데이터를 사전에 검증하는 작은 AI가, 단순히 추측하는 거대한 AI보다 더 정확하고, 안전하며, 저렴할 수 있습니다.

이 논문은 만약 당신이 상사에게 거짓말을 하지 않는 AI를 원한다면, 단순히 더 큰 모델을 구매할 것이 아니라, 더 나은 "규칙 책"과 작업을 검토할 "보안 요원"을 구축해야 한다고 제안합니다. "스마트"한 학습 부분(신뢰도 점수 등)은 있으면 좋겠지만, 이 특정 사례에서는 도움이 되지 않았습니다. 진짜 영웅은 답변하기 전에 "잠깐, 이 질문이 말이 되는지부터 확인하자"라고 말하는 지루하고 결정론적인 검사였습니다.