SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data

당신이 특정 책을 찾기 위해 아주 똑똑한 로봇 사서에게 물어보려고 한다고 상상해 보세요. 하지만 당신은 도서관의 비밀 코드 시스템을 모릅니다. 그래서 당신은 그저 "빨간 선반에 있는 용에 관한 책을 원해요"라고 말합니다. 로봇은 당신이 정확히 무엇을 의미하는지 파악해야 하고, 당신이 그 선반을 볼 권한이 있는지 확인한 다음, 책을 찾아야 합니다. 이것이 바로 **자연어 인터페이스를 통한 기업 데이터 활용(Natural Language Interfaces to Enterprise Data)**의 세계입니다. 이는 일반 사람들이 컴퓨터 코드를 사용하는 대신 평범한 문장을 사용하여 복잡한 데이터베이스와 대화할 수 있게 만드는 과학입니다.

오랫동안 과학자들은 이 로봇들이 *구문(syntax)*은 맞게 작성할지라도(유효한 컴퓨터 명령어를 작성함), *의미(meaning)*는 틀릴 수 있다는 점(엉뚱한 책을 찾는 것), 혹은 규칙을 어겨서 당신이 만져서는 안 될 책을 보게 할 수도 있다는 점을 우려해 왔습니다. 큰 질문은 이것입니다: 우리는 어떻게 이 로봇을 위한 최고의 "두뇌"를 만들 수 있을까? 로봇이 직접 컴퓨터 코드를 쓰게 해야 할까요? 아니로, 로봇에게 특정한 도구 세트를 사용하도록 주어야 할까요? 아니면 로봇이 무엇인가를 하기 전에 먼저 상세한 계획을 세우도록 강제해야 할까요? SemPlan이라 불리는 이 논문은, 이해관계가 높고 데이터가 까다로운 상황에서 어떤 "두뇌 설계"가 실제로 가장 잘 작동하는지를 찾아내기 위한 거대한 실험입니다.

위대한 로봇 두뇌 대결

연구진은 매우 현실적인 "Northstar Commerce"라는 가상의 세계를 설정하여 거대하고 통제된 배틀 로얄을 준비했습니다. 그들은 영어와 브라질 포르투갈어로 된 1,800개의 서로 다른 질문을 만들었습니다. 질문은 "우리가 얼마나 벌었나요?"와 같은 간단한 요청부터, 로봇을 속이려는 까다롭고 다중적인 퍼즐까지 다양했습니다. 그런 다음 그들은 동일한 초지능 모델(특정 gpt-5.6-luna 버전의 AI)을 사용하여 네 가지 다른 로봇 아키텍처(팀 A, B, C, D라고 부릅시다)를 테스트했습니다. 이는 비교를 공정하게 하기 위함입니다.

네 팀은 다음과 같이 게임을 수행했습니다:

• 팀 A (직접 쓰는 작가): 이 로봇은 당신의 질문을 들으면 즉시 답을 얻기 위한 컴퓨터 코드(SQL)를 작성하려고 시도합니다. 이는 마치 학생에게 풀이 과정을 보여주지 않고 화이트보드에 수학 문제를 풀라고 하는 것과 같습니다.
• 팀 B (도구 사용자): 이 로봇은 코드를 쓰지 않습니다. 대신, 도구 상자를 가지고 있습니다. 이 로봇은 적절한 도구(예: "숫자 더하기" 또는 "날짜별 정렬")를 골라 올바른 순서대로 클릭해야 합니다. 이는 마치 미리 만들어진 재료와 특정 주방 도구만을 사용할 수 있는 요리사와 같습니다.
• 팀 C (플래너): 이 로봇은 코드를 쓰지도, 도구를 고르지도 않습니다. 대신, 매우 엄격하고 구조화된 시맨틱 요청(semantic request)—즉, 어떤 데이터가 필요한지 정확하게 명시하는 매우 구체적이고 조직적인 계획—을 작성합니다. 별도의, 지루하지만 완벽한 컴퓨터 프로그램이 이 계획을 받아 코드로 변환합니다. 이는 마치 학생이 완벽한 개요를 작성하면, 다른 사람이 그 개요를 바탕으로 최종 에세이를 쓰는 것과 같습니다.
• 팀 D (명확화 전문가): 이 팀은 팀 C의 형제 격입니다. 이 팀 역시 계획을 작성하지만, 질문이 모호할 경우 설명을 요청하거나 대화 중에 언급된 내용을 기억할 수 있습니다. 이는 마치 탐정이 "잠깐만요, 빨간 용을 말씀하신 건가요, 아니면 파란 용을 말씀하신 건가요?"라고 되묻는 것과 같습니다.

결과: 완벽한 승자는 없다

총 4,800번의 테스트(각 팀당 1,200개의 질문)를 실행한 결과, 결과는 놀라웠습니다. 핵심적인 결론은 단 하나의 "최고의" 로봇은 없다는 것입니다. 이것은 스포츠카, 트럭, 연비 좋은 세단 사이에서 선택하는 것과 같은 트레이드오프(trade-off) 관계입니다. 스포츠카의 속도, 트럭의 견인력, 세단의 연비를 한 차량에 모두 담을 수는 없습니다.

데이터가 보여준 내용은 다음과 같습니다:

1. 정확도 경쟁
단순히 정답을 원한다면, **팀 C (플래너)**가 승자였지만, 압도적인 차이는 아니었습니다.

• 팀 C는 **25.67%**의 확률로 정답을 맞혔습니다.
• 팀 D (명확화 전문가)가 **24.25%**로 2위를 차지했습니다.
• 팀 B (도구 사용자)는 **22.58%**였습니다.
• 팀 A (직접 쓰는 작가)가 **22.25%**로 꼴찌를 했습니다.

팀 C가 통계적으로 다른 팀들보다 나았지만, 논문에서는 정답을 맞히는 확률이 약 4번 중 1번 꼴이라는 점은 여전히 낮다는 점을 지적합니다. 심지어 "최고"의 설계조차 질문의 복잡성 때문에 어려움을 겪었습니다.

2. 안전 및 규칙 경쟁
이 지점에서 팀들의 순위가 뒤바뀌었습니다.

• **팀 A (직접 쓰는 작가)**가 가장 안전했습니다. 규칙(정책)을 가장 잘 준수했으며(43.67%), 위험하거나 유효하지 않은 행동을 할 가능성이 가장 낮았습니다(31.00%). 이 팀은 매우 보수적이어서, 실수를 피하기 위해 위험을 감수하기보다는 종종 "그것은 할 수 없습니다"라고 말하는 "거짓 거절(false refusal)"을 선택했습니다.
• **팀 D (명확화 전문가)**는 가장 친절했지만(거절률 0.17%), 가장 위험했습니다. 이 팀은 안전하지 않거나 유효하지 않은 행동을 하는 비율이 가장 높았습니다(64.08%). 이들은 너무 도움이 되고 싶어 한 나머지 때때로 규칙을 어겼습니다.

3. 비용 및 안정성

• 팀 D가 가장 저렴하게 운영되었으며, 질문당 평균 $0.000469의 비용이 들었습니다.
• 팀 C가 가장 안정적이었습니다. 같은 질문을 세 번 던졌을 때, 팀 C는 **98.67%**의 확률로 동일한 정답을 제시했습니다. 팀 B는 동일하게 정답을 반복하는 비율이 **92.00%**로 가장 불안정했습니다.

4. "언어"의 반전
연구진은 모든 팀이 영어보다 브라질 포르투갈어로 질문했을 때 더 낮은 성능을 보였다는 점을 발견했습니다. 예를 들어, 팀 C는 영어에서 **31.00%**의 정답률을 보였으나 포르투갈어에서는 **20.33%**에 그쳤습니다. 이는 최선의 설계라 할지라도 언어적 차이가 여전히 큰 문제를 일으킨다는 것을 시사합니다.

이것이 미래에 의미하는 바

이 논문은 "더 많은 구조가 항상 더 좋다"는 생각을 명시적으로 부정합니다. 당신은 더 상세한 계획을 쓰게 하거나(팀 C) 명확한 설명을 요구하게 하면(팀 D) 모든 것이 해결될 것이라고 생각할 수도 있습니다. 하지만 데이터는 아니라고 말합니다. 구조를 추가하는 것은 로봇이 실패하는 방식을 바꿀 뿐, 여전히 정답을 맞히는 데 어려움을 겪고 있다는 사실을 마법처럼 해결해주지는 못했습니다.

• 팀 A는 안전하지만 너무 쉽게 포기합니다.
• 팀 B는 괜찮지만 일관성이 부족합니다.
• 팀 C는 가장 정확하고 안정적이지만, 완벽하지는 않습니다.
• 팀 D는 저렴하고 친절하지만, 위험하고 정확도가 떨어집니다.

저자는 우리가 단순히 가장 높은 정확도를 가진 "승자"를 찾는 것에 매몰되어서는 안 된다고 결론짓습니다. 대신 전체적인 그림을 봐야 합니다: 우리는 안전(팀 A)을 더 중요하게 생각합니까? 정답을 맞히는 것(팀 C)을 더 중요하게 생각합니까? 아니면 비용 절감(팀 D)을 더 중요하게 생각합니까?

이 연구는 현재의 가장 똑똑한 AI 설계들조차 여전히 복잡한 비즈니스 질문을 완벽하게 이해하는 데 어려움을 겪고 있음을 시사합니다. 앞으로 나아갈 길은 단순히 "더 나은" 로봇을 만드는 것이 아닙니다. 각 설계의 구체적인 트레이드오프를 이해하고, 특정 작업에 맞는 적절한 도구를 선택하는 것입니다. 논문에서 언급했듯이, 이것은 아직 "해결된 문제"가 아닙니다. 이는 우리가 미래에 더 나은 시스템을 구축할 수 있도록 함정을 알려주는 지도와 같습니다.