기술 요약: 비즈니스 인텔리전스를 위한 비즈니스 로직 기반 텍스트-투-SQL 데이터 합성

문제 정의

프라이빗 비즈니스 인텔리전스(BI) 환경 내에서 Text-to-SQL 에이전트를 평가하는 것은 현실적이고 도메인 특화된 데이터의 부족으로 인해 어려움을 겪고 있다. 합성 데이터 생성은 수동 주석 작업에 대한 확장 가능한 대안을 제공하지만, 기존 방식(예: OmniSQL, SQL-Factory)은 주로 광범위한 스키마 커버리지와 구문론적 SQL 다양성을 최적화하는 데 집중한다. 결과적으로, 이러한 방식들은 **비즈니스 현실성(business realism)**을 포착하는 데 실패한다. 즉, 생성된 질문들이 실제 업무 흐름, 직무 역할 및 비즈니스 로직의 맥락을 반영하지 못한다는 점이다. 이러한 괴리는 생성된 평가 데이터셋이 비기술적 사용자(분석가, 관리자)가 실제로 기업 데이터를 쿼리하는 방식을 충실히 반영하지 못하게 만들며, 프라이빗 BI 환경에서 에이전트 평가의 신뢰도를 제한한다. 또한, 현재의 벤치마크들은 쿼리의 난이도를 SQL 구문적 특징(예: 조인 개수)을 통해 정의하는데, 이는 질문에 답하기 위해 필요한 실제 비즈니스 추론의 복잡도와는 낮은 상관관계를 보인다.

방법론

저자들은 구조화된 비즈니스 컨텍스트에 기반하여 고충실도의 Text-to-SQL 평가 데이터를 생성하도록 설계된 비즈니스 로직 기반 데이터 합성(Business Logic–Driven Data Synthesis) 프레임워크를 제안한다. 이 프레임워크는 네 가지 주요 모듈을 통해 작동한다.

1. 비즈니스 로직 모델링

본 프레임워크는 데이터베이스 스키마에서 시작하는 대신, 질문이 실제 BI 워크플로우에서 발생하는 방식을 반영하기 위해 비즈니스 로직을 계층적으로 모델링한다:

• 페르소나(Personas): 책임, 목표, 페인 포인트(pain points)가 정의된 현실적인 직무 역할 (예: 영업 개발 매니저).
• 업무 시나리오(Work Scenarios): 페르소나가 데이터와 상호작용하는 반복적인 비즈니스 상황 (예: 파이프라인 속도 검토).
• 워크플로우(Workflows): 시나리오를 구체적인 단계로 분해하여 분석적 질문을 자연스럽게 도출하는 일련의 분석 작업 (예: 데이터 필터링, 지표 비교).

2. 비즈니스 로직 기반 스키마 선택

생산 규모의 데이터베이스(종종 수백 개의 테이블 포함)를 고려할 때, 본 프레임십은 특정 비즈니스 로직 컨텍스트(페르소나, 시나리오, 워크플로우)에 대한 관련성을 기준으로 테이블 점수(0–3)를 매겨 인간 분석가의 행동을 모방한다. 높은 관련성을 가진 테이블만을 유지함으로써, 현실적인 쿼리 생성을 위한 필수 엔티티는 보존하면서 스키마 복잡도를 줄인다.

3. Text-to-SQL 데이터 생성

생성 프로세스는 실행 가능한 SQL 쿼리를 먼저 생성한 후 이를 자연어로 변환하는 **SQL 우선 전략(SQL-first strategy)**을 따른다.

• 비즈니스 추론 복잡도 제어: 본 프레임워크는 SQL 구문이 아닌 비즈니스 추론 단계를 기준으로 쿼리 난이도를 다양화하는 전략을 도입한다. 네 가지 복잡도 레벨을 정의한다:
  1. 단일 지표 분석(Single Metric Analysis): 단순 필터링 및 집계.
  2. 비교 지표 분석(Comparative Metric Analysis): 차원(시간, 지역 등) 간의 지표 비교.
  3. 파생 지표 분석(Derived Metric Analysis): 비율, 백분율 계산 또는 규칙 기반 서브셋 적용.
  4. 구성적 과업 분석(Compositional Task Analysis): 단일 쿼리 내에서 여러 작업(랭킹, 세그먼트화, 비교 등)을 결합.
• 실행 기반 정제(Execution-Based Refinement): 생성된 SQL 쿼리는 원래의 비즈니스 의도를 유지하면서 실행 가능성을 보장하기 위해 데이터베이스 실행 피드백을 사용하는 반복적인 정제 루프를 거친다.
• SQL-질문 변환: 실행 가능한 SQL은 페르소나와 시나리오를 조건으로 하여 자연어 질문으로 변환된다. 질문은 테이블이나 SQL 구문에 대한 명시적 언급을 피하고 비즈니스 중심의 용어를 사용한다.

4. 데이터 품질 평가

본 프레임워크는 두 가지 차원에서 합성된 데이터를 평가하기 위해 LLM-as-a-Judge 접근 방식을 채택한다:

• 질문–SQL 정렬(Question–SQL Alignment): 의미론적 정확성(결과 완결성, 제약 조건 일관성, 구조적 정렬)을 측정한다.
• 질문 현실성(Question Realism): 비즈니스 타당성(비즈니스 목표와의 관련성, 도메인 언어 사용, 자연스러움, 의사결정 가치)을 측정한다.
• 페르소나–질문 정렬(Persona–Question Alignment): (분석용) 질문이 특정 직무 역할의 범위 및 책임과 일치하는지 평가한다.

주요 기여

1. 프레임워크 제안: 스키마 커버리지에서 비즈니스 현실성으로 초점을 전환하여, 페르소나, 업무 시나리오, 워크플로우의 계층적 구조에 데이터 생성을 근거를 둔 새로운 합성 프레임워크를 제안한다.
2. 복잡도 제어 전략: 비즈니스 추론 단계와 패턴을 통해 쿼리 난이도를 정의하고 제어하는 방법을 제시하여, 다양한 분석 복잡도에 걸친 체계적인 데이터 생성을 가능하게 한다.
3. 경험적 검증: 생산 규모의 Salesforce 데이터베이스에 대한 연구를 통해, 합성된 데이터가 높은 비즈니스 현실성과 의미론적 정확성을 달취하는 동시에 최신 Text-to-SQL 모델들의 상당한 성능 격차를 드러냄을 입증하였다.

실험 결과

본 프레임워크는 영업 분석 도메인의 생산 규모 Salesforce 데이터베이스(710개 테이블)를 대상으로 평가되었다.

• 데이터 품질 비교:

  • 비즈니스 현실성: 제안된 방법은 **98.44%**의 질문 현실성(Gemini-3-Pro에 의해 평가됨)을 달성하였으며, 이는 OmniSQL(+19.5%) 및 SQL-Factory(+54.7%)보다 우수한 성과이다.
  • 질문–SQL 정렬: 본 방법은 **98.59%**의 강력한 정렬을 유지하며 기존 방식과 대등하거나 이를 상회하는 성능을 보였다.
  • 인간 평가: 100개의 샘플에 대한 인간 평가에서, **98%**가 현실적이라고 판단되었으며, **89%**가 질문–SQL 정렬 기준을 통과하였다.

• 합성 데이터에 대한 모델 성능:

  • GPT-5, Claude-4.5, Gemini-3-Pro를 포함한 최신 모델들을 합성된 데이터셋으로 평가하였다.
  • 가장 강력한 모델들조차 복잡한 쿼리에서 상당한 성능 저하를 보였다. (생성에 사용된 GPT-5를 제외한) 가장 우수한 모델의 전체 실행 정확도는 **65.79%**에 불고했다.
  • 가장 복잡한 단계(구성적 과업 분석)에서 가장 우수한 모델의 실행 정확도는 **42.86%**에 그쳐, 해당 데이터셋이 도전적이며 쉽게 해결되지 않음을 보여주었다.

• 어블레이션 연구(Ablation Study):

  • 비즈니스 로직 가이드를 제거했을 경우(w/o BL), 질문 현실성이 97.34%에서 63.38%로 하락하여, 비즈니스 컨텍스트 없는 스키마 중심 생성은 비현실적인 쿼리를 생성함을 확인하였다.
  • 복잡도 제어를 제거했을 경우(w/o CC), 추론 복잡도 레벨의 다양성이 감소하였으며, 이는 제어 전략이 균형 잡힌 데이터셋을 생성하는 데 필수적임을 보여준다.

의의 및 주장

본 논문은 현재의 Text-to-SQL 평가 방식이 비즈니스 현실성보다 구문적 다양성을 우선시하기 때문에 프라이빗 BI 환경에서 불충분하다고 주장한다. 비즈니스 로직(페르소나, 시나리오, 워크플로우)을 명시적으로 모델링하고 추론 복잡도를 제어함으로써, 제안된 프레임워크는 의미론적으로 정확하면서도 비즈니스적으로 현실적인 데이터를 생성한다.

저자들은 자신들의 합성 데이터셋이 프라이빗 BI 환경을 위한 더 엄격한 벤치마크 역할을 한다고 단언한다. 실험 결과는 고급 LLM조차 복잡한 다단계 비즈니스 추론에 어려움을 겪고 있음을 드러내며, 이는 해당 분야가 단순한 SQL 패턴 매칭을 넘어 실제 기업의 의사결정 뉘앙스를 다루는 방향으로 나아가야 함을 시사한다. 결론적으로, 본 논문은 향-후 연구가 반복적인 BI 워크플로우를 더 잘 모사할 수 있도록 멀티 턴(multi-turn)의 대화형 분석 과업을 지원하도록 확장되어야 한다고 제언한다.