기술 요약: AgentNLQ – 자연어에서 SQL 로의 일반 목적 에이전트

1. 문제 제기

대형 언어 모델 (LLM) 의 급속한 발전에도 불구하고, 자연어 (NL) 질문을 실행 가능한 SQL 쿼리로 변환하는 작업 (NL2SQL) 은 여전히 기업들에게 중요한 과제로 남아 있습니다. LLM 이 SQL 작성의 많은 측면을 자동화했지만, 정확도 측면에서 인간 전문가 작성자와 동등한 수준을 달성하는 데는 자주 실패합니다. 이 격차는 현재 단일 인스턴스 LLM 접근 방식의 여러 한계에서 비롯됩니다:

• 맥락 부족: 표준 모델은 종종 특정 데이터베이스 스키마, 테이블 관계, 비즈니스 규칙에 대한 심층 지식이 부족합니다.
• 추론 결핍: 복잡한 조인 (join) 과 집계 (aggregation) 에 필요한 다단계 추론에 어려움을 겪습니다.
• 검증 문제: 실행 피드백에 기반하여 자신의 출력을 신뢰할 수 있게 검증하거나 스스로 수정하는 데 종종 실패합니다.
• 스키마 복잡성: 실제 기업용 데이터베이스는 진화하는 요구 사항, 복잡한 조인 경로, 모호한 요청을 포함하며, 이는 최적화된 벤치마크 환경에 비해 낮은 정확도로 이어집니다.

이 논문은 생산 환경에서 정확한 SQL 쿼리를 생성하려면 단순한 프롬프트 엔지니어링을 넘어 계획, 반성, 자기 수정이 가능한 다중 에이전트 시스템으로 나아가야 한다고 주장합니다.

2. 방법론: AgentNLQ 프레임워크

AgentNLQ 는 다중 에이전트 오케스트레이션, 자동화된 메타데이터 생성, 다중 모델 구성을 통합한 에이전트형 솔루션입니다. 이 시스템은 **메타데이터 생성 (오프라인)**과 **추론 (온라인)**이라는 두 가지 주요 단계로 운영됩니다.

2.1 오프라인 메타데이터 생성

추론 전에 오프라인 파이프라인이 사용자의 데이터베이스 스키마를 처리하여 "풍부한 스키마 표현"을 생성합니다. 이 과정은 다음을 포함합니다:

• 통계적 집계: null 개수, 고유 값, 예시 값과 같은 데이터 특성을 계산합니다.
• 키 추출: 기본 키와 외래 키를 검색하거나 유도합니다.
• LLM 기반 풍부화: 사용자가 제공한 도메인 지식과 비즈니스 규칙을 통합하여 테이블과 열에 대한 밀집하고 정보량이 풍부한 설명을 생성하기 위해 LLM 을 사용합니다.
• 벡터 인덱싱: 추론 중 의미 검색을 용이하게 하기 위해 이 풍부화된 메타데이터를 임베딩합니다.

2.2 추론 단계

추론 과정은 사용자의 NL 질문에서 개체를 추출하고 벡터 검색을 통해 관련 스키마 요소를 검색하는 것으로 시작됩니다. 스키마가 모델의 컨텍스트 창에 들어갈 만큼 작다면 전체 풍부화된 스키마가 사용되지만, 그렇지 않으면 벡터 검색이 상위 k 개의 관련 열을 검색합니다.

시스템의 핵심은 다중 에이전트 워크플로우를 관리하는 커스텀 오케스트레이터로, 다음을 특징으로 합니다:

• 이중 루프 추론 (시스템 1 및 시스템 2):
  • 시스템 1 (빠른 루프): 오케스트레이터 자체가 컴팩트한 "팩트 시트"와 간소화된 실행 피드백을 사용하여 쿼리를 해결하려고 시도합니다. 빠른 구문 유효성 검사 및 실행을 수행합니다. 구성 가능한 시도 횟수 (기본값: 2) 내에 실패하면 에스컬레이션됩니다.
  • 시스템 2 (느린 루프): 복잡한 쿼리를 위해 활성화된 전용 SQL 생성기 에이전트입니다. 전체 풍부화된 메타데이터와 실패한 시도 이력에 접근하여 정제된 쿼리를 구성하기 위해 상세한 사고의 사슬 (Chain-of-Thought, CoT) 프로세스를 활용합니다.
• 실행 기반 피드백: 추상적인 자기 평가를 대신하여 시스템은 구문 분석 (SQLGlot 를 통해), 라이브 데이터베이스 실행, 결과 집합 휴리스틱 (예: 행 수 확인) 과 같은 구체적인 신호를 통해 모든 후보 쿼리를 검증합니다.
• 구조화된 컨텍스트 압축: 반복적인 재시도 중 "컨텍스트 부패"를 방지하기 위해 에이전트는 원본 대화 기록을 다음을 포함하는 구조화된 요약으로 압축합니다: 원본 질문, 결과와 함께 시도한 이력, 최신 오류, 실패한 전략을 피하기 위한 지시사항. 스키마 메타데이터는 인라인 주석이 포함된 컴팩트한 DDL 형식으로 렌더링됩니다.
• 가드레일: 기능적 가드레일은 데이터 조작 언어 (DML) 작업 (INSERT, UPDATE, DELETE 등) 을 엄격히 방지하여 에이전트가 읽기 전용 쿼리만 생성하도록 보장합니다.

2.3 도구 및 아키텍처

이 시스템은 벡터 유사성 검색 및 SQL 실행을 위한 원자적 도구를 정의하기 위해 모델 컨텍스트 프로토콜 (MCP) 서버를 활용합니다. 상위 수준의 에이전트 도구는 키워드 검색 및 쿼리 실행과 같은 작업을 커스텀 로직으로 처리합니다. 이 아키텍처는 다중 모델 구성을 지원하며, 각 작업에서 최상의 성능을 발휘하는 특정 LLM(예: 계획용 OpenAI GPT-4o, 코드 생성용 Anthropic Claude Opus 4.1) 을 할당합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 식별합니다:

1. 최적화된 다중 에이전트 오케스트레이터: 이중 루프 (시스템 1/시스템 2) 전략을 사용하는 도메인 특화형, 장부 기반 오케스트레이터입니다. 불변의 목표 계획용 "태스크 장부"와 동적 추론용 "진행 장부"를 사용하여 Magentic One 과 같은 범용 오케스트레이터의 오버헤드 없이 효율적인 계획, 반성, 자기 수정을 가능하게 합니다.
2. 고급 스키마 풍부화: 통계 데이터, 키 매핑, LLM 생성 설명을 사용자가 제공한 비즈니스 규칙과 결합하여 컨텍스트 인식 메타데이터를 생성하는 방법입니다. 이 풍부화는 복잡한 스키마에 대한 모델의 이해를 크게 향상시킵니다.
3. 입증된 일반화 능력: 이 방법은 11 개의 다양한 도메인 (금융, 의료, 스포츠 포함) 에 걸쳐 BIRD-SQL 벤치마크에서 평가되었으며, 훈련 도메인을 넘어선 견고한 정확도와 일반화 능력을 입증했습니다.

4. 결과

이 시스템은 BIRD-SQL 벤치마크(특히 11 개 도메인 전체 개발 세트 및 금융 개발 세트) 에서 평가되었습니다.

• 정확도: AgentNLQ 는 BIRD 벤치마크에서 78.1% 의 의미론적 정확도를 달성했습니다. 이는 기준 구성에 비해 상당한 개선을 나타냅니다:
  • 기준 (GPT-4o, 오케스트레이션/풍부화 없음): 60.2%
  • 동적 오케스트레이션 및 벡터 검색 포함: 약 68–72%
  • 다중 모델 에이전트 (GPT-4o + Opus 4.1) 포함: 76.4%
  • 커스텀 오케스트레이터 및 구조화된 컨텍스트 압축 포함: 78.1%
• 인간 전문가와의 비교: BIRD 리더보드에서 인간 전문가는 약 93% 의 정확도를 달성하지만, AgentNLQ 는 표준 LLM 접근 방식에 비해 이 격차를 크게 좁힙니다.
• 지연 시간: 커스텀 오케스트레이터는 컨텍스트 관리를 최적화하고 불필요한 반복을 줄임으로써 이전 반복에 비해 지연 시간을 크게 단축했습니다 (예: Claude Opus 4.1 구성의 경우 P50 지연 시간이 약 134 초에서 약 10 초로 감소).
• 토큰 효율성: 구조화된 컨텍스트 압축은 금융 데이터셋에서 토큰 사용량을 약 19.8% 감소시켰습니다.

5. 중요성 및 주장

이 논문은 AgentNLQ 가 임시적이고 작업별 솔루션에서 NL2SQL 을 위한 일반화 가능하고 기업급 프레임워크로의 전환을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

• 정확도 격차 해소: 스키마 풍부화, 벡터 검색, 특화된 다중 에이전트 추론 루프를 통합함으로써 시스템은 복잡하고 실제적인 시나리오에서 인간 전문가의 성능에 근접하는 정확도 수준을 달성합니다.
• 확장성 및 견고성: 이 시스템은 각 새로운 데이터베이스에 대한 수동 재튜닝이 필요 없이 대규모 스키마와 다양한 도메인을 처리하며, 구조화된 컨텍스트 압축 및 검색을 통해 "건초더미 속의 바늘" 문제를 해결합니다.
• 안전성 및 신뢰성: 기능적 가드레일 및 실행 기반 피드백의 구현은 시스템이 기업 배포에 안전하도록 보장하며, 데이터 수정을 방지하고 환각을 줄입니다.

저자들은 LLM 이 여전히 매우 복잡한 쿼리에 대한 정확한 코드를 생성하는 데 한계가 있지만, 에이전트 오케스트레이션, 풍부화된 컨텍스트, 그리고 (중요한 애플리케이션의 경우) 인간 개입 감독의 조합이 생산 환경에서 SQL 생성 자동화를 위한 실현 가능한 다음 단계라고 결론지었습니다.