기술 요약: DataClawEval

문제 정의

대규모 언어 모델(LLM)과 자율 에이전트가 소프트웨어 엔지니어링 및 Text-to-SQL 작업에서 유망한 가능성을 보여주었으나, 엔드 투 엔드(end-to-end) 엔터프라이즈 데이터 엔지니어링 영역은 기존 벤치마크에서 여전히 미개척 상태로 남아 있습니다. 현재의 평가 노력은 대개 단일 역량만을 격리하여 측정합니다. Text-to-SQL 벤치마크(예: BIRD, Spider 2.0)는 고정된 스키마에 대한 쿼리 생성에 집중하며, 코드 실행 벤치마크(예: InfiAgent-DABench)는 배포 가능한 파이프라인보다는 분석적 답변을 측정하고, 탐색적 분석 벤치마크는 프로덕션급 엔지니어링 워크플로우의 엄격함이 부족합니다.

실제 데이터 엔지니어링은 이러한 작업들과 근본적으로 다릅니다. 이는 에이전트가 데이터베이스 스키마를 조사하고, 비즈니스 의미론을 이해하며, 변환 로직을 추론하고, 이기종 엔진(배치 및 스트리밍) 전반에 걸쳐 실행 가능한 프로그램을 구현하며, 런타임 오류를 반복적으로 디버깅하고, 프로덕션 출력을 검증할 것을 요구합니다. 기존 벤치마크는 이러한 복잡성을 포착하지 못하며, 현실적인 ETL 작업, 멀티 엔진 지원, 재현 가능한 런타임 환경, 그리고 단순한 최종 답변이 아닌 전체 엔지니어링 프로세스를 검증하는 결정론적 프로토콜이 결여되어 있습니다.

방법론

데이터셋 구축: DataClawEval

저자들은 자율 데이터 엔지니어링 에이전트를 위해 특별히 설계된 최초의 실행 가능한 벤치마크인 DataClawEval을 소개합니다. 이 데이터셋은 텐센트(Tencent)의 전문 엔터프라이즈 데이터 엔지니어들이 작성한 프로덕션급 코드를 기반으로 한 100개의 엄격한 엔드 투 엔드 태스크로 구성됩니다.

• 범위: 태스크는 PySpark, MySQL, HiveSQL, PrestoSQL/Trino, FlinkSQL의 다섯 가지 실행 엔진을 아우릅니다. 이는 오프라인(배치) 및 온라인(스트리밍) 워크로드를 모두 포함합니다.
• 도메인: 태스크는 운영 및 리소스 거버넌스, 데이터 분석 및 사용자 성장, 보안 및 리스크 관리, 콘텐츠 및 커뮤니티, 광고 및 마케팅의 다섯 가지 비즈니스 도메인에서 추출되었습니다.
• 구축 파이프라인: 저자들은 정답 식별이 가능한 태스크를 보장하기 위해 human-in-the-loop(인간 참여형) 방법론을 채택했습니다:
  1. 큐레이션(Curation): 고품질의 프로덕션 코드를 비식별화, 중복 제거 및 계층화합니다.
  2. 재구성(Reconstruction): LLM이 그라운드 트루스(ground-truth) 코드에 기반하여 사용자 의도를 추론하고 입력 테이블을 합성합니다.
  3. 반복 검증(Iterative Validation): 차분 테스트(differential testing) 루프를 통해 합성된 입력이 그라운드 트루스 구현을 고유하게 특징짓는지 확인합니다. 인간 전문가가 코드를 변형하여 잘못된 구현이 구별 가능한 결과를 생성하는지 검증합니다.
  4. 채점 스크립트(Grading Scripts): 스키마 정확성, 수치적 정확도 및 비즈니스 로직을 평가하기 위해 전문가가 케이스별 결정론적 채점 스크립트를 개발합니다.
  5. 최종 감사(Final Audit): 도메인 전문가가 의도, 입력, 코드 및 채점 기준의 일관성을 검증합니다.

평가 프레임워크

DataClawEval은 정보 유출을 방로하고 재현성을 보장하기 위해 격리된 케이스별 Docker 컨테이너 내에서 작동합니다.

• 산출물 중심 평가(Artifact-Oriented Evaluation): 소스 코드를 비교하는 대신, 프레임워크는 비즈니스 특정 기준에 따른 생성된 데이터 산출물(테이블/파일)의 정확성을 평가합니다.
• 프로세스 중심 평가(Process-Oriented Evaluation): 프레임워크는 에이전트의 실행 궤적을 추적하여 탐색의 적절성, 실행 효율성 및 자기 검증 행동을 측정합니다.
• 스코어링(Scoring): 최종 점수는 가중치가 적용된 조합($Score = \alpha S_{artifact} + (-\alpha) S_{process}$)이며, 대부분의 경우 $\alpha=0.7$로 설정하여 최종 정확도를 우선시하되 효율적인 엔지니어링 프로세스에 보상을 줍니다.
• 결정론적 채점(Deterministic Grading): 저자들은 체계적인 점수 인플레이션, 비결정성 및 편향을 이유로 "LLM-as-a-Judge" 방식을 명시적으로 거부합니다. 대신 라이브 데이터베이스에 출력을 실행하는 규칙 기반 스크립트를 활용합니다.

주요 결과

저자들은 통합 에이전트 하네스(Tencent CodeBuddy)를 사용하여 16개의 최첨단 LLM 기반 에이전트(GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro, DeepSeek V4 등 포함)를 평가했습니다.

1. 상당한 여지(Significant Headroom): 이 분야는 아직 포화 상태가 아닙니다. 가장 강력한 모델인 GPT-5.5조차 전체 점수가 74.9/100에 불과하여, 개선의 여지가 상당함을 나타냈습니다.
2. 지배적인 모델의 부재: 모든 엔진에 대해 지배적인 단일 모델은 존재하지 않습니다. 성능은 엔진별로 매우 상이합니다:
   • MySQL이 가장 쉬웠습니다 (모든 에이전트가 74점 이상 기록).
   • HiveSQL이 가장 어려웠습니다 (어떤 에이전트도 69.8점을 넘지 못했으며, 일부는 60점 미만으로 떨어졌습니다).
   • PySpark와 FlinkSQL은 유능한 에이전트와 취약한 에이전트를 효과적으로 구분하며 가장 큰 성능 격차를 보였습니다.
3. 토큰 비용 vs 품질: 토큰 소비량과 솔루션 품질 사이에는 양의 상관관계가 없습니다. 일부 모델(예: Gemini 3.5 Flash)은 중간 수준의 점수를 얻으면서도 훨씬 더 많은 토큰을 소비하는 반면, 다른 모델(예: GPT 5.5)은 더 낮은 토큰 예산으로 최상위 정확도를 달성했습니다.
4. 안정성 문제: 반복 실행 결과, 높은 피크 성능이 견고함을 보장하지는 않는다는 것이 드러났습니다. Hy3와 같은 모델은 최선과 최악의 실행 간에 큰 점수 차이를 보였으며, 여러 에이전트에서 pass^3(3번의 실행 모두 성공)는 pass@3(3번 중 한 번이라도 성공)보다 현저히 낮았습니다.
5. 도구 호출 효율성(Tool Call Efficiency): 도구 호출 빈도는 성공과 상관관계가 없었습니다. 선두 그룹의 에이전트들은 더 적은 도구 호출로 높은 점수를 달성한 반면, 비효적인 에이전트들은 산출물을 개선하지 못한 채 호출만 누적했습니다.

의의 및 주장

본 논문은 DataClawEval이 실제 산업 데이터 엔지니어링 시나리오에서 자율 에이전트를 평가하는 새로운 표준을 확립한다고 주장합니다. 주요 기여는 다음과 같습니다:

• 최초의 실행 가능한 벤치마크: 단순한 코드 스니펫 생성을 넘어, 에이전트가 엔드 투 엔드 워크플로우(스키마 조사, 코딩, 디버깅 및 자료화)를 완료해야 하는 실제 상업용 데이터 소스에 기반한 최초의 벤치마크입니다.
• 결정론적, 규칙 기반 평가: LLM 판사를 대신하여 케이스별 실행 가능한 채점 스크립트를 사용함으로써, 신뢰할 수 있고 세밀하며 재현 가능한 에이전트 능력 평가를 제공합니다.
• 도메인 특화성 노출: 본 평가는 현재의 에이전트들이 전능한 숙련도가 아닌 엄격한 도메인 특화 능력을 갖추고 있음을 드러내며, 성능이 특정 실행 엔진에 크게 의존함을 보여줍니다.
• 신뢰성 격차: 결과는 자율 데이터 엔지니어링이 여전히 까다롭고 해결되지 않은 과제임을 강조하며, 현재의 모델들이 무인 프로덕션 워크로드에 필요한 안정성과 효율성이 부족함을 보여줍니다.

저자들은 이 중요한 분야의 추가 연구를 촉진하기 위해 데이터셋, 컨테이너화된 환경 및 결정론적 평가 스크립트를 공개합니다.