EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair

이 논문은 데이터베이스 구축, 실행 가능한 환경 생성, 다중 턴 궤적 합성을 담당하는 전문 에이전트들을 조율하여 기능 호출 데이터의 수명 주기를 자동화하고, BFCL-V3 벤치마크의 오류를 식별 및 수정하며 결과 지향 평가 프로토콜을 도입함으로써 모델 성능 평가의 인간적 판단과의 상관관계를 크게 향상시킨 'EigenData'라는 자기 진화형 멀티 에이전트 플랫폼을 제안합니다.

핵심

EigenData: AI 가 스스로 데이터를 만들고, 고치고, 검증하는 '스마트 공장'

이 논문은 **"AI 가 도구를 사용하는 능력 (Function-Calling)"**을 키우기 위해 필요한 데이터를 어떻게 만들고, 어떻게 고칠 것인가에 대한 획기적인 해결책을 제시합니다.

기존 방식은 사람이 일일이 데이터를 만들거나, 단순한 규칙으로 데이터를 생성했는데, 이 방식은 비용이 많이 들고 오류가 많았습니다. 저자들은 이를 해결하기 위해 **EigenData(아이겐데이터)**라는 새로운 플랫폼을 개발했습니다.

이 플랫폼을 이해하기 쉽게 **거대한 '자율 주행 자동차 공장'**에 비유해 설명해 드리겠습니다.

---

1. EigenData 란 무엇인가요? (자율 공장)

기존의 데이터 생성 방식은 수동 공업 같았습니다. 사람이 설계도를 보고 부품을 만들고, 조립하고, 검사하는 방식이죠. 하지만 EigenData 는 **완전 자동화된 '스마트 공장'**입니다.

이 공장은 **3 명의 전문 로봇 (에이전트)**과 **1 명의 공장장 (오케스트레이터)**으로 구성되어 있습니다.

• 공장장 (EigenCore): 전체 공장을 지휘합니다. "호텔 예약 데이터를 만들어줘"라고 명령하면, 어떤 로봇이 무엇을 해야 할지 계획을 세우고 조율합니다.
• 데이터 설계사 (DatabaseAgent): 가상의 세계를 만듭니다. 호텔 예약 시스템이라면, '객실', '손님', '예약 내역'이 담긴 **가상의 데이터베이스 (창고)**를 먼저 만듭니다.
• 코딩 엔지니어 (CodingAgent): 그 데이터를 실제로 작동하게 하는 **소프트웨어 (로봇 팔)**를 만듭니다. "예약하기", "취소하기" 같은 버튼을 누르면 실제로 작동하는 코드를 짭니다. 그리고 스스로 테스트를 돌려서 고장 나면 고칩니다.
• 대화 시나리오 작가 (DataAgent): 이제 실제 사용자 (고객) 와 AI(직원) 가 대화하는 시나리오를 만듭니다. 고객이 "내일 객실 예약해줘"라고 하고, AI 가 예약하는 과정을 수천 번 시뮬레이션하며 데이터를 생성합니다.

이 세 로봇은 서로 대화하며 실수하면 즉시 고치고, 데이터가 맞지 않으면 다시 설계합니다. 이것이 바로 '자기 진화 (Self-Evolving)'의 핵심입니다.

---

2. 왜 이 기술이 필요한가요? (고장 난 시험지)

논문에서는 이 플랫폼을 **BFCL(버클리 함수 호출 리더보드)**이라는 유명한 AI 시험지에 적용해 보았습니다. 결과는 충격적이었습니다.

"기존 시험지 100 문항 중 71 문항이 이미 고장 나 있었다!"

기존 시험지에는 다음과 같은 치명적인 오류들이 숨어 있었습니다:

1. 설계도 오류: "티켓 번호는 숫자여야 한다"고 적혀 있는데, 실제 데이터는 "문자열"로 되어 있어 AI 가 아무리 정답을 맞춰도 틀리게 되는 경우.
2. 로봇 팔 고장: "자동 모드"로 불을 켜라고 했을 때, 코드가 잘못되어 불이 꺼지는 버그가 있는 경우.
3. 정답지 오류: AI 가 정답을 냈는데, 정답지 (Ground Truth) 자체가 잘못되어 AI 를 오답 처리한 경우.

이런 오류 때문에 **실력은 좋은 AI 가 시험에서 떨어지고, 실력은 부족한 AI 가 높은 점수를 받는 '역전 현상'**이 벌어졌습니다. 마치 수학 시험지 답안지에 계산 실수가 있어서, 정답을 낸 학생을 감점하는 꼴입니다.

---

3. EigenData 가 어떻게 문제를 해결했나요? (수리공의 활약)

EigenData 는 이 고장 난 시험지를 자동으로 수리했습니다.

1. 진단: 3 명의 로봇이 협력하여 설계도 (스키마), 코드 (구현), 정답지 (시나리오) 를 샅샅이 훑으며 오류를 찾아냈습니다.
2. 수리:
   • 설계도 오류는 설계사 로봇이 고쳤습니다.
   • 코드 버그는 코딩 엔지니어 로봇이 스스로 테스트를 돌려가며 수정했습니다.
   • 잘못된 정답지는 시나리오 작가 로봇이 다시 작성했습니다.
3. 검증: 수리된 시험지를 다시 돌려보며, AI 가 실제로 일을 잘하는지 확인했습니다.

---

4. 결과는 어땠나요? (진짜 실력 드러나다)

수리된 시험지로 다시 AI 들을 평가한 결과는 놀라웠습니다.

• 기존 시험지: GPT-5.2 같은 모델은 점수가 매우 낮게 나왔지만, 수리된 시험지에서는 실제 인간이 평가한 점수와 거의 일치하게 높게 나왔습니다.
• 기존 시험지: GLM-4.6 같은 모델은 기존 시험지에서는 1 등이었지만, 수리된 시험지와 인간 평가에서는 4 등으로 떨어졌습니다. (기존 시험지의 오류 때문에 운 좋게 점수를 받은 것이었습니다.)

결론적으로, EigenData 가 만든 수리된 시험지는 AI 의 '진짜 실력'을 가장 정확하게 보여주는 거울이 되었습니다.

---

5. 핵심 요약 (한 줄 결론)

"EigenData 는 AI 가 도구를 사용하는 능력을 가르치기 위해, 스스로 데이터를 만들고, 고장 난 시험지를 찾아내어 고치고, AI 의 진짜 실력을 측정하는 '스마트 공장'입니다."

이 기술 덕분에 앞으로는 AI 개발자들이 수천 시간의 수작업 없이도, 오류 없는 고품질 데이터를 얻어 더 똑똑하고 신뢰할 수 있는 AI 를 만들 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기능 호출 (Function-Calling) 에이전트는 도구와 API 를 호출하여 워크플로우를 자동화하는 대형 언어 모델 (LLM) 입니다. 이러한 에이전트의 성능을 극대화하기 위해서는 실행 가능한 환경, 백업 데이터베이스, 그리고 다양한 다중 턴 (multi-turn) 트래젝토리를 포함하는 고품질의 도메인별 훈련 데이터가 필수적입니다. 그러나 현재 다음과 같은 주요 병목 현상이 존재합니다.

• 데이터 부족 및 비용: 고품질 데이터는 여전히 인간 어노테이터에 의존하며, 이는 느리고 비용이 많이 듭니다.
• 자동화 파이프라인의 취약성: 기존 자동화 도구 (예: BFCL, TOUCAN 등) 는 대량의 데이터를 생성할 수 있으나, 다음과 같은 결함을 가집니다.
  • 스키마 버그: 함수 정의나 구현이 부정확하거나 불일치함.
  • 모호한 의도: 사용자 의도가 명확하지 않거나 여러 결과가 가능한 경우 단일 레이블만 존재함.
  • 부족한 평가 지표: 실제 작업 성공 (데이터베이스 상태 변경) 이 아닌, 단순히 턴 수준의 함수 호출 매칭에 의존하여 잘못된 평가를 내림.
• 평가의 왜곡: 이러한 결함으로 인해 모델의 실제 기능적 정확도가 왜곡되고, 벤치마크 순위가 인간 판단과 일치하지 않는 경우가 발생함.

2. 방법론 (Methodology)

저자들은 EigenData라는 통합된 자기 진화형 (Self-Evolving) 멀티 에이전트 플랫폼을 제안합니다. 이 플랫폼은 데이터의 전체 라이프사이클 (환경 구축, 트래젝토리 생성, 품질 보증) 을 자동화하며, EigenCore라는 최상위 오케스트레이터가 세 가지 전문 하위 시스템을 조율합니다.

주요 구성 요소

1. EigenCore (오케스트레이터):

   • 사용자의 요청 (예: "호텔 예약 에이전트 훈련 데이터 생성" 또는 "BFCL 벤치마크 감사") 을 수신하여 작업 그래프로 분해합니다.
   • 하위 시스템 간의 의존성을 관리하고, 교차 구성 요소 피드백을 통해 일관성을 유지하며, 필요시 타겟팅된 재생성 (regeneration) 을 트리거합니다.

2. DatabaseAgent (도메인 데이터베이스 구축):

   • 도메인 명세를 기반으로 현실적이고 내부 일관성이 있는 데이터베이스 (관계형, JSON, 키 - 밸류 등) 를 생성합니다.
   • 스키마 설계, 제약 조건 준수 샘플링, 엣지 케이스 주입, 그리고 일관성 검증을 수행하여 에이전트 트래젝토리 평가의 기준 (Ground Truth) 을 제공합니다.

3. CodingAgent (실행 가능한 환경 및 도구 생성):

   • 생성된 데이터베이스를 기반으로 실행 가능한 도구 구현체 (Python, REST API, MCP 서버 등) 를 생성합니다.
   • 반복적 테스트 - 디버깅 루프를 사용합니다:
     • Stage 1 (단위 테스트): 함수별 단위 테스트 생성 및 실행. 실패 시 JudgeAgent 가 코드 버그인지 테스트 버그인지 판별하여 타겟팅된 수정을 수행.
     • Stage 2 (워크플로우 테스트): 함수 간 의존성 그룹에 대한 통합 테스트 수행.
   • 모든 아티팩트는 DataAgent 로 전달되기 전 검증됩니다.

4. DataAgent (다중 턴 트래젝토리 생성 및 감사):

   • 생성된 환경과 데이터베이스를 기반으로 고품질의 다중 턴 대화 데이터를 생성하거나 기존 데이터를 감사/수정합니다.
   • 계층적 에이전트 구조: RandomPoolAgent(시나리오 생성), UserIntentAgent(의도 구체화), ToolGraphComposer/Executor(도구 사용 계획 및 실행), UserSimulator/TrajectoryAgent(대화 생성), VerificationAgent(검증) 등으로 구성됨.
   • 자기 진화 프로세스 (Self-Evolving):
     • Phase 1: 소규모 샘플 배치에 대해 프롬프트와 에이전트 행동을 반복적으로 최적화 (JudgeAgent 피드백 기반).
     • Phase 2: 최적화된 프롬프트를 사용하여 전체 데이터셋을 대규모로 생성하며 품질을 모니터링.

핵심 혁신: 결과 인식 평가 프로토콜 (Outcome-Aware Evaluation)

기존의 턴 단위 매칭 대신, VerificationFunctionAgent가 생성한 프로그램적 검증 함수를 통해 최종 데이터베이스 상태의 정확성과 작업 성공 여부를 평가합니다.

3. 주요 기여 (Key Contributions)

1. EigenData 플랫폼 제안: 환경 구축부터 트래젝토리 생성, 품질 보증까지 전 과정을 자동화하는 통합 멀티 에이전트 아키텍처를 최초로 제시했습니다.
2. BFCL-V3 벤치마크 감사 및 수리: Berkeley Function-Calling Leaderboard (BFCL) 의 다중 턴 세트를 대상으로 EigenData 를 적용하여 다음과 같은 체계적 오류를 발견하고 수정했습니다.
   • 스키마 오류 (19.5%): 파라미터 타입 불일치, 누락된 필수 파라미터 등.
   • 구현 오류 (45.5%): 논리 오류, 잘못된 입력 처리, 상태 관리 버그 등.
   • 트래젝토리/평가 오류 (41.0%): 과도하게 엄격한 평가, 잘못된 Ground Truth 레이블, 대안 해결 경로 누락 등.
   • 결과: 전체 200 개 항목 중 **71.5%**에 해당하는 오류를 식별 및 수정했습니다.
3. 새로운 평가 지표: 함수 호출 매칭이 아닌, **작업 성공 (Outcome-Aware)**을 기반으로 한 평가 프로토콜을 도입하여 모델 순위가 인간 판단과 더 높은 상관관계를 보이도록 했습니다.
4. 오픈소스 도구: EigenData 의 핵심 기능을 명령줄 인터페이스 (CLI) 로 공개하여 실제 활용성을 높였습니다.

4. 실험 결과 (Results)

수리된 벤치마크 (BFCL-v3) 와 새로운 평가 지표를 사용하여 5 개의 최첨단 모델을 평가한 결과는 다음과 같습니다.

• 모델 순위의 정합성:
  • 기존 BFCL 순위와 수리된 벤치마크 순위 간에는 큰 차이가 있었습니다. 특히, 기존 벤치마크의 오류로 인해 과소평가되었던 모델 (예: GPT-5.2) 은 수리 후 인간 평가와 일치하는 높은 점수를 받았습니다.
  • 반대로, 기존 벤치마크 패턴에 맞춰 과대평가되었던 모델 (예: GLM-4.6) 은 수리 후 순위가 하락하여 실제 능력을 더 정확히 반영했습니다.
• 인간 평가와의 상관관계:
  • 수리된 벤치마크의 'All Three' 지표 (설정 매칭 + 핵심 함수 호출 + LLM 어드바이저 승인) 는 인간 어노테이터의 판단과 순위가 거의 일치했습니다.
  • 기존 벤치마크는 인간 평가와 순위가 불일치하는 경우가 많았으나, EigenData 를 통한 수리 후 이 격차가 해소되었습니다.
• 오류 분석:
  • 다중 턴 기능 호출은 여러 독립적인 실패 모드를 가집니다. 단일 지표 (예: 함수 호출만 확인) 는 모델의 능력을 과대평가할 수 있으며, 'All Three'와 같은 다차원 평가가 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 기능 호출 에이전트 개발의 핵심 병목 현상인 데이터 품질과 평가의 신뢰성 문제를 해결하기 위한 새로운 패러다임을 제시합니다.

• 자동화된 데이터 수명 주기 관리: 단순한 데이터 생성을 넘어, 기존 데이터셋의 오류를 자동으로 감지하고 수정하는 '자기 진화' 능력을 입증했습니다.
• 신뢰할 수 있는 벤치마크: 기존 벤치마크가 가진 체계적 편향을 제거하여, 모델 개발자와 연구자가 실제 기능적 정확도에 기반한 신뢰할 수 있는 평가를 할 수 있게 합니다.
• 실용적 적용: CLI 를 통해 다양한 도메인에 쉽게 적용 가능하며, 향후 더 큰 규모의 벤치마크와 다양한 평가 패러다임으로 확장될 잠재력을 가지고 있습니다.

결론적으로, EigenData 는 LLM 기반 에이전트의 발전에 있어 고품질 데이터와 공정한 평가가 어떻게 상호작용하며 모델의 진정한 능력을 끌어올리는지를 보여주는 중요한 사례 연구입니다.