💬 NLP

Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation

이 논문은 컨테이너화된 엔터프라이즈 API 복제본과 상태 차이를 기반으로 한 평가 계약을 활용하여, 실제 환경의 상호작용 구조를 유지하면서도 통제된 조건에서 LLM 에이전트의 코드 실행 기반 업무 수행 능력을 평가하는 새로운 벤치마크 프레임워크인 'Agent-Diff'를 제안합니다.

원저자: Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

게시일 2026-03-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

Agent-Diff: AI 비서들의 '실전 업무 능력' 시험지

이 논문은 **"대형 언어 모델 (LLM) 이 실제로 기업용 소프트웨어 (슬랙, 구글 캘린더 등) 를 다룰 때 얼마나 잘하는지"**를 측정하는 새로운 시험 방법, Agent-Diff를 소개합니다.

기존의 AI 평가 방식은 마치 "가상 현실에서 요리하기"를 시키는 것과 비슷했습니다. 하지만 Agent-Diff 는 "실제 주방에서 진짜 재료를 써서 요리하게 하고, 결과물만 보고 점수를 매기는" 방식을 도입했습니다.

이 혁신적인 방식을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

1. 실험실 vs. 실제 주방: "가짜 감자"가 아닌 "진짜 감자"

기존의 AI 시험들은 대부분 **가상 환경 (샌드박스)**에서 진행되었습니다.

기존 방식: AI 에게 "감자를 깎아라"라고 시키는데, 실제로는 가짜 플라스틱 감자를 주고, AI 가 "깎는 시늉"만 하면 점수를 줍니다.
문제점: AI 가 플라스틱 감자를 깎는 법을 외웠을 뿐, 진짜 감자를 깎을 줄 모를 수 있습니다.

Agent-Diff 의 방식:

실제 API 복제: 연구팀은 실제 기업용 서비스 (슬랙, 박스 등) 와 **완전히 똑같은 '복제본 (Container)'**을 만들었습니다.
비유: AI 에게 진짜 감자를 주고, **진짜 주방 (복제된 서버)**에서 요리하게 합니다. AI 는 자신이 실제 주방에 있는 줄 알고 코드를 짜고 명령을 내립니다.
결과: AI 가 실제로 감자를 잘 깎아내는지, 아니면 감자를 바닥에 떨어뜨리는지 실제 결과로만 판단합니다.

2. 과정이 아닌 결과: "요리 실력"을 보는 '상태 차이 (State-Diff)'

과거에는 AI 가 "어떤 버튼을 눌렀는지 (과정)"를 따라가며 점수를 매겼습니다. 하지만 AI 는 같은 결과를 내기 위해 여러 가지 다른 방법을 쓸 수 있습니다.

기존 방식 (과정 추적): "AI 가 칼을 3 번 움직였으니 점수 10 점!" (하지만 감자는 여전히 통째로 남아있을 수 있음)
Agent-Diff 방식 (상태 차이): "요리 전에는 감자가 1 개였는데, 요리 후에는 감자 조각이 5 개가 되었으니 점수 10 점!"

이를 **State-Diff(상태 차이)**라고 합니다.

비유: 시험 감독관이 AI 가 칼을 어떻게 움직였는지 지켜보지 않고, 요리 시작 전과 끝난 후의 접시 내용물만 비교합니다.
핵심: "내가 원하는 대로 감자가 잘렸나요?"가 오직 중요한 질문입니다. 만약 AI 가 감자는 잘 깎았는데, 옆에 있던 소금통을 깨뜨렸다면 (원치 않는 부작용), 그건 실패로 간주합니다.

3. 설명서 유무 테스트: "외우기" vs "학습하기"

이 연구는 AI 가 설명서 (API 문서) 를 봤을 때와 안 봤을 때의 실력을 비교했습니다.

상황 A (설명서 없음): AI 는 처음 보는 메뉴판을 보고 "어? 이 버튼이 뭐지?"라고 추측하며 시도해봐야 합니다.
상황 B (설명서 제공): AI 는 메뉴판을 보고 정확한 레시피를 찾아 요리합니다.

주요 발견:

새로운 기능: 만약 AI 가 훈련 데이터에 없는 **완전히 새로운 기능 (예: 최신 Box 의 'Hub' 기능)**을 다뤄야 한다면, 설명서가 있을 때와 없을 때의 실력 차이가 **엄청나게 큽니다.**这说明 AI 는 단순히 과거 지식을 외우는 것이 아니라, 새로운 정보를 보고 적응하는 능력이 중요하다는 것을 보여줍니다.
잘하는 AI vs 못하는 AI:
- 잘하는 AI (DeepSeek, Devstral 등): 실수했을 때 "아, 내가 실수했네. 다른 방법을 써보자"라고 적극적으로 문제를 해결합니다.
- 못하는 AI: 같은 실수를 반복하거나, "어?成功了!"라고 **거짓말 (할루시네이션)**을 하며 끝냅니다.

요약: 이 연구가 왜 중요한가요?

진짜 실력을 본다: AI 가 가상 환경이 아닌, 실제 기업 업무 환경에서도 잘 작동하는지 검증합니다.
결과 중심 평가: AI 가 뭘 했는지보다 무엇을 성취했는지에 집중합니다.
새로운 기준 제시: AI 가 새로운 도구를 보고 얼마나 빨리 적응하는지, 그리고 실수를 어떻게 고치는지 분석할 수 있는 기준을 마련했습니다.

결론적으로, Agent-Diff는 AI 비서들에게 "가상의 시험지"가 아닌 **"실제 업무 현장에서의 생존 능력"**을 평가하는 새로운 기준이 될 것입니다. 앞으로 우리가 AI 를 업무에 도입할 때, 이 시험 점수가 높은 AI 를 선택하면 더 신뢰할 수 있을 것입니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반 에이전트가 실제 기업용 소프트웨어 (Slack, Box, Linear, Google Calendar 등) 의 API 를 통해 작업을 수행할 때, 기존 벤치마크는 다음과 같은 한계를 가지고 있습니다.

환경적 타당성 vs. 재현 가능성의 트레이드오프:
- 샌드박스/모의 환경: 재현이 쉽지만 실제 API 의 복잡한 동작을 반영하지 못해 실제 성능을 과소평가하거나 과대평가할 수 있습니다.
- 실제 서비스 (Live Services): 현실적이지만, 시간적 불안정성 (Temporal Instability) 으로 인해 동일한 테스트를 반복하기 어렵고, 정답 (Ground Truth) 을 동적으로 추출해야 하는 복잡성이 있습니다.
평가 지표의 부재: 기존 벤치마크는 에이전트가 호출한 도구 (Tool) 의 순서 (Trace) 나 파라미터 매칭에 의존합니다. 이는 동등한 다른 해결 전략을 배제하거나, 의도한 상태 변화가 달성되었는지 여부와 무관하게 실패를 판단할 수 있습니다. 또한, 원치 않는 부작용 (Side Effects) 을 감지하지 못합니다.
코드 실행 능력 평가 부족: 기업 생산성 도구에서 에이전트가 코드를 작성하고 실행하여 복잡한 워크플로우를 orchestration 하는 능력을 측정하는 체계적인 벤치마크가 부족합니다.

2. 방법론 (Methodology)

저자들은 Agent-Diff라는 새로운 벤치밍 프레임워크를 제안하며, 이는 실제 API 인터페이스에 접근하되 실행 환경을 샌드박스화하여 두 접근법의 장점을 결합합니다.

A. 핵심 아키텍처 및 기술

컨테이너화된 API 복제본 (Containerized API Replicas):
- 실제 기업 서비스 (Slack, Box, Linear, Google Calendar) 의 API 를 PostgreSQL 기반의 샌드박스 환경에서 정밀하게 복제합니다.
- 에이전트가 작성한 코드 (Bash/Python) 는 이 샌드박스 내에서 실행되며, 모든 네트워크 트래픽은 실제 API 가 아닌 로컬 복제본으로 라우팅됩니다.
- 각 실행은 독립적인 스키마 (Namespace) 에서 이루어져 교차 오염을 방지하고 재현성을 보장합니다.
상태 차분 계약 (State-Diff Contract):
- 과정 (Process) 과 결과 (Outcome) 의 분리: 에이전트가 어떤 API 를 호출했는지 (Trace) 가 아니라, 작업 전후의 시스템 상태 변화에 초점을 맞춥니다.
- 평가 로직: 작업 시작 전 ( $T_{before}$ $T_{b e f or e}$ ) 과 종료 후 ( $T_{after}$ $T_{a f t er}$ ) 의 데이터베이스 스냅샷을 비교하여 상태 차분 ( $\Delta S$ $Δ S$ ) 을 계산합니다.
  - $\Delta_{add}$ : 추가된 엔티티
  - $\Delta_{del}$ : 삭제된 엔티티
  - $\Delta_{mod}$ : 수정된 엔티티
- 폐쇄적 세계 가정 (Closed-World Invariant): 예상된 상태 변화 외에 다른 리소스가 수정되거나 삭제되면 (부작용), 작업은 실패로 간주됩니다. 이는 에이전트가 의도치 않은 데이터를 건드리지 않았는지 검증합니다.
벤치마크 태스크 생성:
- 4 가지 기업 서비스 (Box, Slack, Linear, Calendar) 를 대상으로 224 개의 태스크를 생성했습니다.
- 태스크는 작업 지평 (Horizon, API 호출 횟수), 작업 프로필 (검색, 생성, 읽기, 업데이트, 삭제), 엔티티 범위 (단일/다중), 정보 가용성 (명시적/암시적), 모호성 (Low/Medium/High) 등의 차원으로 분류됩니다.
- 특히 66% 의 태스크에서 에이전트는 프롬프트에 ID 가 주어지지 않고 API 쿼리를 통해 식별자를 찾아야 하는 암시적 정보 (Implicit Information) 환경을 다룹니다.

3. 주요 기여 (Key Contributions)

새로운 평가 패러다임: 에이전트 평가의 표준을 '호출 순서 매칭'에서 '상태 변화 검증'으로 전환했습니다. 이는 더 강력한 평가 기준을 제공하며, 부작용을 감지할 수 있게 합니다.
재현 가능한 생태학적 타당성: 실제 API 인터페이스를 사용하면서도 컨테이너화된 환경을 통해 재현 가능성과 통제된 실험 조건을 동시에 확보했습니다.
대규모 벤치마크 및 데이터셋: 9 개의 다양한 LLM 모델에 대해 224 개의 복잡한 기업 API 태스크를 수행하고 평가한 최초의 데이터셋을 공개했습니다.
문서화 (Documentation) 의 영향 분석: API 문서 유무가 에이전트 성능에 미치는 영향을 체계적으로 분석한 실험을 수행했습니다.

4. 실험 결과 (Results)

9 개의 모델 (DeepSeek-v3.2, Devstral, Qwen, Kimi, Grok, Gemini, GPT, Claude, Llama) 을 대상으로 실험을 진행했습니다.

모델 성능 순위:
- Top Tier: DeepSeek-v3.2 (88.1 점) 와 Devstral-2512 (86.0 점) 가 압도적인 성능을 보였습니다.
- Bottom Tier: Llama-4-Scout (38.0 점) 과 Claude-Haiku-4.5 (49.3 점) 는 50% 미만의 점수로 하위권을 형성했습니다.
- 서비스별로는 Linear 가 가장 예측 가능한 CRUD 패턴으로 높은 점수를 받았고, Calendar 는 시간적 추론 (Temporal Reasoning) 과 자유/바쁨 (Free/Busy) 쿼리로 인해 많은 모델에게 어려웠습니다.
비용 효율성:
- Grok-4.1-Fast는 테스트당 $0.01 의 비용으로 가장 높은 비용 효율성 (Score/$ = 7,489) 을 보였습니다.
- 반면 Claude-Haiku-4.5는 비용이 가장 비싸면서도 성능이 낮아 비용 효율성이 매우 낮았습니다.
문서화 (Documentation) 의 영향:
- 성공률 (Pass Rate) 증가: 관련 API 문서를 제공했을 때 성공률은 평균 +7.0%p 증가했습니다.
- 점수 (Score) 의 한계: 그러나 복잡한 다단계 태스크에서의 점수 향상은 미미했습니다. 문서는 단순 태스크 완성을 돕지만, 복잡한 추론 능력의 부족을 보완하지는 못했습니다.
- 신규 API (Box Hub) 테스트: 2025 년 7 월에 출시된 Box Hub API 는 대부분의 모델 학습 데이터에 포함되지 않았습니다. 이 태스크에서 문서 제공 시 성능이 극적으로 향상 (+19.0 점) 되었으며, 이는 문서가 새로운 지식 학습에 필수적임을 보여줍니다.
오류 및 복구 전략 분석:
- 주요 오류: 추론 실패 (Reasoning Failures, 53.6%) 와 파라미터 오류 (Parameter Errors, 43.3%) 가 가장 흔했습니다.
- 성공적인 모델의 특징: 상위권 모델은 실패 시 lookup_correct_value(올바른 값 조회) 나 break_into_steps(작은 단계로 분해) 와 같은 적응형 전략을 사용했습니다.
- 실패하는 모델의 특징: 하위권 모델은 retry_same(동일한 행동 반복) 을 빈번히 사용하여 실패를 반복했습니다.

5. 의의 및 결론 (Significance)

실제 환경 평가의 표준 제시: Agent-Diff 는 기업용 SaaS 환경에서 LLM 에이전트의 실제 능력을 평가하기 위한 가장 엄격하고 재현 가능한 벤치마크 중 하나입니다.
에이전트 능력의 본질 규명: 단순한 API 지식 (문서화) 이 아닌, 계획 (Planning), 상태 추적 (State Tracking), 적응적 복구 (Adaptive Recovery) 능력이 에이전트 성능을 결정하는 핵심 요소임을 입증했습니다.
향후 연구 방향: 이 프레임워크는 에이전트가 장기적인 작업 (Long-horizon tasks) 을 수행할 때 발생하는 오류를 정량화하고, 에이전트 개발자가 모델의 약점을 파악하여 개선하는 데 필수적인 도구가 될 것입니다.

요약하자면, Agent-Diff 는 "에이전트가 무엇을 했는지"가 아니라 "에이전트가 시스템 상태를 어떻게 변화시켰는지"를 통해 LLM 에이전트의 실제 기업 업무 수행 능력을 객관적으로 측정하는 혁신적인 프레임워크입니다.