AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents

이 논문은 기존 벤치마크의 한계를 극복하고 도구 사용 에이전트의 단계별 과정 품질을 평가하기 위해, 실제적인 도구 활용 궤적과 인간 라벨링 데이터를 기반으로 한 새로운 벤치마크인 'AgentProcessBench'를 제안하고, 이를 통해 에이전트 성능 분석 및 보상 모델 연구의 중요성을 입증합니다.

핵심

1. 왜 이런 것이 필요할까요? (문제 상황)

과거의 AI 는 주로 수학 문제를 풀거나 글을 쓰는 데만 집중했습니다. 수학 문제를 풀 때 실수를 하면, "아, 여기서 계산이 틀렸네" 하고 뒤로 가서 다시 계산하면 됩니다. (이걸 '백트래킹'이라고 해요.)

하지만 요즘의 AI 는 **도구를 사용하는 '에이전트'**로 변했습니다. 예를 들어, 이메일을 보내거나 파일을 삭제하거나 예약을 변경하는 일을 합니다.

• 비유: 수학 문제를 푸는 것은 종이 위에 연필로 계산하는 것과 같습니다. 실수하면 지우개로 지우면 되죠.
• 하지만 도구 사용은? 실제 주방에서 요리하는 것과 같습니다. 만약 AI 가 실수로 소금 대신 설탕을 넣거나, 중요한 파일을 삭제하거나, 틀린 비행기 표를 끊어버린다면? 그 실수는 되돌릴 수 없습니다. (이걸 '되돌릴 수 없는 부작용'이라고 합니다.)

기존의 시험지들은 주로 '수학 문제'처럼 정답이 명확한 곳만 다뤘습니다. 하지만 실제 세상 (오픈 월드) 에서 AI 가 도구를 쓸 때는 실수의 종류도 다양하고, 되돌릴 수 없는 실수를 할 위험이 큽니다. 그래서 각 단계별로 AI 가 잘했는지, 실수했는지, 혹은 그냥 시도해 본 건지를 세심하게 판단할 수 있는 새로운 기준이 필요했습니다.

2. 이 연구가 만든 것: "에이전트 프로세스 벤치마크"

연구팀은 1,000 개의 다양한 시나리오와 8,500 개 이상의 단계별 기록을 모았습니다. 그리고 인간 전문가들이 이 기록들을 하나하나 꼼꼼히 검사하여 라벨을 붙였습니다.

라벨은 총 3 가지입니다 (삼색 신호등):

1. 🟢 (+1, 정답): 일을 올바르게 진행시켰습니다. (예: 올바른 도구를 사용함)
2. 🟡 (0, 중립/탐색): 실수는 아니지만, 일을 직접적으로 진전시키지는 않았습니다. (예: "혹시 이걸로 될까?" 하고 시도해 보거나, 이미 실패한 도구를 다시 시도해 봄)
3. 🔴 (-1, 오답/위험): 실수했거나 해를 끼쳤습니다. (예: 잘못된 정보를 말함, 정책을 위반함)

중요한 규칙:

• 연쇄 실수 규칙: 만약 AI 가 3 단계에서 큰 실수를 했다면, 그 실수를 바로잡기 전까지 4, 5, 6 단계도 모두 '실수 (-1)'로 간주합니다. (비유: 요리하다가 소금통을 엎어놓고, 그 소금에 밥을 지으면 밥도 망친 거죠. 그래서 밥까지 다 '망친 요리'로 칩니다.)

3. 실험 결과: AI 들은 어떻게 했을까?

연구팀은 최신 AI 20 개를 이 시험지에 투입해 보았습니다. 결과는 꽤 흥미로웠습니다.

• 약한 AI 의 역설: 성능이 낮은 AI 는 일찍 포기하거나 멈추는 경우가 많아서, 남은 단계가 적어 결과적으로 '정답 비율'이 높게 나올 수 있었습니다. (비유: 긴 여행에서 10 분 만에 포기하면, '실수하지 않고 끝낸' 것처럼 보일 수 있죠.)
• 중립의 함정: AI 들은 '실수 (-1)'와 '단순한 시도 (0)'를 구분하는 데 매우 어려움을 겪었습니다. "이게 실수인지, 아니면 그냥 시도인지"를 판단하는 것은 수학 문제보다 훨씬 어렵습니다.
• 성공의 비결: 성능이 좋은 AI 일수록 단계별 실수를 잘 찾아냈고, 특히 '생각하는 (Thinking)' 모드를 가진 AI 들이 더 잘했습니다.

4. 이 연구의 의미: 왜 중요할까요?

이 벤치마크는 AI 를 가르치는 **'보상 모델 (Reward Model)'**을 개발하는 데 필수적입니다.

• 기존 방식: "결론이 맞았으면 점수 100 점, 틀리면 0 점" (결과만 봄)
• 새로운 방식: "각 단계별로 잘했으면 점수 줘, 실수하면 감점" (과정까지 봄)

이렇게 **과정 (Process)**을 평가할 수 있게 되면, AI 가 더 안전하고 똑똑해질 수 있습니다. 특히 되돌릴 수 없는 실수 (파일 삭제, 잘못된 이메일 발송 등) 를 막기 위해, AI 가 실수하기 직전에 "아, 여기서 멈춰야겠다"라고 스스로 판단할 수 있게 도와주는 나침반이 될 것입니다.

요약

이 논문은 **"AI 가 복잡한 일을 할 때, 마지막 결과만 보지 말고, 그 과정의 각 단계가 얼마나 안전하고 올바른지 체크하는 새로운 시험지"**를 만들었습니다. 이를 통해 AI 가 실수하지 않고, 더 똑똑하게 도구를 사용할 수 있도록 돕는 기술을 발전시키려는 시도입니다.

한 줄 요약:

"AI 가 요리할 때, 마지막 요리의 맛만 보지 말고, 소금 넣기부터 불 조절까지 각 단계가 올바른지 꼼꼼히 점검하는 새로운 기준을 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 도구 사용 에이전트 (Tool-Using Agents) 로 진화함에 따라, 장기적인 상호작용 (Long-horizon interactions) 에서의 신뢰성 문제가 대두되고 있습니다.

• 되돌릴 수 없는 오류: 수학 추론과 달리, 도구 사용 (이메일 발송, 파일 삭제 등) 은 되돌릴 수 없는 부작용을 초래할 수 있어, 중간 단계의 오류를 정확히 식별하는 것이 필수적입니다.
• 기존 벤치마크의 한계: 기존 과정 수준 (Process-level) 벤치마크는 주로 폐쇄된 수학 도메인에 국한되어 있으며, 동적이고 개방된 도구 실행 환경의 복잡성을 포착하지 못합니다. 또한, 기존 에이전트 벤치마크는 최종 성공 여부만 보고할 뿐, 과정 reward 모델 (PRM) 을 평가할 수 있는 단계별 (Step-level) 신호를 제공하지 못합니다.
• 필요성: 에이전트의 각 단계가 작업 진행에 효과적인지, 중립적인지, 아니면 해로운지를 평가할 수 있는 인간이 검증한 표준 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

저자들은 AgentProcessBench를 제안하며, 이는 도구 사용 에이전트의 중간 단계 효과를 평가하기 위한 최초의 인간 주석 (Human-annotated) 벤치마크입니다.

• 데이터 구성:
  • 규모: 1,000 개의 다양한 에이전트 트래젝토리 (Trajectory) 와 8,509 개의 인간 주석이 달린 단계 (Step) 로 구성됨.
  • 출처: HotpotQA, GAIA, BFCL, $\tau^2$-Bench 등 4 개의 기존 벤치마크에서 도출된 작업을 통합.
  • 생성: 5 개의 서로 다른 모델 (Qwen, DeepSeek, GPT 등) 로부터 다양한 트래젝토리를 생성하여 다양한 실패 모드와 행동 패턴을 포착.
• 평가 프로토콜 (3 단계 레이블링):
  • +1 (Correct): 작업 완료에 명확히 기여하는 사실적으로 정확한 단계.
  • 0 (Neutral/Exploratory): 합리적이지만 작업 진행에 미미한 영향을 주거나, 탐색적인 단계 (예: 외부 요인으로 인한 실패, 불필요한 재진술).
  • -1 (Incorrect/Harmful): 사실적 오류, 정책 위반, 또는 작업 성공을 방해하는 단계.
• 주석 품질 보장:
  • 오류 전파 규칙 (Error Propagation Rule): 한 번 오류 (-1) 가 발생하면, 에이전트가 명시적으로 수정하거나 독립적인 하위 작업으로 전환할 때까지 후속 단계들도 모두 -1 로 처리하여 일관성을 확보.
  • 신뢰도: 2 명의 전문가가 독립적으로 주석하며, **89.1% 의 높은 주석자 간 일치도 (IAA)**를 달성.

3. 주요 기여 (Key Contributions)

1. AgentProcessBench 출시: 도구 사용 에이전트의 단계별 효과성을 평가하는 최초의 인간 주석 벤치마크를 공개.
2. 원칙적인 평가 프로토콜 제안:
   • 탐색적이지만 기여도가 낮은 행동을 구분하기 위한 중립 (Neutral) 레이블 도입.
   • 장기 트래젝토리의 레이블링 모호성을 줄이기 위한 오류 전파 규칙 적용.
3. 광범위한 실험 및 통찰: 20 개의 다양한 LLM(상용 및 오픈소스) 을 평가하여 현재 모델의 실패 모드와 한계를 분석하고, 향후 연구 방향을 제시.

4. 실험 결과 및 통찰 (Results & Insights)

20 개의 LLM 을 대상으로 한 평가 결과, 다음과 같은 핵심 통찰이 도출되었습니다.

• 모델 성능 격차:
  • 상용 모델 (GPT-5.2, Gemini-3 등) 이 오픈소스 모델 (Qwen, LLaMA 등) 보다 전반적으로 우수한 성능을 보임.
  • 추론 (Thinking) 모델이 일반 지시 (Instruct) 모델보다 단계별 평가 능력이 뛰어남.
  • 모델 규모가 커질수록 성능이 향상되지만, 최신 모델은 파라미터 효율성 (Capability Density) 이 높아 작은 모델도 경쟁력 있는 성능을 보일 수 있음.
• 작업 복잡성과 오류 국소화:
  • 작업이 복잡해질수록 (예: HotpotQA $\rightarrow$ GAIA) 오류를 초기에 발견하는 능력이 급격히 저하됨. 특히 소형 모델에서 이 현상이 두드러짐.
  • **First-Error Accuracy (최초 오류 정확도)**는 전체 단계 정확도 (StepAcc) 보다 평가하기 어려운 지표임.
• 모델의 편향 (Bias):
  • 현재 모델들은 양 (+1) 레이블로 편향되어 있는 경향이 있음.
  • 중립 (0) 단계와 오류 (-1) 단계를 구분하는 데 큰 어려움을 겪음. 중립 단계는 문맥에 의존적이기 때문에 국소적 판단이 어렵기 때문임.
• 약한 모델의 역설적 현상:
  • 약한 모델은 초기에 작업을 중단 (Early Termination) 하는 경향이 있어, 결과적으로 '올바른 단계'의 비율이 높게 나타날 수 있음. 이를 보정하기 위해 First-Error Accuracy 지표의 중요성을 강조.
• Process Reward Model (PRM) 의 가치:
  • 결과 reward 모델 (ORM) 성능과 PRM 성능 간에는 강한 양의 상관관계가 있음.
  • Best-of-N 전략에서 과정 기반 신호 (Process-derived signals) 를 활용하면 결과 기반 신호만 사용할 때보다 성능이 향상됨. 이는 과정 정보가 결과 정보에 보완적 가치를 제공함을 의미.

5. 의의 및 결론 (Significance)

• 안전하고 신뢰할 수 있는 에이전트 개발: 도구 사용 시 되돌릴 수 없는 오류를 방지하기 위해, 단계별 검증 (Step-level verification) 이 필수적임을 입증.
• 차세대 Reward Model 연구의 토대: AgentProcessBench 는 PRM 개발을 위한 표준 테스트베드 역할을 하며, 에이전트의 행동이 의도대로 안전하게 수행되도록 유도하는 데 기여할 것임.
• 향후 방향: GUI 기반 에이전트나 컴퓨터 사용 에이전트 등 더 복잡한 멀티모달 환경으로 벤치마크를 확장할 계획임을 밝힘.

이 논문은 에이전트의 '결과'뿐만 아니라 '과정'을 정밀하게 진단할 수 있는 도구를 제공함으로써, 더 강력하고 안전한 일반 에이전트 (General Agents) 개발을 위한 중요한 이정표가 됩니다.