기술 요약: MAVEN – 에이전트 도구 호출의 일반화 능력 향상

1. 문제 정의

본 논문은 에이전트 도구 호출 시스템(agentic tool-calling systems)의 일반화 문제를 다룹니다. 대규모 언어 모델(LLM)은 개별 벤치마크에서는 강력한 성능을 보여주지만, 에이전트가 복잡한 요청을 분해하고, 중간 상태를 보존하며, 여러 도메인에 걸쳐 여러 도구를 조정하고, 부분적인 결과를 검증해야 하는 장기적 관점(long-horizon)의 설정에서는 견고함이 부족한 경우가 많습니다.

현재의 평가 방식은 종종 최종 정답의 정확도에만 의존하는데, 이는 추론 과정에서의 실패를 은폐할 수 있습니다. 모델은 일반적인 구성적 추론 기술을 개발하기보다는 특정 데이터셋 형식이나 상호작용 패턴에 적응(과적합)할 수 있습니다. 저자들은 기존 벤치마크(예: BFCL v3, TauBench)가 프로세스 충실도(process fidelity), 중간 상태 관리, 또는 명시적 검증을 충분히 스트레스 테스트하지 못하여, 부분적인 추론 품질과 엔드 투 엔드(end-to-end) 작업 성공 사이의 간극을 초래한다고 주장합니다.

2. 방법론

MAVEN: 모듈형 에이전트 검증 및 실행 네트워크 (Modular Agentic Verification and Execution Network)

저자들은 추가 학습 없이 LLM을 증강하도록 설계된 경량 심볼릭 추론 스캐폴드인 MAVEN을 제안합니다. MAVEN은 3단계 파이프라인을 강제하는 구조화된 레이어로 작동합니다:

1. 컨텍스트 버퍼링(Context Buffering): 시스템은 대화형 입력에서 관련 정보를 추출하여 압축된 단기 표현식으로 정리합니다. 이는 다운스트림 처리에 필요한 핵심 사실과 중간 추론을 보존합니다.
2. 액션 합성(Action Synthesis): 버퍼링된 표현식을 사용하여 사용자 목표와 정렬된 원자적이고 테스트 가능한 작업 설명을 생성합니다. 이 단계에는 명확성을 보장하기 위한 제한된 정제 과정이 포함되며, 더 이상의 작업이 필요하지 않은 경우 조기 종료를 지원합니다.
3. 호출 생성(Invocation Generation): 시스템은 실행 환경과 호환되는 기계 판독 가능한 액션을 생성합니다. 결정적으로, 이 단계는 안전하지 않은 부작용을 최소 최소화하고 감사 가능성을 유지하기 위해 추론과 실행을 명시적으로 분리합니다.

워크플로우(알고리즘 1)는 에이전트가 하위 작업을 합성하고, 도구를 선택하고, 이를 실행하며, 진단 및 출처(provenance)와 함께 출력을 버퍼에 저장하는 루프로 구성됩니다. 검증에 실패하면 에이전트는 진행하기 전에 저장된 컨텍스트를 사용하여 하위 작업이나 호출을 수정합니다.

MAVEN-Bench: 스트레스 테스트 벤치마크

이러한 능력을 평가하기 위해 저자들은 외부 도구를 활용한 다단계 과학적 추론(수학 및 물리학)에 초점을 맞춘 벤치마크인 MAVEN-Bench를 도입합니다. 주요 특징은 다음과 같습니다:

• 파라미터화된 인스턴스화(Parametric Instantiation): 핵심 코퍼스는 미적분, 대수, 역학, 전자기학에 걸친 100개의 표준 문제 템플릿으로 구성됩니다. 이들은 다양한 수치 체계, 대수적 형태 및 검증 요구사항을 생성하기 위해 파라미터화되었으며, 적대적 섭동(예: 불량 조건성, 근사 퇴화 지점)을 포함합니다.
• 모델 컨텍스트 프로토콜(MCP): 중간 산출물(심볼릭 표현식, 수치, 진단 결과)을 일급 객체(first-class objects)로 취급하는 핵심 구성 요소입니다. 이들은 명시적인 단계 식별자 아래에 저장되어 에이전트가 중간 결과를 유지, 쿼리 및 추론할 수 있도록 합니다.
• 평가 지표: 벤치마크는 다음의 여러 축에서 에이전트를 평가합니다:
  • 하위 질문 정확도: 개별 검증 체크포인트에서의 정확성.
  • 도구 선택 정확도: 선택된 프리미티브(primitive)의 적절성.
  • 트레이스 충실도(Trace fidelity): 표준 참조 트레이스와의 일치성.
  • 검증 점수: 명시적 체크(예: 단위 일관성, 솔버 잔차)의 실행 및 올바른 해석.
  • 최종 정답 정확도: 심볼릭 등가성 및 수치 허용 오차.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. MAVEN-Bench: 단순한 최종 정답의 정확도보다 중간 상태 보존과 명시적 검증을 강조하는, 도구 증강 수학 및 물리 추론을 위한 프로세스 인식 벤치마크.
2. 평가 프로토콜: 도구 사용, 정확성 및 접근 방식을 평가하기 위해 고정된 루브릭을 사용하는 자동화된 LLM 판사를 활용하여 도구 트레이스, 중간 산출물 및 검증 동작을 기록하는 엄격한 프로토콜.
3. MAVEN 프레임워크: 경량화되고 검증 중심적인 스캐폴드가 오픈 웨이트 모델의 구성적 추론과 장기적 견고성을 어떻게 크게 향상시킬 수 있는지 보여주는 MAVEN 스캐폴드의 평가.

4. 결과

일반 벤치마크 성능

MAVEN은 기존 벤치마크(BFCL v3, TauBench, Tau2Bench, AceBench)에서 평가되었습니다. GPT-OSS-120b 베이스 모델 위에 구현되었을 때, MAVEN은 특히 멀티 턴 및 에이전트 설정에서 베이스 모델보다 일관되게 우수한 성능을 보였습니다. 이러한 개선은 구조화된 분해와 중간 검증이 복잡한 작업에서 오류 전파를 줄인다는 것을 시사합니다.

MAVEN-Bench 성능

MAVEN-Bench에서의 직접 실행 결과:

• 정확도 향 향상: MAVEN은 추가 학습 없이 GPT-OSS-120b 베이스 모델의 정확도를 48%에서 71%로 향상시켰습니다.
• 경쟁력: MAVEN(GPT-OSS-120b 기반 실행)은 **71.0%**의 점수를 기록하여, 여러 프런티어 독점 모델(예: GPT-5 32.0%, o4-mini 38.0%)을 능가하였으며, 다른 모델들(예: Claude-Sonnet-4.5 70.0%)과 경쟁 가능한 수준을 유지했습니다.
• 비용 효율성: MAVEN이 사용하는 오픈 웨이트 백본은 독점 모델 베이스라인 대비 약 1/10의 추정 비용 비율을 가집니다.
• 견고성: 추론 단계 수에 따른 정확도 분석(그림 4) 결과, 문제 복잡도가 증가함에 따라 정확도가 일반적으로 저하되지만, MAVEN으로 증강된 모델은 저하 속도가 더 느린 것으로 나타나 더 나은 장기적 견고성을 입증했습니다.

관찰된 실패 모드

연구를 통해 현재 시스템에서 반복되는 실패 모드를 식별했습니다:

• 부적절한 도구 선택 (예: 수치적으로 불안정한 솔버 선택).
• 명시적 중간 검증 수행 실패 (예: 부호 검증이나 미분 체크 누락).
• 프로토콜 위반 (예: 단일 호출 제약 조건 이탈).
• 적대적 파라미터 체계에서의 수치적 불안정성.

5. 의의 및 주장

본 논문은 에이전트 시스템의 신뢰성을 평가하기 위해 **프로세스 인식 평가(process-aware evaluation)**가 필수적이라고 주장합니다. 결과는 표준 벤치마크의 성능과 지속적인 분해 및 상태 관리가 필요한 설정에서의 강력한 추론 사이의 상당한 격차를 드러냅니다.

저자들의 주장은 다음과 같습니다:

• MAVEN과 같은 경량 스캐폴드는 구성적 추론을 강화하고 장기적 도구 사용 설정에서 오류 축적을 줄일 수 있습니다.
• 명시적 검증과 구조화된 분해는 작은 도구 선택 오류나 수치적 불안정성이 시간이 지남에 따라 누적될 수 있는 복잡한 다단계 작업을 처리하는 데 매우 중요합니다.
• MAVEN-Bench는 최종 답변만을 평가할 때는 보이지 않는 실패(예: 잘못된 도구 선택 또는 검증 누락)를 효과적으로 노출합니다.

본 연구는 신뢰할 수 있는 도구 사용 에이전트는 단순히 올바른 최종 답변을 내놓는 것이 아니라, 감사 가능하고 검증 가능하며 구성적인 추론 과정을 따라야 한다고 결론짓습니다. 저자들은 MAVEN을 새로운 파운데이션 모델이 아닌 추론 증강 도구로 포지셔닝하며, 이러한 스캐폴드가 "실제 환경(in the wild)"에서의 에이전트에 대한 더욱 엄격한 평가를 촉진할 수 있음을 시사합니다.

참고: 본 논문은 수학/물리 도메인에 집중된 점, 유연한 추론에 최적화된 모델에게 제약된 실행 프로토콜이 불리할 수 있다는 점, 그리고 루브릭 교정에도 불구하고 LLM 기반 판사에 의존한다는 점을 포함한 한계를 인정합니다.