💬 NLP

Evo-Bench: Can Language Models Improve Agent Harness?

이 논문은 언어 모델이 자신의 운영 하네스를 자율적으로 진화시키는 내재적 능력을 격리하여 평가하기 위해 설계된 최초의 벤치마크인 Evo-Bench를 소개하며, 이를 통해 상당한 성능 향상과 전이 가능한 추론 구조를 밝히는 동시에 매우 구체적인 워크플로우를 요구하는 작업에서의 도메인 특화된 과제들을 강조한다.

원저자: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 아주 똑똑한 로봇 두뇌를 만들었다고 상상해 보세요. 이 두뇌는 거의 누구보다도 글을 읽고, 쓰고, 퍼즐을 잘 풀 수 있습니다. 하지만 여기에는 함정이 있습니다. 이 두뇌는 천재적이지만 서투른 요리사와 같습니다. 재료(지식)는 모두 갖추고 있지만, 실제로 요리를 하는 방법(지침)인 '레시피'가 없는 상태죠. 인공지능의 세계에서 이 '레시피'를 **에이전트 하네스(agent harness)**라고 부릅니다. 이것은 AI가 자신의 두뇌를 사용하여 웹을 검색하거나, 스프레드시트를 편집하거나, 보고서를 작성하는 것과 같은 일을 수행하도록 알려주는 규칙, 도구, 그리고 워크플로우의 집합입니다.

오랫동안 인간은 이 레시피를 직접 작성하며 AI가 더 잘 작동하도록 세심하게 조정해 왔습니다. 하지만 만약 AI가 스스로 레시피를 쓸 수 있다면 어떨까요? 우리가 AI에게 실수를 고치는 법을 알려주는 대신, AI가 자신의 실패를 살펴보고, 무엇이 잘못되었는지 파악한 뒤, 더 똑똑해지기 위해 스스로의 지침을 다시 작성할 수 있다면 어떨까요? 이것이 바로 과학자들이 던지는 핵심 질문입니다. AI가 진정으로 스스로를 더 나은 일꾼으로 가르칠 수 있을까요, 아니면 여전히 인간의 손길이 필요할까요? 이 논문은 AI가 자신의 운명을 스스로 결정하는 마스터가 되기 위해 자신의 '운영 체제'를 스스로 진화시킬 수 있는지 테스트하며 그 미스터리를 깊이 파고듭니다.

위대한 AI 자기 개선 실험

**에보-벤치(Evo-Bench)**를 만나보세요. 이는 AI가 자신의 소프트웨어를 업그레이드할 수 있는지 테스트하기 위해 설계된 최초의 '체육관'입니다. 캐릭터가 단순히 경험치를 쌓아 레벨업하는 것이 아니라, 캐릭터가 스스로 코드를 다시 써서 더 강해질 수 있는 비디오 게임과 같다고 생각하면 됩니다. 연구진은 세 가지 다른 유형의 '미션'이 있는 통제된 환경을 설정했습니다: 검색(웹에서 정보 찾기), 오피스(복잡한 문서 및 스프레드시트 관리), 그리고 일반(까다롭고 개방적인 과제들의 혼합 처리).

이 실험에서 연구진은 다양한 AI 모델에 기본적이고 단순한 지침 세트("시드 하네스")와 엄격한 시간 및 컴퓨터 자원 예산을 부여했습니다. AI의 임무는 자율적인 엔지니어처럼 행동하는 것이었습니다. 즉, 자신이 어디에서 실패했는지 살펴보고, 이유를 추측한 뒤, 이를 해결하기 위해 자신의 코드를 다시 쓰는 것입니다. 연구진은 단순히 AI가 추측하게 내버려 두지 않았습니다. 최종적인 비밀 '평가' 세트에 직면하기 전에, AI가 '검증' 작업 세트를 통해 자신의 개선 사항을 증명하도록 만들었습니다. 이는 AI가 단순히 정답을 암기하는 것이 아니라, 더 나은 도구를 구축하는 법을 실제로 배우고 있음을 보장하기 위함이었습니다.

결과: 천재성과 결함이 섞인 복합적인 결과

결과는 높낮이가 극명한 파란만장한 여정이었습니다. GPT-5.6 Sol이나 Claude Opus 4.8과 같은 최상위 성능의 AI 모델들은 실제로 스스로를 개선하는 법을 배울 수 있음을 보여주었습니다. 이들은 시작점보다 무려 16.6포인트나 성능을 끌어올렸으며, 인간이 수년간 직접 설계해 온 시스템의 수준에 매우 근접했습니다.

하지만 이야기는 단순한 "AI의 승리"로 끝나지 않습니다. 논문에 따르면 AI의 자기 개선 능력은 무엇을 하려고 하는지에 따라 크게 달라졌습니다:

검색 작업: AI는 이 분야에서 슈퍼스타였습니다. AI는 웹을 탐색하고 지저열한 데이터를 정리하는 법을 매우 잘 파악하여 인간 전문가 수준에 거의 도달했습니다.
일반 작업: 이러한 광범위하고 창의적인 도전 과제에서 AI는 실제로 인간이 설계한 시스템을 능가했습니다. AI는 인간이 생각하지 못했던 새로운 사고 방식을 발명해 냈습니다.
오피스 작업: 이 부분이 AI의 약점이었습니다. 매우 구체적이고 경직된 워크플로우(예: 복잡한 스프레드시트 처리)를 요구하는 작업에서 AI는 어려움을 겪었습니다. AI는 필요한 정확한 단계를 파악하지 못해 종종 막히거나 작고 반복적인 오류를 범했습니다.

"조기 포화(Early Saturation)"의 함정

연구진이 **"조기 포화"**라고 부르는 현상은 가장 흥미로운 발견 중 하나였습니다. 학생이 시험을 치는 상황을 상상해 보세요. 학생은 열심히 공부해서 첫 시도에 좋은 점수를 받았고, 그래서 계속 공부하기로 결정합니다. 하지만 더 나아지는 대신, 학생은 지나치게 깊이 생각하기 시작하여 오히려 답을 망쳐버립니다. 논문은 많은 AI 모델이 매우 빠르게 '스위트 스폿(최적의 지점)'에 도달하여 훌륭한 해결책을 찾아내지만, 이후 단계에서 계속해서 그것을 만지작거리다가 오히려 잘 작동하던 것을 망가뜨린다고 제안합니다. 그들은 진정으로 완벽한 시스템을 찾기 전에 시간이나 인내심을 다 써버린 것입니다.

천재성의 비용

논문은 또한 이 자기 개선의 가격표에 대해서도 살펴보았습니다. 결과적으로 최고의 결과를 얻는 데는 비용이 많이 듭니다. 최상위 성능의 AI는 실험을 진행하는 동안 500달러 이상의 비용이 들었지만, 다른 모델들은 40달러 미만으로 준수한 결과를 냈습니다. 이는 완벽을 향한 마지막 몇 점을 얻기 위해서는 많은 돈을 써야 한다는 '파레토 프런티어(Pareto frontier)'—즉, 비용과 성능 사이의 트레이드오프 곡선—가 존재함을 시사합니다.

결론

그렇다면 언어 모델이 자신의 에이전트 하네스를 개선할 수 있을까요? 그렇습니다, 하지만 한계가 있습니다. 이 논문은 AI가 개방형 과제나 검색 중심의 과제에 대해 스스로를 재발명하는 데 매우 능숙해지고 있으며, 때로는 인간 엔지니어를 능가하기도 한다는 것을 보여줍니다. 하지만 경직되고 구체적인 절차를 요구하는 작업에 대해서는 여전히 인간의 손길이 필요합니다. 연구진은 우리가 진정한 AI 자기 진화의 첫 불꽃을 보고는 있지만, 아직 그 단계에 완전히 도달한 것은 아니라고 결론지었습니다. AI는 새로운 요리 기법을 발명할 수는 있지만, 여전히 양파를 어떻게 썰어야 할지 알려줄 마스터 셰프가 필요한 유능한 견습생와 같습니다. 이 새로운 벤치마크인 **에보-벤치(Evo-Bench)**는 현재 AI가 어디에 서 있는지, 그리고 내일 어디로 가야 하는지에 대한 명확한 지도를 제공합니다.

기술 요약: Evo-Bench – 언어 모델이 에이전트 하네스를 개선할 수 있는가?

문제 정의

대규모 언어 모델(LLM)이 자율 에이전트 분야를 발전시켜 왔음에도 불구하고, 현재의 평가는 고정된 인간 설계형 "하네스"(추론, 도구 사용, 메모리를 조율하는 코드 구조) 내에서의 정적인 작업 해결에 국 confines 되어 있습니다. 핵심적인 최전선은 하네스 진화(harness evolution), 즉 에이전트가 자신의 운영 하네스를 자율적으로 최적화하는 능력입니다. 그러나 이 능력을 체계적으로 벤치마킹하는 것은 세 가지 구체적인 문제로 인해 어려움을 겪고 있습니다:

하네스 민감도(Harness Sensitivity): 표준 벤치마크는 종종 하네스의 개선과 기저 모델의 강점을 분리하지 못하여, 성능 향상이 더 나은 코드에서 비롯된 것인지 아니면 더 똑똑한 모델에서 비롯된 것인지 판단하기 어렵게 만듭니다.
교차 분할 일반화(Cross-Split Generalization): 기존의 평가는 작업 특정적 과적합(overfitting)의 위험이 있으며, 검증(validation) 및 평가(evaluation) 분할이 하네스 변화에 대해 일관된 반응성을 보이지 않을 수 있습니다.
장기 지평 진화(Long-Horizon Evolution): 실패를 진단하고, 개선 가설을 세우며, 코드를 업데이트하는 다회차 반복적 정제 과정을 지속하는 능력을 포착하는 것은 여전히 어렵습니다.

현재 문헌에는 이질적인 도메인 전반에서 롱 호라이즌 하네스 엔지니어로 기능할 수 있는 파운데이션 모델의 본질적인 능력을 평가할 수 있는 통제된 환경이 부족합니다.

방법론: Evo-Bench

이러한 문제를 해결하기 위해 저자들은 모델의 본질적인 하네스 진화 능력을 평가하기 위해 설계된 최초의 벤치마크인 Evo-Bench를 소개합니다. 이 프레임워크는 새로운 **하네스 유도 구축 프로세스(harness-guided construction process)**와 통제된 평가 프로토콜을 채택합니다.

1. 벤치마크 구축 프레임워크

Evo-Bench의 구축은 작업이 하네스 개선에 진정으로 민감하도록 하기 위해 2단계 프로세스를 따릅니다:

1단계: 보조 하네스 생성: 저자들은 최종 벤치마크와 분리된 보조 작업 세트(320개 작업)를 수집합니다. 이 작업들에 대해 네 가지 프런티어 모델(GLM-5.2, Claude-Opus-4.8, Claude-Sonnet-5, GPT-5.6-Sol)을 사용하여 독립적인 진화 실험을 수행함으로써, 다양하게 진화된 12개의 대표적 하네스( $H_{aux}$ ) 세트를 생성합니다.
2단계: 하네스 유도형 작업 선택: 다섯 가지 확립된 벤치마크(BrowseComp, HLE, GDPval, APEX-Agents, Claw-Eval)의 후보 작업들을 $H_{aux}$ 에 대해 평가합니다. 작업은 하네스의 전체적인 품질과 작업 점수 사이의 피어슨 상관계수로 정의되는 하네스 민감도($Sens(x)$)를 기준으로 필터링됩니다. 양(+)의 민감도와 적절한 난이도를 가진 작업만이 선택됩니다.
계층적 분할(Stratified Splitting): 최종 데이터셋은 분포적 일관성을 보장하고 과적합을 방 prevent하기 위해 민감도 인지 계층적 분할을 사용하여 가시적인 검증 스위트( $D_{val}$ , 160개 작업)와 분리된 평가 스위트( $D_{eval}$ , 448개 작업)로 나뉩니다.

2. 평가 프로토콜

도메인: 벤치마크는 Search(웹 네비게이션), Office(문서 처리), General(다양한 에이전트 작업)의 세 가지 도메인을 다룹니다.
프로세스: 고정된 정책 모델( $\pi$ )이 가변적인 정책 하네스( $H_t$ )를 사용하여 작업을 실행합니다. "하네스 진화"라는 고정된 명령을 수행하는 **진화기(Evolver, $E$ )**는 실패 패턴을 조사하고, 가설을 수립하며, $H_t$ 를 반복적으로 수정합니다.
제약 조건: 프로세스는 리소스 예산(반복 횟수, 시간, 단계)에 의해 제한됩니다. 진화기는 과정 중에 $D_{val}$ 에만 접근할 수 있으며, $D_{eval}$ 은 동결된 하네스( $H_T$ )의 최종 평가를 위해 예약됩니다.
지표:
- 전체 점수(Overall Score): 홀드아웃된 $D_{eval}$ 에 대한 성능.
- Anytime 검증 점수(Anytime Validation Score): 진화 예산 동안의 역대 최고 검증 성능의 평균값으로, 진화 과정의 효율성을 측정합니다.

주요 기여

Evo-Bench: 정적인 작업 해결을 넘어, Search, Office, General 도메인에서 실행 가능한 코드 하네스를 자율적으로 정제하는 LLM의 본질적인 능력을 평가하는 새로운 벤치마크입니다.
하네스 유도형 구축 프레임워크: 보조 작업 진화를 통해 하네스 민감도가 높은 작업을 식별하고, 견고한 교차 스위트 일반화를 보장하기 위해 민감도 인지 계층적 분할을 사용하는 방법론입니다.
하네스 진화의 체계적 분석: 9개의 프런티어 및 오픈 웨이트 모델에 대한 포괄적인 평가를 통해 성능 향상, 시간적 이상 현상(예: 조기 포화), 그리고 진화된 구조의 전이 가능성을 규명합니다.

실험 결과

저자들은 CodeAct 시드 하네스와 인간이 설계한 "인공 하네스(Artificial Harness)" 베이스라인을 대상으로 9개의 모델(GPT-5.6-Sol, Claude Opus 4.8, GLM-5.2, Qwen3.7-Max 등 포함)을 평가했습니다.

성능 향상: 상위 모델들은 막대한 절대적 이득을 달성했습니다. GPT-5.6-Sol과 Claude Opus 4.8은 전체 점수를 각각 16.6점과 16.1점 개선하여 각각 46.3점과 45.8점에 도달했습니다. 이 점수들은 인간이 설계한 베이스라인인 47.5점에 근접합니다.
도메인별 편차:
- Search: 진화가 매우 효과적이었습니다. Claude Opus 4.8은 +34.8점을 획득하여 인간 베이스라인에 거의 근접했습니다. 모델들은 누락된 웹 네비게이션 로직을 성공적으로 합성했습니다.
- General: 상위 진화기들(예: GPT-5.6-Sol, Qwen3.7-Max)은 인간이 설계한 베이스라인을 능가하였으며, 이는 자율적 추론 구조가 이 도메인에서 수동 설계를 앞지를 수 있음을 보여줍니다.
- Office: 모델들은 상당한 어려움을 겪었으며, 미미한 개선이나 약간의 퇴보를 보였습니다. 저자들은 이를 오피스 작업에 요구되는 매우 구체적인 처리 워크플로우를 발견하는 데 드는 어려움 때문이라고 설명합니다.
시간적 이상 현상: 분석 결과 조기 포화(early saturation) 현상이 드러났습니다. 즉, 모델들이 고품질 구조를 빠르게 발견하지만, 이후 라운드에서 해로운 수정을 도입하여 조기 종료되거나 성능 저하를 초징하는 경우가 빈번했습니다.
전이 가능성: 진화된 하네스는 강력한 교차 정책 일반화 능력을 보여주었습니다. 다른 정책 모델(Qwen, DeepSeek, GLM)에 적용했을 때, 합성된 하네스는 일관되게 성능을 높였으며, 이는 이들이 단일 모델의 결함에 과적합되는 것이 아니라 전이 가능한 추론 구조로서 작동함을 나타냅니다.
비용 효율성: 파레토 프런티어(Pareto frontier) 분석 결과, 비용과 성능 사이에 급격한 로그형 트레이드오프가 존재함을 보여주었습니다. 최상위 결과를 얻기 위해서는 상당한 리소스(예: GPT-5.6-Sol의 경우 >$500)가 필요했지만, GLM-5.2나 Qwen3.7-Max 같은 모델들은 40달러 미만으로도 강력한 결과를 달성했습니다.

의의 및 주장

본 논문은 Evo-Bench가 진정한 하네스 진화 능력과 베이스 모델의 강점 및 확률적 노이즈를 분리할 수 있는 엄격하고 통제된 프레임워크를 제공한다고 주장합니다. 결과에 따르면, 현재의 프런티어 모델들은 (특히 Search 및 General 도메인에서) 자율적인 연구 엔지니어로 기능할 수 있는 능력을 갖추고 있으나, 복잡한 Office 워크플로우에서의 심층적인 시스템 레벨 최적화 및 지속성 측면에서는 여전히 인간 엔지니어에 미치지 못합니다.

저자들은 Evo-Bench를 자율 진화 에이전트 아키텍처 연구를 촉진하기 위한 기초적인 테스트베드로 설정합니다. 그들은 모델이 인과적 실패 패턴을 추상화하고 대규모 아키텍처 리팩토링을 실행하는 능력을 강화함으로써, 미래의 모델이 하네스 엔지니어링 분야에서 인간 전문가를 일관되게 능가할 잠재력이 있다고 주장합니다. 이 논문은 자기 개선(self-improvement) 문제를 해결했다고 주장하는 것이 아니라, 이러한 특정한 진화적 능력을 측정하고 벤치마킹할 수 있는 최초의 체계적인 지표를 제공하는 데 목적이 있습니다.