💬 NLP

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

RealClawBench는 실제 OpenClaw 개발자-에이전트 세션에서 유도된 재구성된 실행 환경과 결정론적 스코어를 활용하여 281개의 까다로운 실무 과제를 재현 가능한 평가로 변환함으로써 현재 모델들의 상당한 성능 격차를 드러내는 라이브 벤치마크 프레임워크를 도입합니다.

원저자: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

새로운 로봇 셰프가 얼마나 뛰어난지 테스트하려고 한다고 상상해 보세요.

과거의 방식 (전통적인 벤치마크):
전통적으로 연구자들은 "그릴드 치즈 샌드위치 만들기"나 "초콜릿 케이크 굽기"와 같은 완벽하고 교과서적인 레시피 목록을 작성했습니다. 그리고 로봇에게 이 레시피를 주고 단계를 잘 따르는지 확인했습니다. 문제는 현실은 교과서처럼 흘러가지 않는다는 점입니다. 현실 세계에서는 고객이 "빵이 약간 딱딱해요, 치즈는 냉장고 뒤쪽에 있어요, 그리고 그릴이 아니라 토스터 오븐밖에 없는데, 먹을 만한 걸로 좀 만들어 줄래요?"라고 말할 수도 있습니다. 기존의 테스트들은 로봇이 이러한 복잡하고 실제적인 세부 사항들을 처리할 수 있는지 확인하지 못했습니다.

새로운 방식 (REALCLAWBENCH):
이 논문의 저자들은 '개발자 에이전트'(프로그래머를 돕는 로봇)를 진정으로 테스트하려면, 가짜 테스트를 만드는 것을 멈추고 실제 사람들이 현장에서 로봇을 사용하는 모습을 관찰해야 한다는 점을 깨달았습니다.

그들은 REALCLAWBENCH라고 불리는 시스템을 구축했습니다. 이해를 돕기 위해 쉬운 비유를 들어 설명하겠습니다.

1. 실제 순간 포착하기 (소스)

팀은 단순히 과업을 발명하는 대신, 실제 개발자들이 코딩 도움을 받기 위해 "OpenClaw"라는 도구를 사용한 76,155회의 실제 세션을 관찰했습니다. 그들은 실제 사람들이 얼마나 복잡하고, 때로는 모호한 요청을 하는지 목격했습니다.

비유: 조용한 주방에서 셰프가 메뉴를 작성하는 것이 아니라, 보안 카메라로 바쁜 레스토랑에서 실제 고객들이 음식을 주문하는 모습을 촬영하는 것과 같습니다.

2. "마법의 정화 과정" (파이프라인)

실제 고객의 가공되지 않은 기록을 그대로 가져와서 테스트로 만들 수는 없습니다. 그 기록에는 개인 비밀번호, 회사의 기밀 파일, 혹은 더 이상 존재하지 않는 컴퓨터에 대한 참조 등이 포함되어 있을 수 있기 때문입니다.
논문은 이 실제 순간들을 정화하는 파이프라인(단계별 공정 라인)을 설명합니다.

개인정보 보호 스크린: 영상 속 얼굴을 흐리게 처리하는 것처럼, 모든 비밀 정보와 개인 정보를 삭제합니다.
환경 재구성: 만약 개발자가 자신의 특정 컴퓨터에 있는 파일을 수정해 달라고 요청했다면, 팀은 해당 테스트를 나중에 다시 실행할 수 있도록 가상의 안전한 컴퓨터 환경을 구축합니다.
요청 재작성: 모호하고 대화적인 요청("저번에 말했던 그거 좀 봐줄래요?")을 명확하고 독립적인 지시 사항("로그인 파일의 버그를 수정해 주세요")으로 변으로 바꿉니다.
자동 판사: 사람이 직접 채점하는 대신, 결과물을 확인하는 컴퓨터 프로그램을 작성합니다. 파일이 수정되었는가? 예/아니오. 추측은 허용되지 않습니다.

3. 결과: "라이브" 테스트

최종 결과물은 281개의 실제 세계 과업을 담은 벤치마크입니다.

특별한 이유: 이것은 "라이브"이며 "앵커링(anchored)" 되어 있습니다. 즉, 이 테스트는 시간이 지나면 낡아버리는 정적인 질문 목록이 아닙니다. 지속적인 실제 사용자 데이터 스트림으로부터 구축되었기 때문에, 새로운 실제 사례들로 테스트를 업데이트하여 신선함을 유지할 수 있습니다.
"현실 격차(Realism Gap)": 이 논문은 이전의 테스트들이 테스트 내용과 실제로 일어나는 일 사이에 "격차"가 있었다고 주장합니다. REALCLAWBENCH는 이 격차를 메웁니다. 이는 운전자를 완벽하고 텅 빈 경주 트랙에서 테스트하는 것에서, 실제 교통 체증과 구멍 난 도로, 그리고 당황한 보행자들이 있는 실제 도로 상황에서 테스트하는 것으로 전환하는 것과 같습니다.

무엇을 발견했는가?

그들은 이 새롭고 복잡한 실제 세계 테스트에 현재 사용 가능한 가장 똑똑한 14개의 AI 모델을 테스트했습니다.

점수: 가장 뛰어난 AI 모델(Claude Opus 4.7)조차 약 **66%**의 과업만을 해결했습니다.
시사점: 이는 여전히 개선의 여지가 많다는 것을 의미합니다. 현재의 "초지능적" 로봇들도 실제 개발자들이 매일 직면하는 복잡한 현실 세계의 문제들 앞에서는 여전히 고군분투하고 있습니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "로봇을 가짜의 완벽한 시나리오로 테스트하는 것을 멈추십시오. 대신 그들이 실제로 마주하는 복잡한 현실 세계의 문제들로 테스트하되, 공정하게 채점할 수 있을 만큼만 적절히 정화하여 테스트하십시오."

그들은 정확히 이 일을 수행하는 시스템을 구축했으며, 현재의 가장 뛰어난 로봇들도 실제 세계에서 진정으로 신뢰받기 위해서는 아직 약 3분의 2 정도의 길만 왔을 뿐이라는 사실을 발견했습니다.

기술 요약: REALCLAWBENCH

문제 정의

현재의 에이전트 벤치마크는 실제 배포된 개발자-에이전트 세션의 현실을 반영하는 데 실패하는 경우가 많습니다. 기존의 벤치마크(예: SWE-bench, WebArena, AgentBench)는 실행 가능성과 도구 인식 능력을 개선해 왔으나, 주로 작성된 태스크, 공개된 아티팩트 또는 큐레이션된 환경에 의존합니다. 이는 "현실성 격차(realism gap)"를 생성하며, 이로 인해 벤치마크가 실행 가능하고 난이도가 높을 수는 있으나, 실제 프로덕션 워크플로우에서 발견되는 로컬 상태, 암시적 사용자 의도, 그리고 자연적으로 발생하는 성공 기준은 결여될 수 있습니다.

실제 개발자-에이전트 세션(특히 OpenClaw 생태계 내)은 벤치마킹을 위해 독특한 과제를 제시합니다:

문맥 의존성(Context Dependency): 태스크는 종종 로컬 실행 환경 및 특정 프로젝트 상태에 의존합니다.
암시적 의도(Implicit Intent): 사용자의 요청은 빈번하게 미지정된 목표나 대화적 생략(ellipsis)을 포함합니다.
검증의 어려움(Verification Difficulty): 성공 기준은 종종 비결정론적이거나 주관적인 판단을 요구하므로, 자동화된 점수 산정이 어렵습니다.

결과적으로, 기존의 평가 방식은 실제 배포된 사용 분포에서 추출된 태스크를 해결하는 에이전트의 역량을 정확하게 측정하지 못할 수 있습니다.

방법론

본 논문은 실제 OpenClaw 사용자 세션으로부터 직접 구축된 라이브 벤치마크 프레임워크인 REALCLAWBENCH를 소개합니다. 핵심 방법론은 가공되지 않은 민감한 배포 로그를 재현 가능하고, 개인정보가 보호되며, 자동으로 점수가 매겨지는 태스크로 변환하는 파이프라인입니다.

1. 소스 분포 앵커링 (Source Distribution Anchoring)

이 프레임워크는 OpenClaw의 76,155개 배포된 도구 사용 세션을 소스 분포로 사용합니다. 최종 큐레이션된 풀에서 샘플링하는 기존 방식과 달리, REALCLAWBENCH는 최종 품질 필터링 전의 정제된 도구 사용 스트림에 샘플링을 고정(anchor)합니다. 이를 통해 벤치마크가 희귀한 카테고리와 특정 태스크 혼합을 포함하여 실제 사용자 요구의 경험적 분포를 보존하도록 보장합니다.

2. 세션-투-태스크 파이프라인 (Session-to-Task Pipeline)

각 출시되는 인스턴스는 4단계 변환 과정을 통해 구축됩니다 (그림 2 참조):

환경 재구성 ( $E_0$ ): 초기 워크스페이스는 파일, 종속성, 명령 문맥, 스키마를 포함한 세션 증거로부터 구체화됩니다. 프라이빗 서비스에 의존하는 태스크는 피스처(fixture) 기반으로 처리되거나 제외됩니다.
요청 재작성 ( $x$ ): 원래의 사용자 메시지는 독립적인 지침으로 변환됩니다. 이 과정은 로컬 참조와 대화적 생략을 해결하는 동시에 개인 식별자를 제거합니다. 결정적으로, 재작성된 내용은 솔루션 힌트를 추가하지 않으면서 원래의 태스크 카테고리를 보존합니다.
검증기 구축 ( $V$ ): 최종 워크스페이스, stdout 및 제한된 서브프로세스를 검증하기 위한 결정론적 프로그램이 구축됩니다. 검증기는 구조적 결과(예: 파일 존재 여부, 스키마 유효성)를 확인합니다. 주관적 또는 미적 판단이 필요한 태스크는 자동화된 결정론적 점수 산정을 위해 제외됩니다.
충실도 검토 (Fidelity Review): 초안 인스턴스는 버그, 모호한 표현 또는 "누출된(leaky)" 지침을 탐지하기 위한 프로빙을 거칩니다. 재구성 가능성 및 검증기 유효성 체크를 통과한 인스턴스만 출시됩니다.

3. 라이브 릴리스 메커니즘 (Live Release Mechanism)

REALCLAWBENCH는 버전 관리된 라이브 릴리스를 지원합니다. 동일한 구성 맵( $T$ )을 향후 로그의 겹치지 않는 시간적 창(temporal windows)에 적용할 수 있습니다. 이를 통해 벤치마크는 제어된 평가 프로토콜을 유지하면서 사용자 수요의 시간적 변화를 추적할 수 있습니다.

주요 기여

현실성 격차 식별: 본 논문은 실행 가능한 에이전트 벤치마크와 실제 배포된 개발자-에이전트 사용의 실제 분포 사이의 불일치를 공식적으로 정의하며, 현재 데이터셋에서 로컬 상태와 암시적 의도가 결여되어 있음을 강조합니다.
세션-투-태스크 파이프라인: 환경 재구성, 의도 보존형 재작성, 결정론적 검증기를 사용하여 가공되지 않은 민감한 배포 로그를 재현 가능한 벤치마크 태스크로 변환하는 새로운 파이프라인을 제시합니다.
라이브 벤치마크 릴리스: 실제 세션에서 샘플링된 281개의 실행 가능한 태스크를 포함하는 분포 앵커링 벤치마크인 REALCLAWBENCH를 출시합니다. 이는 필터를 재설계하지 않고도 구성 프로세스를 미래의 로그에 다시 실행하여 버전 업데이트를 생성할 수 있음을 보여줍니다.

결과

분포적 충실도 (Distributional Fidelity)

구성 파이프라인은 실제 사용자 분포의 형태를 성공적으로 보존합니다.

젠슨-샤논 발산 (JSD): 최종 281개 태스크 릴리스는 태스크 유형, 사용자 턴, 정의된 도구, 도구 호출의 네 가지 축에 대해 소스 분포(76,155개 세션) 대비 최대 0.0448의 JSD를 유지합니다.
필터링 영향: 원시 호출에서 최종 세트에 이르기까지의 공격적인 필터링은 유의미한 분포 드리프트를 유발하지 않았으며, 모든 인접 단계의 변화는 0.05 비트 미만이었습니다.

모델 성능 (리더보드)

본 벤치마크는 600초 타임아웃이 설정된 공유 OpenClaw 하네스 하에서 14개의 현대적 모델(Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini 등 포함)을 평가하는 데 사용되었습니다.

최상위 성능: 가장 우수한 성능을 보인 모델인 Claude Opus 4.7은 **65.8%**의 샘플 평균 성공률을 달 기록했습니다.
헤드룸 (Headroom): 최상위 모델이 태스크의 약 66%만을 해결한다는 사실은 현실적인 개발자 워크로드에서 현재 에이전트들이 극복해야 할 상당한 헤드룸이 존재함을 드러냅니다.
비용 효율성: 성능과 비용은 밀접하게 일치하지 않습니다. 예를 들어, MiMo V2.5 Pro는 더 높은 비용의 모델인 GPT-5.5( $61.87)보다 훨씬 낮은 비용($ 11.87)으로도 유리한 트레이드오프를 제공하며 더 높은 순위를 기록했습니다.
롱테일 행동 (Long-Tail Behavior): 태스크 분포의 불균형을 고려한 매크로 평균 점수는 단순 샘플 평균과 다른 순위를 보여주었으며, 이는 다양한 실제 세계 태스크 카테고리에 걸친 성능 평가의 중요성을 강조합니다.

라이브 벤치마킹 검증

파이프라인은 필터나 규칙을 수정하지 않고도 이후의 시간적 창( $W_{live}$ )에 대해 테스트되었습니다.

산출량 (Yield): 파이프라인은 라이브 윈도우에서 34개의 최종 케이스를 성공적으로 생성했으며, 유지 비율은 기본 윈도우와 유사했습니다.
드리프트 (Drift): 라이브 윈도우는 기본 윈도우와 분포적으로 근접한 상태를 유지했습니다 (최대 JSD 0.0411). 이는 프로토콜이 비교 가능성을 유지하면서도 수요 변화를 추적할 수 있음을 확인시켜 줍니다.

의의 및 주장

본 논문은 REALCLAWBENCH가 실제 사용 환경에서 에이전트 역량을 더 잘 측정할 수 있는 실질적인 경로를 제공한다고 주장합니다. 실제 배포된 세션을 통제된 평가 인스턴스로 전환함으로써, 이 프레임워크는 작성된 벤치마크의 한계를 해결합니다.

주요 주장은 다음과 같습니다:

현실성: 벤치마크는 큐레이션된 데이터셋에서는 놓치기 쉬운 배포된 에이전트 사용의 분포, 다양성 및 실제 세계의 난이도를 포착합니다.
재현 가능성: 실제 세션을 소스 분포의 "측정된 형태"를 잃지 않으면서 재현 가능하고 자동으로 점수가 매겨지는 태스크로 변환할 수 있음을 입증합니다.
동적 평가: 프레임워크는 데이터 오염(contamination)을 줄이고 라이브 버전 릴리스를 지원하여, 배포된 에이전트 사용과 함께 벤치마크가 진화할 수 있도록 합니다.

저자들은 이 벤치마크가 OpenClaw 생로시스템 및 개발자 지향적 사용자층에 특화되어 있으며, 프로그래밍 방식의 스코어러가 최종 워크스페이스에서 확인 가능한 결과만을 선호하여 코드 유지보수성이나 부분적 진행 상황과 같은 특성은 놓칠 수 있다고 강조합니다. 그럼에도 불구하고, 이 프레임워크는 에이전트 평가를 실제 세계의 배포 데이터에 접지(grounding)하는 새로운 표준을 확립합니다.