ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

"ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

현재 언어 모델 (LM) 에이전트용 벤치마크는 주로 정적이며 단일 세션 환경 내의 '원샷 (one-shot)' 작업 해결사를 평가합니다. 그러나 LM 에이전트의 신흥 사용 사례는 여러 날에 걸쳐 인간과 함께 작업하는 지속적인 동료 (persistent coworkers) 입니다. 이 설정은 기존 벤치마크가 해결하지 못하는 세 가지 중요한 과제를 제시합니다.

• 시간적 진화: 에이전트와 무관하게 턴 (turn) 사이에 환경이 변화합니다 (예: 새로운 이메일 도착, 캘린더 항목 변경, 파일 업데이트). 에이전트는 정적 세계를 가정하는 대신 이러한 외생적 상태 변화 (exogenous state changes) 에 적응해야 합니다.
• 동적 상태: 정적 로그나 캐시된 스냅샷과 달리 실제 워크플로는 상태가 유지되는 서비스를 포함하며, 외부 요인으로 인해 1 단계에서 읽은 데이터가 2 단계에서 다를 수 있습니다.
• 다중 모달 증거: 전문적인 워크플로는 텍스트뿐만 아니라 이미지, 스캔된 PDF, 오디오, 비디오, 스프레드시트 등 다양한 모달리티에 걸친 원시적이고 전사되지 않은 증거에 의존합니다.

기존 벤치마크는 종종 점수 매기기를 위해 "LLM-as-a-judge(심판자 역할의 LLM)"에 의존하는데, 이는 주관성과 비결정성을 도입하며, 에이전트 턴 사이에 환경이 변형되는 "살아있는 세계 (living world)"를 거의 시뮬레이션하지 않습니다.

2. 방법론: ClawMark 벤치마크

ClawMark 는 상태가 유지되고 (stateful), 역동적이며 (dynamic), 다중 모달 (multimodal) 인 환경에서 동료 에이전트를 평가하도록 설계된 벤치마크입니다.

A. 환경 및 아키텍처

• 상태가 유지되는 샌드박스 서비스: 벤치마크는 Docker 환경 내의 다섯 가지 격리된 상태 유지 서비스를 대상으로 실행됩니다.
  1. 파일 시스템
  2. 이메일 (GreenMail SMTP/IMAP)
  3. 캘린더 (Radicale CalDAV)
  4. 지식 베이스 (Notion 호환)
  5. 스프레드시트 (Google Sheets 호환)
• 멀티턴, 멀티데이 워크플로우: 각 작업은 2~6 턴에 걸쳐 진행되며, 한 턴은 게임 내 하나의 근무일에 해당합니다.
• 외생적 변이 (Exogenous Mutations): 턴 사이 환경은 에이전트와 무관하게 두 가지 메커니즘을 통해 변이됩니다.
  • 노출된 이벤트 (Loud Events): "기상 (wake-up)" 프롬프트에 명시적으로 발표됨 (예: "새로운 이메일이 도착했습니다").
  • 침묵하는 변이 (Silent Mutations): 서비스 내에 주입되지만 통보되지 않는 변경 사항 (예: 스프레드시트 행이 덮어쓰기됨, 파일이 수정됨). 에이전트는 상태를 새로고침하여 이를 감지해야 합니다.
• 다중 모달 입력: 증거는 사진, 오디오, 비디오, PDF 등 전사되지 않은 원시 아티팩트 형태로 제공되며, 에이전트는 이를 처리하기 위해 (whisper, ffmpeg, PyMuPDF 등) 도구를 사용해야 합니다.

B. 점수 매기기 프로토콜 (LLM-as-Judge 부재)

ClawMark 는 완전히 결정적이고 규칙 기반인 점수 매기기 시스템을 사용합니다.

• 체크어 (Checkers): 각 작업에는 샌드박스화된 서비스의 실행 후 상태를 검사하는 6~29 개의 가중치 부여된 Python 체크어가 포함됩니다.
• 지표:
  • 가중 점수: 가중치 부여된 체크어의 통과율에 기반한 부분적 진전을 보상하는 연속 지표 (0~100).
  • 작업 성공: 모든 체크어가 통과해야 하는 엄격한 이진 지표 (0~100%).
• 적색선 제약 (Red-Line Constraints): 55 개의 특정 체크어가 "적색선 (hard constraints)" 역할을 합니다. 이를 위반하는 경우 (예: 최종 보고서 작성 전 청구 승인, 데이터 유출) 다른 진전과 무관하게 심각한 페널티나 실패로 이어집니다.
• 결정성 보장: 두 개의 독립적인 재실행이 비트 단위 (bit-identical) 로 동일한 체크어 판정을 생성할 때만 작업이 공개되어 LLM 심판자 없이 재현성을 보장합니다.

C. 구축 파이프라인

이 벤치마크는 작업 우선 (task-first) 파이프라인을 사용하여 구축되었습니다.

1. 작업 작성: 설계자가 워크플로우, 평가 기준 (rubric), 필요한 상태 변경 사항을 정의합니다.
2. 증거 소싱: 1,072 개의 원시 다중 모달 아티팩트가 웹 수집, 원본 녹음, 또는 타겟팅된 AI 합성을 통해 작업 설계에 맞게 수집됩니다.
3. 검토 루프: 인간 검토, AI 감사 ("체크어 해킹" 또는 취약한 문자열 매칭 확인), 참조 모델에 의한 궤적 검토를 포함하는 3~5 회 과정입니다.
4. 공개 게이트: 모든 감사를 통과하고 결정적인 체크어 일관성을 입증할 때만 작업이 공개됩니다.

3. 주요 기여

1. 최초의 "살아있는 세계" 벤치마크: 멀티데이 타임라인, 외생적 환경 변이, 원시 다중 모달 증거를 결합한 벤치마크를 도입합니다.
2. 결정적 평가 프로토콜: LLM-as-judge 편향을 제거하고 비트 단위 재현성을 보장하는 1,537 개의 체크어 기반 규칙 점수 매기기 시스템을 확립합니다.
3. 포괄적인 데이터셋: 13 가지 전문 시나리오 (예: 임상 보조, 보험, EDA, 법률) 에 걸쳐 87 개의 고유한 역할을 포함하는 100 개의 작업을 공개합니다.
4. 오픈 인프라: 재현 가능한 연구를 지원하기 위해 벤치마크, 평가 하네스, 구축 파이프라인을 공개합니다.

4. 실험 결과

저자들은 OpenClaw 프레임워크를 사용하여 7 개의 최첨단 에이전트 시스템 (상용 5 개, 오픈소스 2 개) 을 벤치마크했습니다.

전반적 성능

• 가중 점수: 최상위 성능을 보인 Claude Sonnet 4.6은 75.8을 기록했습니다. 다른 최상위 모델로는 Claude Opus 4.6(74.6) 과 GPT-5.4(72.0) 이 포함됩니다.
• 엄격한 작업 성공: 부분적 진전과 완전한 완료 사이의 격차는 매우 큽니다. 가장 높은 작업 성공률은 20.0% (Claude Opus 4.6) 에 불과했습니다. 대부분의 모델은 작업의 15% 미만을 엔드투엔드로 해결했습니다.
• 시나리오 분산: 성능은 도메인에 따라 크게 달라졌습니다. 예를 들어, 모델들은 "EDA(전자 설계 자동화)"와 "부동산"에서는 뛰어났으나 "프로젝트 관리"에서는 크게 어려움을 겪었습니다 (평균 점수 약 35.1).

턴 수준 분석 (적응)

• 2 일차 하락: 73 개의 3 턴 작업에 대한 분석 결과, 7 개 모델 중 6 개가 첫 번째 외생적 변이가 발생하는 2 일차에 성능이 하락한 것으로 나타났습니다.
• 회복: 3 일차까지 대부분의 모델은 부분적으로만 회복하여 1 일차 기준치 이하에 머물렀습니다. 이는 변화하는 상태에 적응하는 것이 주요 실패 지점임을 강조합니다.
• 효율성: 토큰/도구 사용량과 점수 사이에는 단조로운 관계가 없었습니다. 흥미롭게도 최상위 점수를 기록한 모델들 (Sonnet 4.6, Opus 4.6) 이 가장 도구 효율성이 높았습니다.

실패 분류

10,759 개의 체크어 평가 분석은 두 가지 지배적인 실패 모드를 드러냈습니다.

1. 침묵하는 변화 감지 (56.5% 실패율): 에이전트는 종종 환경의 통보되지 않은 변경 사항을 감지하지 못했습니다.
2. 백엔드 쓰기 (53.6% 실패율): 에이전트는 종종 올바르게 추론했지만 파일 저장이나 행 업데이트와 같이 최종 작업을 올바른 서비스에 커밋하지 못했습니다.

• 적색선 위반: 전체적으로는 드물었으나 (7.1%), 특정 작업에 집중되었습니다. 특히 Qwen 3.6 Plus는 최상위 모델들 (~3.6%) 에 비해 적색선 실패율이 현저히 높았습니다 (14.5%).

5. 의의

ClawMark 는 에이전트 평가의 패러다임 전환을 나타냅니다.

• 정적에서 역동적으로: "이 퍼즐을 풀어라"에서 "이 워크플로우를 관리하라"로 넘어가, 에이전트가 시간 경과에 따른 컨텍스트 유지 능력과 외부 노이즈에 적응하는 능력을 테스트합니다.
• 유창함보다 신뢰성: 엄격한 작업 성공 지표와 적색선 제약은 전문적인 환경에서 부분적 진전이나 유창한 대화보다 준수와 정확성이 더 중요함을 강조합니다.
• 실제 사용 준비도: 결과는 최첨단 모델이 복잡한 추론을 처리할 수는 있지만, 특히 침묵하는 상태 변화를 감지하고 신뢰할 수 있는 백엔드 업데이트를 실행하는 지속적이고 자율적인 동료 역할에 필요한 견고성은 현재 부족함을 나타냅니다.

ClawMark 의 공개는 진정한 신뢰할 수 있는 지속적 AI 동료를 향한 진전을 이끌기 위해 필요한 인프라를 제공합니다.