🤖 AI

AcademiClaw: When Students Set Challenges for AI Agents

본 논문은 학생 제출물에서 선별된 80 가지의 복잡한 실제 학술 과제로 구성된 이중 언어 벤치마크인 AcademiClaw 를 소개하여 장기적·다영역적 과제를 처리하는 데 있어 현재 AI 에이전트의 한계를 평가하고 진단하며, 최첨단 모델조차 55% 의 통과율만 달성함을 보여준다.

원저자: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 초지능 로봇 비서를 만들었다고 가정해 봅시다. 지금까지는 간단한 잡일을 시켜 테스트해 왔습니다. "이 이메일들을 정렬해 줘", "이 회의를 내 캘린더에 추가해 줘", "파스타 레시피 찾아줘" 같은 요청들입니다. 로봇은 이런 작업에 능숙합니다. 마치 매우 효율적인 개인 비서처럼 말이죠.

하지만 여기에 문제가 있습니다. 우리는 실제로 이 로봇이 진짜로 어려운 일을 해낼 수 있는지 알지 못합니다. 복잡한 수학 문제를 풀 수 있을까요? 처음부터 비디오 게임을 만들 수 있을까요? 고장 난 컴퓨터 칩을 디버깅할 수 있을까요? 지금까지는 아무도 로봇에게 이러한 질문들을 공정하고 표준화된 방식으로 제대로 물어본 적이 없습니다.

바로 이 논문, AcademiClaw가 다루는 주제입니다. 이는 연구실의 연구자들이 만든 것이 아니라, 실제로 숙제와 프로젝트에 애를 먹고 있는 대학생들이 설계한 새로운 AI 에이전트용 '최종 시험'입니다.

이 논문을 간단한 비유로 설명해 드리겠습니다.

1. 문제: '비서' 대 '엔지니어'

현재의 AI 벤치마크 (AI 평가 기준) 를 생각해보면, 이는 식료품 배달 운전기사용 면허 시험과 같습니다. 병렬 주차와 적색 신호에서 멈추는지 확인합니다. 이는 유용하지만, 포뮬러 1 경주차를 운전하거나 제트 엔진을 수리할 수 있는지 알려주지는 않습니다.

이 논문은 'OpenClaw' AI 시스템에 대한 기존 테스트가 파일 정리와 같은 '비서 수준'의 기술만 확인한다고 주장합니다. 이는 학문적 수준의 기술이라는 거대한 공백을 남겨둡니다. 이는 수학 정리를 증명하거나 복잡한 AI 모델을 훈련시키는 것과 같이 수년의 학습이 필요한 깊고 복잡한 작업들입니다.

2. 해결책: '학생 제출형' 시험

연구자들이 가짜 문제를 만들어낸 대신, 저자들은 230 명의 대학생에게 실제로 마주친 문제를 제출하도록 요청했습니다.

상황: 한 학생이 어려운 코딩 프로젝트나 연구 논문 작성에 AI 의 도움을 받으려 합니다. 하지만 AI 는 실패하거나 막힙니다. 학생은 말합니다. "이건 AI 에겐 너무 어려워."
필터링: 전문가들이 이 230 건의 제출물을 검토하고 가장 좋은 80 건을 선정했습니다.
결과: 올림피아드 수준의 수학부터 GPU 를 많이 사용하는 비디오 게임 물리 엔진과 복잡한 소프트웨어 디버깅에 이르기까지 25 개 이상의 분야를 아우르는 테스트 세트를 완성했습니다.

비유: 요리사 대회를 상상해 보세요. 심사위원들이 요리사에게 "양파를 다져라"라고 요구하는 대신, 고객인 학생들은 "세 대륙의 재료를 사용하고 특정 스타일로 조리한 5 코스 요리를 40 분 안에 준비해 달라"고 요구합니다. 이것이 AcademiClaw 가 도입하는 난이도 수준입니다.

3. 테스트 환경: '안전한 샌드박스'

AI 가 무언가를 부수거나 속이지 않도록 하기 위해, 모든 작업은 디지털 샌드박스(Docker 컨테이너라고 불리는 잠긴 컴퓨터 환경) 에서 수행됩니다.

AI 에게 작업이 부여됩니다.
AI 는 파일을 읽고, 코드를 작성하고, 프로그램을 실행하며, 웹 브라우저까지 사용할 수 있습니다.
모든 것을 스스로 단계별로 수행해야 합니다.
중요한 세부 사항: 일부 작업에는 GPU(무거운 수학 계산과 AI 훈련에 사용되는 강력한 그래픽 카드) 가 필요합니다. 이는 로봇에게 무거운 무게를 들어 올리도록 요구하는 것과 같습니다. 대부분의 이전 테스트는 로봇에게 깃털 하나 들어 올리도록만 요구했습니다.

4. 채점 방식: '다층 심사관'

"완료했나요?"라고 묻기만 해서는 안 됩니다. 답이 "예, 하지만 코드가 고장 났어요"일 수 있기 때문입니다.
이 논문은 6-in-1 채점 시스템을 사용합니다:

패턴 매칭: 올바른 단어를 작성했나요?
코드 실행: 프로그램이 실제로 충돌 없이 실행되나요?
AI 심사관: 또 다른 AI 가 보고서를 읽고 교사처럼 채점합니다.
비전 AI: 차트나 이미지가 올바른지 '볼' 수 있나요?
브라우저 테스트: 실제로 작동하는 웹사이트를 만들었나요?
구조 확인: 파일 형식 (JSON 또는 CSV 등) 이 올바른가요?

또한 AI 가 중요한 파일을 삭제하거나 하지 말아야 할 곳에 해킹을 시도하지 않았는지 확인하는 안전 감사(경비원 역할) 도 있습니다.

5. 결과: '현실 확인'

저자들은 이 새로운 시험에서 Claude, GPT, Gemini 와 같은 가장 똑똑한 AI 모델 6 개를 테스트했습니다.

점수: 최고의 AI 조차도 작업의 **55%**만 통과했습니다. 이는 대학생들이 어렵다고 느낀 문제의 거의 절반에서 실패했다는 뜻입니다.
'과도한 사고' 함정: 논문은 이상한 점을 발견했습니다. 일부 AI 는 다른 모델보다 **5 배 더 많은 '두뇌 능력'(토큰)**을 사용했지만 더 좋은 결과를 얻지 못했습니다.
- 비유: 두 학생이 시험을 본다고 상상해 보세요. 학생 A 는 문제를 신중히 읽고 1 분간 생각한 후 완벽한 답을 씁니다. 학생 B 는 당황하여 10 페이지 분량의 엉뚱한 소리를 써내려 갔다가 틀린 답을 얻습니다. 논문은 더 많은 노력은 반드시 더 좋은 품질을 의미하지 않는다는 것을 발견했습니다.
서로 다른 성격: AI 들은 서로 다른 '성격'을 보였습니다:
- 독서가: (Claude) 먼저 모든 것을 읽고, 생각한 후 행동합니다. 품질은 높지만 느립니다.
- 망치: (Gemini) 즉시 무언가를 두드리기 시작합니다 (코드 실행). 작동하기를 바라며 바로 시작합니다. 빠르지만 종종 무언가를 고장 내고 안전 검사를 통과하지 못합니다.
- 극소주의자: (GPT) 최소한의 노력만 하지만 놀랍게도 좋은 결과를 얻습니다.

6. 핵심 교훈

이 논문은 결론적으로 AI 가 '디지털 비서'로서는 훌륭하지만, '연구자'나 '엔지니어'로 요구될 때는 여전히 매우 불안정하다고 결론지었습니다.

격차: 오늘날 AI 가 할 수 있는 것과 실제 학문 및 전문직 업무가 요구하는 것 사이에는 엄청난 괴리가 있습니다.
안전 문제: 문제를 해결하기 위해 '추측하고 확인'하는 방식을 시도한 AI(Gemini) 가 안전 규칙을 위반할 가능성이 가장 높은 모델이었습니다.
미래: 저자들은 이 새로운 테스트 (AcademiClaw) 가 개발자들이 실제 세계에서 마주치는 쉽고 복잡한 문제뿐만 아니라, 진짜 어려운 복잡한 문제를 해결할 수 있는 AI 를 구축하는 데 도움이 되기를 바랍니다.

간단히 말해: 이 논문은 실제 학생 숙제를 이용해 AI 를 위한 '하드 모드' 테스트를 구축했습니다. 그 결과, 가장 똑똑한 AI 들조차도 실제 세계의 깊고 복잡한 작업에 여전히 어려움을 겪고 있으며, 더 많은 컴퓨팅 파워를 사용한다고 해서 반드시 더 똑똑해지는 것은 아니라는 것이 드러났습니다.

기술 요약: AcademiClaw

문제 제기

OpenClaw 생태계가 자율 에이전트를 위한 선도적인 오픈소스 프레임워크로 빠르게 진화해 왔음에도 불구하고, 해당 생태계 내 기존 평가 벤치마크는 어시스턴트 수준 작업(예: 이메일 분류, 일정 관리, 프로젝트 스캐폴딩) 으로 제한되어 왔습니다. 이러한 작업들은 실용적이기는 하지만, 실제 학술 및 전문 업무 워크플로우에 필요한 도메인 전문성과 지속적인 다단계 추론의 깊이가 부족합니다. 결과적으로 수학 증명, GPU 집약적 모델 학습, 프레임워크 간 디버깅, 과학적 데이터 분석과 같은 복잡하고 지식 집약적인 문제에 직면했을 때 OpenClaw 에이전트의 능력을 이해하는 데 치명적인 격차가 존재합니다. 현재의 벤치마크는 이러한"학술 수준"과제에서 에이전트를 체계적으로 평가하지 못해, 커뮤니티가 에이전트를 현재 어시스턴트 중심의 범위를 넘어 발전시키기 위한 실행 가능한 진단 신호를 얻지 못하게 하고 있습니다.

방법론

작업 수집: 하향식 접근

연구자들이 상향식으로 작업을 설계하는 전통적인 벤치마크와 달리, AcademiClaw는 사용자 기반의 하향식 수집 전략을 채택합니다.

출처: 230 개의 후보 작업이 대학 학생들이 현재 AI 에이전트가 비효율적이라고 판단한 실제 학술 워크플로우 (과제, 연구 프로젝트, 대회, 개인 프로젝트) 를 기반으로 제출되었습니다.
필터링: 엄격한 2 단계 전문가 검토 과정을 통해 이러한 후보들이 최종 80 개의 고품질 작업으로 정제되었습니다. 전문가들은 프롬프트 명확성, 채점 기준의 정확성, 채점의 재현성, 난이도 보정, 그리고 도메인 균형을 기준으로 작업을 평가했습니다.
범위: 최종 데이터셋은 CMO(중국 수학 올림피아드) 증명 및 IOL(국제 언어학 올림피아드) 문제부터 GPU 집약적 강화학습 및 풀스택 시스템 디버깅에 이르기까지 25 개 이상의 전문 도메인을 포괄합니다. 이전 OpenClaw 벤치마크에는 없었던 CUDA 실행이 필요한 16 개의 GPU 집약적 작업이 포함되어 있습니다.
양국어 특성: 벤치마크는 양국어 (영어 49 개, 중국어 31 개) 로 구성되어 있으며, 중국어 작업은 원어민 수준의 중국어와 문화적 기반 역량이 요구됩니다 (예: 당시 적응, 쌍핀 인코딩 이해). 이는 단순한 지시 사항 번역이 아닙니다.

실행 환경

격리: 각 작업은 2 계층 이미지 계층 구조 (기본 CPU/GPU 환경 + 작업별 종속성) 를 갖춘 격리된 Docker 샌드박스 내에서 실행됩니다.
에이전트 프레임워크: 작업은 파일 조작, 쉘 실행, 웹 검색, 헤드리스 브라우저 자동화를 포함한 통합 도구 팔레트를 제공하는 OpenClaw 에이전트 프레임워크를 사용하여 해결됩니다.
평가 프로토콜: 에이전트는 작업당 한 번의 시도만 허용되며 재시도는 불가능합니다. 평가 기준은 실행 중 에이전트에게 공개되지 않습니다.

다차원 평가 프레임워크

AcademiClaw 는 이진 통과/실패 지표를 넘어 6 가지 보완적 검증 기법을 결합한 다차원 채점 기준(0~100 척도) 을 도입하여 이를 초월합니다:

패턴 매칭: 정규식, 키워드 감지, AST 파싱.
코드 실행: 참조 솔루션에 대한 유닛 테스트 컴파일 및 실행.
LLM-as-Judge: 결정론적 휴리스틱 폴백을 사용하여 개방형 출력 (보고서, 창의적 글쓰기) 평가.
비전 LLM 평가: 렌더링된 그래픽 또는 GUI 스크린샷을 참조와 비교.
엔드투엔드 브라우저 테스트: Playwright 를 사용하여 동적 웹 요소와 상호작용.
구조화된 출력 유효성 검사: JSON 스키마 확인, CSV 검증, BibTeX 파싱.

또한, 5 가지 범주의 안전 감사(S1~S5) 가 파괴적 작업, 정보 유출, 경계 준수, 권한 상승, 공급망 위험을 평가합니다.

주요 기여

OpenClaw 최초의 학술 수준 벤치마크: AcademiClaw 는 연구자가 아닌 대학 학생들로부터 완전히 수집된 80 개의 작업으로 구성된 학술 수준의 복잡성을 목표로 하는 생태계 내 최초의 벤치마크입니다. 이는 16 개의 GPU 집약적 작업을 독점적으로 포함합니다.
새로운 평가 프레임워크: 본 논문은 6 가지 검증 기법과 5 가지 범주의 안전 감사를 결합한 다차원 채점 시스템을 도입하여 집계 지표를 넘어선 세밀한 진단 신호를 제공합니다.
체계적인 실증 분석: 저자들은 6 개의 최첨단 모델 (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen3.5-397B, MiniMax M2.7) 에 대한 포괄적인 평가를 제공하여 경량 벤치마크에 의해 숨겨진 현상을 드러냈습니다.

실험 결과

전반적 성능

최고 성능 모델인 Claude Opus 4.6조차도 55% 의 통과율(점수 ≥75) 을 기록했으며 평균 점수는 71.9 였습니다. 가장 강력한 모델과 가장 약한 모델 (MiniMax M2.7) 간의 평균 점수 차이는 8.8 점이었으나, 통과율 격차는 더 컸습니다 (55.0% 대 37.5%). 특히, 80 개 작업 중 23 개(28.8%) 가 6 개 모델 모두를 무효화했으며, 8 개 작업에서는 모든 모델의 점수가 50 점 미만이었습니다.

도메인 및 작업 수준 패턴

작업 난이도 우세: 작업 카테고리 간 성능 변동 (26.3 점 범위) 은 모델 간 변동 (8.8 점 범위) 을 훨씬 초과했습니다. STEM 추론이 가장 어려운 카테고리였으며 (평균 점수 약 50.6), 언어 및 창의성이 가장 쉬웠습니다 (평균 점수 약 76.9).
역량 한계: 특정 작업은 날카로운 역량 한계를 드러냈습니다. 예를 들어, 백 년의 고독에서 가족 관계도 추출 작업의 경우 일부 모델은 8692 점을 받은 반면 다른 모델은 3 점에 그쳤습니다 (90 점 차이). 마찬가지로 TensorFlow 에서 PyTorch 로의 마이그레이션 작업은 GPT-5.4 에서 치명적인 실패 (점수 0) 를 초래한 반면 다른 모델들은 7490 점을 받았습니다.

행동 양상

본 연구는 모델들 사이에서 세 가지 뚜렷한 행동 전략을 식별했습니다:

읽기 우선 (Claude Opus 4.6): 실행 전에 파일 읽기를 우선시합니다 (도호 호출의 41%). 이 전략은 가장 높은 품질 ("이해 프리미엄") 을 산출했으나 중간 정도의 토큰 사용량을 필요로 했습니다.
실행 우선 (Gemini 3.1 Pro): 시도와 오류 접근 방식으로 쉘 실행에 크게 의존합니다 (호출의 74.3%). 이는 가장 높은 토큰 소비량 (280 만 토큰, GPT-5.4 보다 5.4 배 많음) 을 초래했으나 품질은 낮았고 안전 점수는 가장 낮았습니다 (74.9). 이는 주로 경계 위반 때문입니다.
최소주의 (GPT-5.4): 가장 적은 수의 도구 호출 (19 회) 과 토큰 (52.5 만 개) 을 사용하며 가장 짧은 실행 시간을 보였으며, 내부 추론을 통해 경쟁력 있는 품질을 달성했습니다.

토큰 - 품질 불일치

중요한 발견은 모든 모델 간 토큰 소비량과 작업 품질 사이의 거의 제로 상관관계( $r = -0.03$ ) 입니다. 이는 현재 에이전트들이 언제 반복을 중단할지 결정하는 효과적인 메커니즘이 부족하여, 증가된 계산 노력이 더 나은 해결책으로 이어지지 않는"과도한 사고"페널티로 이어짐을 시사합니다.

안전 분석

안전과 품질은 대체로 독립적인 것으로 나타났습니다 ( $|r| < 0.29$ ). 그러나 **경계 준수 (S3)**는 결정적인 안전 차원이었으며, 가장 안전한 모델 (Claude 모델, 약 84) 과 가장 안전하지 않은 모델 (Gemini, 31.6) 사이에 53 점의 격차가 있었습니다. 이는 지정된 작업 공간 외부의 파일에 액세스할 위험을 증가시키는 빈번한 쉘 실행과 관련된"실행 우선"양상과 상관관계가 있습니다.

중요성 및 주장

저자들은 AcademiClaw 를 에이전트 평가의 필수적인 진화로 위치시키며, 초점을 어시스턴트 수준 루틴에서 실제 학술 및 전문 실무의 복잡하고 개방적인 요구사항으로 전환합니다.

진단 가치: 벤치마크는 집계 지표가 모호하게 만드는 특정 역량 격차 (예: 형식적 추론 대 생성 작업) 및 행동 비효율성 (예: 토큰 - 품질 불일치) 을 드러내는 세밀한 신호를 제공합니다.
커뮤니티 자원: 데이터와 코드를 오픈소스로 공개함으로써 저자들은 더 역량이 있고 다재다능한 에이전트 발전을 촉진하여 OpenClaw 커뮤니티가 현재 어시스턴트 중심의 범위를 넘어설 수 있도록 돕고자 합니다.
겸손한 범위: 저자들은 현재 데이터셋이 단일 대학의 컴퓨터 과학 학부생으로부터 수집되었으며 단일 시도 평가에 의존한다는 한계를 인정합니다. 그들은 벤치마크를 향후 더 포괄적이고 다학제적이며 다중 시도 평가 프로토콜로 나아가기 위한 기초적인 단계로 규정합니다.