🤖 machine learning

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

이 논문은 컴퓨터 사용 에이전트를 평가하기 위해 설계된 120개의 파워포인트 태스크 벤치마크인 PPT-Eval을 소개하며, 부분적인 진행 상황을 포착하고 인간의 판단과 강한 상관관계를 갖는 새로운 루브릭 기반 프레임워크를 특징으로 하여 현재의 최첨단 모델들이 여전히 복잡한 프레젠테이션 편집에 어려움을 겪고 있음을 밝혀낸다.

원저자: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 마이크로소프트 파워포인트를 사용하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 슬라이드를 보고, "여기에 파란색 원을 추가해"와 같은 요청을 이해한 뒤, 실제로 적절한 버튼을 클릭하여 이를 수행할 수 있는지 확인하고 싶습니다.

**"PPT-EVAL"**이라는 논문은 이 "컴퓨터 사용" 로봇들이 실제 세계의 프레젠테이션 업무를 얼마나 잘 수행할 수 있는지 확인하기 위해 설계된 거대하고 까다로운 테스트입니다.

다음은 비유를 사용하여 이 논문을 쉽게 풀어서 설명한 내용입니다.

1. 문제점: 현실 세계와 맞서는 로봇

기존의 로봇 테스트들은 로봇에게 제한된 버튼이 있는 비디오 게임 컨트롤러를 쥐여주는 것과 같았습니다. 로봇은 (코드 명령을 통해 "텍스트 추가"나 "색상 변경"을 하는 것처럼) 게임이 허용하는 범위 내에서만 할 수 있었습니다.

하지만 현실 세계에서 인간은 코드를 사용하지 않고 마우스, 키보드, 그리고 화면을 사용합니다. 인간은 메뉴를 클릭하고, 도형을 드래그하며, 단순한 코드 버튼이 없는 디자인 도구들을 사용합니다.

논문의 주장: 기존의 테스트들은 로봇이 실제로 파워포인트에서 마우스를 사용할 수 있는지를 확인하지 못했습니다. 그저 로봇이 "치트키"(API)를 사용할 수 있는지만 확인했을 뿐입니다. PPT-EVAL은 로봇이 인간처럼 **실제 파워포인트 인터페이스(GUI)**를 사용하도록 강제하는 최초의 테스트입니다.

2. 테스트: "파워포인트 체육관"

연구진은 12개의 서로 다른 파워포인트 파일에 걸쳐 **120개의 다양한 운동(태스크)**이 있는 체육관을 만들었습니다.

파일 구성: 이 파일들은 마치 도서관에 있을 법한 실제 발표 자료들과 같습니다. 어떤 것은 의학에 관한 것이고, 어떤 것은 역사나 회계에 관한 것입니다. 차트, 기묘한 레이아웃, 애니메이션 등이 포함되어 있습니다.
난이도: 운동의 난이도는 비디오 게임처럼 등급이 매겨집니다:
- 쉬움 (Easy): "배경 색상을 파란색으로 변경하세요." (단순함)
- 중간 (Medium): "리스트에 새로운 팀원을 추가하고 그 사람의 글꼴을 변경하세요." (몇 단계 필요)
- 어려움 (Hard): "이 복잡한 다이어그램을 재배치하고, 새로운 섹션을 추가하며, 애니메이션이 제대로 재생되는지 확인하세요." (사고력과 많은 단계가 필요함)

3. 채점 방식: "루브릭(채점 기준표)" (가장 중요한 부분)

이것이 이 논문의 가장 큰 혁신입니다. 과거의 테스트들은 합격/불합격(Pass/Fail) 방식의 시험과 같았습니다. 만약 로봇이 결과물의 90%를 맞혔더라도 아주 작은 디테일 하나를 놓쳤다면 0점을 받았습니다. 이는 로봇이 실제로 대부분의 작업을 수행했음에도 불구하고 불공평합니다.

연구진은 엄격한 선생님 대신 재능 쇼의 심사위원과 같은 **루브릭(상세 채점표)**을 만들었습니다.

부분 점수: 로봇이 원을 추가했지만 위치가 틀렸다면, 심사위원은 원을 추가한 것에 대해서는 점수를 주되 위치가 틀린 것에 대해서는 점수를 깎습니다.
감점: 만약 로봇이 실수로 슬라이드를 삭제하거나 요청하지 않은 이상한 애니메이션을 추가했다면, 심사위원은 점수를 차감합니다.
"인간적인 터치": 채점 시스템은 AI를 사용하여 *"원은 잘 만들었지만, 텍스트를 가리고 있습니다. 색상은 잘 맞췄지만 위치 수정이 필요합니다."*와 같이 자연어 설명을 작성합니다.

이 "재능 쇼 심사위원" 시스템은 실제 인간이 채점하는 방식과 77% 일치했습니다. 이는 이 테스트가 공정하고 정확하다는 것을 의미합니다.

4. 결과: 로봇은 아직 배우는 중입니다

연구진은 세계에서 가장 똑똑한 AI 로봇들(Claude-4.5 및 OpenAI 모델 등)을 이 테스트에 투입했습니다.

점수: 가장 뛰어난 로봇들도 과제를 "완벽하게" 수행한 비율은 약 **45%**에 불과했습니다.
평균: 부분 진행 상황을 모두 합산했을 때, 평균적으로 약 **57%**의 점수를 얻었습니다.
비교: 동일한 테스트를 받은 인간 전문가는 약 **80%**의 점수를 기록할 것입니다.
API vs GUI의 격차: 흥로도, 로봇들이 마우스 대신 "치트키"(API)를 사용할 수 있게 허용했을 때는 훨씬 더 높은 성적(성공률 62%)을 거두었습니다. 이는 로봇이 코드는 잘 다룰지 몰라도, 마우스와 키보드를 다루는 데 있어서는 여전히 서투르다는 것을 증证明합니다.

요약

PPT-EVAL을 로봇을 위한 운전 면허 시험이라고 생각해보세요.

과거의 테스트: 로봇에게 "자동차의 속도를 계산할 수 있습니까?"라고 물었습니다 (코드/API).
PPT-EVAL: 로봇을 운전석에 앉히고 핸들을 쥐여준 뒤, "가게까지 운전해서 가서, 지정된 칸에 주차하고, 연석을 들이받지 마세요"라고 말합니다 (GUI/마우스).

논문의 결론은 현재의 로봇들이 점점 나아지고는 있지만, 인간처럼 파워포인트를 사용하기 위해 필요한 미세한 운동 능력과 시각적 추론 능력은 여전히 부족하다는 것입니다. 그들이 우리의 프레젠테이션 업무를 완전히 대체하기까지는 아직 갈 길이 멉니다.

기술 요약: PPT-EVAL

문제 정의

프레젠테이션 슬라이드를 생성하고 편집하는 것은 보편적인 전문적 활동이지만, 컴퓨터 사용 에이전트(computer-use agents)를 평가하기 위한 영역으로는 여전히 미개척 분야로 남아 있습니다. 기존 벤치마크들은 프레젠테이션 소프트웨어에 대한 깊이가 부족하거나(예: OSWORLD, WindowsAgentArena), 프로그래밍 API에 국한되어 있습니다(예: PPTC, SlidesBench의 텍스트-투-슬라이드 생성). 이러한 한계는 에이전트가 디자인 도구, 고급 그래픽, 전환 효과, 애니메이션과 같이 현대적인 프레젠테이션 도구에서 제공하는 전체 기능 세트에 접근하는 것을 방해하며, 이러한 기능들은 대개 GUI(그래픽 사용자 인터페이스)를 통해서만 사용할 수 있습니다. 또한, 현재의 평가 지표는 이진 성공/실패 기준에 의존하는 경우가 많아, 부분적인 진행 상황의 뉘앙스를 포착하지 못하거나 복잡하고 개방적인 작업에서 불필요한 변경 사항에 대해 페널티를 부여하는 문제를 가지고 있습니다.

방법론

PPT-EVAL 벤치마크

저자들은 Internet Archive에서 가져온 12개의 PowerPoint 파일로 구성된 120개의 태스크인 PPT-EVAL을 소개합니다. 태스크는 다양한 도메인(의학, 컴퓨터 과학, 회계 등)을 다루며, 세 가지 난이도 수준으로 계층화되어 있습니다:

Easy (쉬움): 5단계 이하의 단순한 작업.
Medium (중간): 5~10단계의 복합 작업.
Hard (어려움): 10단계 이상의 복잡한 작업 또는 고도의 추론이 필요한 작업.

이 벤치마크는 PowerPoint Online을 사용하는 GUI 기반 상호작용을 위해 설계되었습니다. 에이전트는 Chromium 브라우저를 사용하는 샌드박스형 Ubuntu 환경 내에서 작동하며, 이를 통해 python-pptx와 같은 API 호출에 국한되지 않고 마우스, 키보드, 스크롤링 등 전체 엔드 유저 기능 표면에 접근할 수 있습니다.

평가 프레임워크: 트리 구조 루브릭(Tree-Structured Rubrics)

다중 모달(multimodal) 방식의 개방형 작업에서 발생하는 여러 가지 유효한 솔루션 문제를 해결하기 위해, 저자들은 루브릭 기반 평가 시스템을 설계했습니다. 주요 구성 요소는 다음과 같습니다:

트리 구조 루브릭: 각 태스크는 계층적 기준으로 분해됩니다. 노드는 핵심(critical) 요소(핵심 요구사항) 또는 비핵심(non-critical) 요소(스타일 선택, 불필요한 변경에 대한 페널티)로 분류됩니다.
부분 점수 산정: 이진 메트릭과 달리, 이 시스템은 중간 단계의 진행 상황에 대해 부분 점수를 부여합니다. 집계 전략은 다음과 같은 수정된 공식을 사용합니다:
$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$
여기서 $\lambda = 0.3$ 입니다. 이는 핵심적인 실패가 점수에 큰 영향을 미치도록 하는 동시에, 비핵심적인 오류가 의미 있는 진행 상황을 완전히 무효화하지 않으면서 페널티를 도입하도록 보장합니다.
다중 모달 검증: 리프 노드(leaf nodes)는 다음을 활용합니다:
- 구조적 변경, 애니메이션, 전환 효과를 위한 프로그래밍적 체크(python-pptx, 커스텀 PPTDiff 클래스).
- 정확한 픽셀 일치가 불충분한 경우(예: 색상 일치, 레이아웃 정렬)의 의미론적 정확성 및 시각적 검증을 위한 LLM/VLM 호출.
자연어 피드백: 시스템은 최종 점수를 위한 인간이 읽을 수 있는 피드백을 생성하기 위해 자식 노드의 설명을 재귀적으로 집계합니다.

실험 설정

저자들은 PPT-EVAL에서 다양한 에이전트를 평가했습니다:

폐쇄형 프런티어 모델 (Closed Frontier Models): OpenAI의 COMPUTER-USE-PREVIEW, Anthropic의 CLAUDE-4-SONNET, CLAUDE-4.5-OPUS.
오픈 웨이트 모델 (Open-Weights Models): OPENCUA (7B, 32B), QWEN3-VL (8B, 32B).
베이스라인 (Baselines): 인간 베이스라인 (참여자 5명) 및 pptx 스킬을 사용하는 CLAUDE-4.5-OPUS 기반의 API 방식 베이스라인.

주요 결과

에이전트 성능

상당한 격차: 프런티어 에이전트들은 PowerPoint 작업에 어려움을 겪습니다. 가장 강력한 모델인 CLAUDE-4.5-OPUS는 45%의 성공률(완벽한 점수)과 0.57의 평균 부분 점수를 기록했습니다.
인간 베이스라인: 인간 참여자들은 80%의 성공률과 0.90의 평균 부분 점수를 달성하여, 에이전트 역량의 개선 여지가 크다는 것을 보여주었습니다.
API vs. GUI: API 기반 베이스라인(pptx 스킬을 통한 CLAUDE-4.5-OPUS)은 가장 뛰어난 GUI 에이전트보다 훨씬 높은 성능을 보였습니다 (성공률 62% vs 45%). 이는 GUI 에이전트가 더 풍부한 기능에 접근할 수 있음에도 불구하고, CLI/API 학습 모델에 비해 성숙도가 뒤처져 있음을 입증합니다.
태스크 난이도: 성능은 난이도가 높아짐에 따라 급격히 저하됩니다. CLAUDE-4.5-OPUS는 Easy 태스크에서의 56% 성공률에서 Hard 태스크에서는 35%로 하락했습니다.
실패 모드: 분석 결과, 에이전트들은 고급 구조(표, 애니메이션, 비표준 레이아웃)를 다루는 데 어려움을 겪으며, 슬라이드 간의 일관성을 유지하거나 의도하지 않은 수정을 피하는 데 자주 실패하는 것으로 나타났습니다.

루브릭 신뢰도

루브릭 기반 평가는 인간의 판단과 강한 일치성을 보였습니다:

상관관계: 루브릭 점수와 인간이 기대하는 카테고리 간의 Kendall's $\tau_b$ 는 0.77, Spearman's $\rho$ 는 0.84였습니다.
정밀도: 시스템은 "진행 없음", "일부 진행", "상당한 진행", "완벽한 완료"를 효과적으로 구분해 냈으나, 주관적인 미적 판단이나 VLM의 환각(hallucination)으로 인한 일부 불일치가 발생했습니다.

의의 및 주장

본 논문은 PPT-EVAL이 프레젠테이션 편집을 위한 현실적인 GUI 수준의 벤치마크를 제공함으로써 컴퓨터 사용 에이전트 평가의 중요한 공백을 메운다고 주장합니다. 주요 기여는 다음과 같습니다:

현실적인 테스트베드: 전환 효과, 애니메이션, 디자인 도구를 포함한 PowerPoint의 전체 기능 세트에 대해 에이전트를 평가함으로써 API 중심의 작업을 넘어섭니다.
정교한 평가: 부분 점수와 자연어 피드백을 갖춘 트리 구조 루브릭을 도입함으로써, 이진 성공 메트릭의 한계를 극복하고 에이전트 역량을 더욱 세밀하게 평가할 수 있게 합니다.
현실적인 벤치마킹: 결과는 프런티어 모델들이 의미 있는 진전을 보이고 있음에도 불구하고, 복잡하고 반복적인 GUI 워크플로우에서는 여전히 인간 및 API 기반 에이전트에 비해 크게 뒤처져 있음을 보여줍니다.

저자들은 현실적인 GUI 기반 컴퓨터 사용 능력에 있어 "상당한 발전 가능성(headroom for progress)"이 존재하며, 본 벤치마크가 단순한 패스/페일(pass/fail) 메트릭을 넘어 이러한 진전을 측정할 수 있는 견고한 프레임워크를 제공한다고 결론지었습니다.