🤖 AI

PPTArena: A Benchmark for PowerPoint Editing

이 논문은 실제 슬라이드 수정을 사용하여 파워포인트 편집 에이전트를 평가하기 위한 종합적인 벤치마크인 PPTArena를 소개하고, 시맨틱 계획과 프로그래밍 및 XML 기반 작업을 결부터하여 기존 모델들을 크게 능가하는 구조 인식 에이전트인 PPTPilot을 제시하며, 장기 문서 편집에서의 남은 과제들을 강조한다.

원저자: Michael Ofengenden, Yunze Man, Ziqi Pang, Liang-Yan Gui, Yu-Xiong Wang

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Ofengenden, Yunze Man, Ziqi Pang, Liang-Yan Gui, Yu-Xiong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 누군가 이미 만들어 놓은 거대한 디지털 스크랩북(파워포인트 발표 자료)을 가지고 있다고 상상해 보세요. 당신의 임무는 전문 편집자처럼 행동하는 것입니다. 색상을 바꾸고, 사진을 옮기고, 텍xt를 수정하고, 페이지를 재배치하라는 지시 사항을 따라야 하지만, 이 과정에서 책의 등표지(spine)를 부러뜨리거나 지저분하게 만들어서는 안 됩니다.

이 논문은 컴퓨터가 이 업무를 얼마나 잘 수행할 수 있는지 알아보기 위해 새로운 도전 과제인 PPTArena와 새로운 로봇 편집자인 PPTPilot을 소개합니다.

다음은 쉬운 용어로 풀이한 내용입니다:

1. 문제점: 왜 이렇게 어려운가요?

파워포인트 파일을 단순히 페이지의 사진이 아니라, 하나의 복잡한 레고 성이라고 생각해 보세요.

기존 방식: 이전의 테스트들은 컴퓨터에게 성의 사진을 보여주고 무엇을 바꿀지 추측하게 했습니다. 이것은 레고 성을 고치려고 하는데, 평면적인 사진만 보고 고치는 것과 같습니다. 사진만 봐서는 아래에 어떤 브릭들이 있는지, 혹은 그것들이 어떻게 연결되어 있는지 알 수 없습니다.
현실: 실제 편집에는 슬라이드의 "설계도"(슬라이드 뒤에 숨겨진 코드)를 이해하는 것이 필요합니다. 만약 브릭 하나(텍스트 상자)를 움직였을 때, 기초(슬로 레이아웃)를 조정하지 않으면 성 전체가 무너질 수 있다는 것을 알아야 합니다.
격차: 현재의 AI는 처음부터 새로운 슬라이드를 만드는 데는 뛰어나지만, 디자인을 망가뜨리지 않고 기존의 것을 수정하는 데는 매우 서툽니다.

2. 해결책: PPTArena (테스트)

저자들은 AI가 훈련할 수 있는 거대한 "체육관"을 구축했습니다.

장비: 그들은 과학자, 기업가, 학생들의 실제 발표 자료에서 가져온 100개의 실제 프레젠테이션(2,100개 이상의 슬라이드 포함)을 모았습니다.
운동 루틴: 그들은 1,300개 이상의 구체적인 편집 작업을 만들었습니다. 이는 단순히 "글꼴을 바꿔라" 수준이 아닙니다. 다음과 같은 복잡한 도전 과제들입니다:
- "전체 데크의 색상 테마를 반전시키되, 차트는 전문적으로 보이게 유지하라."
- "슬라이드 2의 발표자 노트를 올바른 슬라이드로 옮기고 슬라이드 2를 삭제하라."
- "텍스트를 아랍어에서 영어로 번역하되, 레이아웃은 오른쪽에서 왼쪽 방향(RTL)을 유지하라."
채점 시스템: 사람이 일일이 모든 종이를 채점하는 대신, 두 명의 특화된 AI 심사위원을 사용했습니다:
1. 논리 심사위원: 코드를 살펴보고 지시 사항이 정확히 이행되었는지 확인합니다.
2. 예술 심사위원: 이미지를 살펴보고 결과물이 아름답고 전문적인지 확인합니다.
- 비유: 요리법을 제대로 따랐는지 확인하는 심사위원이 한 명 있고, 케이크가 맛있는지 맛을 보는 심사위원이 또 한 명 있는 것과 같습니다.

3. 주인공: PPTPilot (로봇 편집자)

저자들은 이 테스트에 도전할 자신들의 AI 에이전트인 PPTPilot을 만들었습니다.

작동 방식: 단순히 추측하는 대신, PPTPilot은 스마트한 프로젝트 매니저처럼 행동합니다.
- 1단계: 계획: 지시 사항을 읽고 슬라이드의 "설계도"를 살펴봅니다.
- 2단계: 도구 전환: 어떤 도구를 사용할지 결정합니다.
  - 만약 작업이 반복적이라면(예: 50개의 슬라이드 번역), 코드 스크립트(컨베이어 벨트와 같은 역할)를 사용합니다.
  - 만약 작업이 섬세하다면(예: 특정 도형이나 색상 수정), 직접적인 코드 수술(메스를 든 외과의사와 같은 역할)을 사용합니다.
- 3단계: 재확인: 변경을 마친 후, 결과를 확인합니다. 만약 결과가 잘못되었다면, 다음 단계로 넘어가기 전에 스스로 수정합니다.
결과: PPTPilot은 이러한 어려운 작업에서 다른 최고 수준의 AI 시스템보다 10점을 더 높게 기록했습니다. 지시 사항을 따르면서도 슬라이드를 보기 좋게 유지하는 데 훨씬 뛰어났습니다.

4. 핵심 요점

이 새로운 스마트한 로봇(PPTPilot)이 있음에도 불구하고, 이 논문은 파워포인트 편집은 여전히 매우 어렵다는 점을 인정합니다.

한계: 작업이 매우 길어지거나 여러 페이지에 걸쳐 아이디어를 연결해야 하는 경우, 최고의 AI조차 여전히 실수를 저지릅니다.
교훈: 파워포인트를 진정으로 마스터하려면, AI는 화면에 보이는 그림뿐만 아니라 문서의 구조를 이해해야 합니다.

요약하자면: 이 논문은 "우리는 AI 편집자를 위한 혹독한 테스트를 만들었으며, 우리의 새로운 로봇이 현재 이 게임에서 가장 뛰어나긴 하지만, 가장 어려운 단계에서는 여전히 고전하고 있다. 우리는 단순히 화면의 그림이 아닌, 문서의 '설계도'를 이해하는 더 똑똑한 로봇이 필요하다"라고 말하고 있습니다.

기술 요약: PPTArena 및 PPTPilot

문제 정의

본 논문은 시각-언어 모델(VLM) 에이전트의 능력에서 결정적인 격차를 식별합니다. 즉, 높은 정밀도로 기존 파워포인트(PPT) 슬라이드를 편집하는 능력의 부재입니다. 에이전트들은 슬라이드를 처음부터 생성하거나 기본적인 이미지 편집을 수행할 수는 있지만, 실제 문서의 비파괴적 수정을 요구하는 "제자리 편집(edit-in-place)" 제약 조건에서는 어려움을 겪습니다.

현재의 벤치마크들은 다음과 같은 이유로 불충분합니다:

래스터화된 표현(Rasterized representations): 슬라이드를 이미지나 PDF로 취급하는 방식은 정밀한 편집에 필수적인 기저의 의미론적 구조(도형 트리, z-순서, 마스터 레이아웃, 테마 슬롯 등)를 유실합니다.
텍스트-투-슬라이드 생성(Text-to-slide generation): 이들은 기존 데크를 개선하는 것이 아니라 새로운 콘텐츠를 만드는 데 집중하며, 지속적인 수정 과정을 통해 진화하는 전문적인 프레젠테이션의 현실을 간과합니다.
구조적 정답(Ground truth)의 부재: 많은 벤치마크가 최종 텍스트 문자열이나 픽셀 유사성만을 확인하며, 이는 의미론적 오류(예: 텍스트는 맞지만 잘못된 슬라이드에 배치됨)나 미학적 실패(예: 정렬 깨짐)를 감지하지 못합니다.

핵심 과제는 신뢰할 수 있는 PPT 편집을 위해 에이전트가 문서의 고유한 구조를 이해하고, 슬라이드 간의 의존성을 추론하며, 시각적 계층 구조와 스타일 일관성을 보존하는 수정을 실행할 수 있어야 한다는 점입니다.

방법론

1. PPTArena 벤치마크

저자들은 실제 데크를 대상으로 에이전트의 PPT 편집 능력을 평가하기 위해 설계된 벤치마크인 PPTArena를 소개합니다.

데이터 구성: 본 벤치마크는 학술, 기업 및 크리에이티브 도메인 전반에서 선별된 18,000개 이상의 후보 중 엄선된 100개의 실제 소스 데크로 구성되며, 여기에는 2,125개의 슬라이드가 포함됩니다.
태스크 규모: 16가지 특정 편집 유형(예: 텍스트 업데이트, 차트 리매핑, 테마 전환, 접근성 수정)을 아우르는 1,300개 이상의 인간 큐레이션 편집을 특징으로 하며, 이는 콘텐츠, 레이아웃, 스타일링, 상호작용, 구조라는 5가지 주요 그룹으로 분류됩니다.
난이도: 태스크는 다단계 추론, 슬라이드 간 의존성(32%의 태스크), 시각-텍스트 추론(28%의 태스크)을 요구하는 "장기적 관점(long-horizon)"의 과제로 설계되었습니다. 평균적인 태스크는 8.3개의 슬라이드에 걸쳐 13.4번의 연산을 포함합니다.
평가 프로토콜 (이중 판사 시스템): 단순한 픽셀 차이를 넘어, 저자들은 이중 VLM 판사 프레임워크를 채택합니다:
- 지시 이행(Instruction Following, IF) 판사: 원래의 슬라이드, 예측된 슬라이드, 그리고 정답(ground-truth) 슬라이드 간의 구조화된 데이터 차이(JSON/XML)를 분석하여 의미론적 정확성과 지시 사항에 대한 논리적 준수 여부를 검증합니다.
- 시각적 품질(Visual Quality, VQ) 판사: 렌더링된 스크린샷을 분석하여 지시 사항의 논리적 이행과는 독립적으로 미학적 완성도, 레이아웃 정렬, 타이포그래피를 평가합니다.
- 스타일 타겟: 각 태스크에는 콘텐츠, 타이포그래피, 색상 역할에 관한 정확성을 명확히 구분해 주는 인간 검증 기반의 샘플별 스타일 타겟 루브릭이 포함됩니다.

2. PPTPilot 에이전트

벤치마크의 과제를 해결하기 위해, 저자들은 견고하고 세밀한 편집을 위해 설계된 구조 인식 에이전트인 PPTPilot을 제시합니다.

이중 경로 아키텍처: PPTPilot은 "스킬 라우터(Skill Router, 경량 LLM)"를 사용하여 두 가지 실행 경로 중 하나를 결정합니다:
1. 프로그래밍 방식 편집(Programmatic Editing): 반복적이고 콘텐츠 중심적인 작업(예: 대량 번역, 찾아 바꾸기)을 위해 python-pptx API를 사용합니다.
2. 직접 XML 편집(Direct XML Editing): API가 정밀도가 부족한 경우(예: 특정 도형 위치, 마스터 레이아웃 변경 등 미세한 구조적 제어가 필요한 경우) 원시 Office Open XML(OOXML) 파일(예: slide1.xml, theme.xml)을 직접 파싱하고 패치합니다.
반복적 계획-편집-검증 루프(Iterative Plan-Edit-Verify Loop): 에이전트는 성찰 메커니즘을 사용합니다. 편집을 생성한 후, 결과를 렌더링하고 이를 지시 사항 및 스타일 타겟과 대조하여 검증하며, 오류가 감지되면 출력을 반복적으로 개선합니다.
구조 인식 계획(Structure-Aware Planning): 편집 전에 에이전트는 슬라이드 마스터, 플레이스홀더, 도형 트리를 파싱하여 문서의 인과적 구조를 이해합니다.

주요 기여

PPTArena 벤치마크: PPT 편집을 데크의 의미론에 대한 구조적이고 인과적인 프로그램으로 취급하는 최초의 벤치마크입니다. 이는 합성 템플릿이나 단순 API 차이에 의존하는 기존 연구와 달리, 요소 수준의 정답, 스타일 타겟, 그리고 인간의 지각과 엄격하게 일치하는 이중 판사 프로토콜을 제공합니다.
PPTPilot 에이전트: 고수준의 프로그래밍 도구과 결정론적인 XML 패칭을 결합한 새로운 에이전트 아키텍처입니다. 이는 신뢰할 수 있는 편집을 위해 구조 인식 계획과 하이브리드 실행이 필수적임을 입증하며, 기존의 독점적 에이전트들을 능가하는 성능을 보여줍니다.
경험적 분석: 최첨단 시스템들(ChatGPT Agent 및 MiniMax Agent 포함)조차 복합적이고 레이아웃에 민감하며 슬라이드 간 의존성이 있는 편집에서 어려움을 겪는다는 것을 밝혀내는 포괄적인 연구를 수행했습니다.

결과

성능: PPTPilot은 강력한 베이스라인들을 크게 앞섭니다. 전체 벤치마크에서 IF 점수 2.57, VQ 점수 2.69를 달성하였으며, 복잡하고 레이아웃에 민감하며 슬라이드 간 의존성이 있는 편집 작업에서 차순위 시스템인 ChatGPT보다 10 퍼센트 포인트 이상 높은 성적을 거두었습니다.
베이스라인의 한계: ChatGPT Agent 및 MiniMax Agent와 같은 독점 에이전트들은 슬라이드 간 의속성이나 마스터 레벨의 변경을 요구하는 작업에서 빈번하게 실패합니다. PPTAgent(생성 기반 파이프라인)는 기존 구조를 보존하지 못하는 문제로 인해 벤치마크의 루브릭 하에서 모든 태스크에 실패했습니다.
인간과의 일치성: 25명의 전문가를 대상으로 한 블라인드 테스트 결과, VLM 판사가 인간의 평가와 높은 상관관계를 보임이 확인되었습니다 (IF의 경우 Pearson $r=0.72$ , VQ의 경우 $r=0.81$ ). 이는 평가 프로토콜의 타당성을 입증합니다.
절제 연구(Ablation): 하이브리드 라우팅을 제거(XML 전용 또는 API 전용 강제)했을 때 성능이 급격히 저하되었습니다. 마찬가지로 반복적 개선 루프를 제거했을 때 점수가 낮아졌으며, 이는 계획-편집-체크 주기의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 PPTArena와 PPTPilot이 정적인 시각적 인지와 실행 가능한 에이전트 AI 사이의 간극을 메운다고 주장합니다. 저자들은 진정한 멀티모달 이해를 위해서는 에이전트가 단순히 시각적 레이아웃을 해석하는 것을 넘어, 그 기저의 구조를 인과적으로 조작할 수 있어야 한다고 주장합니다.

PPTPilot이 새로운 SOTA(State-of-the-Art)를 설정했음에도 불구하고, 논문은 신뢰할 수 있는 파워포인트 편집은 여전히 해결하기 매우 어려운 과제라고 겸허히 결론짓습니다. 최고의 에이전트들조차 장기적 관점의 문서 규모 태스크와 복잡한 시각-공간 추론에서 어려움을 겪습니다. 본 연구는 현재의 에이전트 시스템의 실패 모드를 드러내는 엄격한 테스트베드 역할을 하며, 사람들이 실제로 사용하는 문서의 신뢰할 수 있는 편집에 대한 향후 연구를 촉진하는 씨앗이 됩니다. 저자들은 추가적인 발전을 위해 코드와 벤치마크를 공개합니다.