PresentBench: A Fine-Grained Rubric-Based Benchmark for Slide Generation

이 논문은 슬라이드 생성 모델의 성능을 정밀하게 평가하기 위해 배경 자료와 238 개의 인스턴스, 그리고 각 인스턴스당 약 54 개의 세부 체크리스트를 포함한 'PresentBench'라는 새로운 벤치마크를 제안하고, 이를 통해 기존 방법보다 인간 선호도와 높은 정합성을 보이며 NotebookLM 이 다른 방법들보다 우수함을 입증했습니다.

핵심

프레젠테이션의 '정밀 검사관': 프레젠티벤치 (PresentBench) 소개

안녕하세요! 오늘 소개해 드릴 논문은 **"프레젠티벤치 (PresentBench)"**라는 이름의 새로운 평가 도구에 관한 것입니다. 이걸 쉽게 설명해 드리자면, **AI 가 만들어주는 발표 자료 (슬라이드) 의 품질을 꼼꼼하게 검사해주는 '초정밀 검사대'**라고 생각하시면 됩니다.

1. 왜 이런 도구가 필요할까요? (배경)

지금 AI 는 글을 쓰거나 그림을 그리는 것뿐만 아니라, 발표용 슬라이드를 자동으로 만들어주는 능력도 점점 좋아지고 있습니다. 하지만 문제는 "이 AI 가 만든 슬라이드가 정말 좋은 건가?"를 판단하기가 매우 어렵다는 점입니다.

• 기존 방식의 문제점: 예전에는 AI 가 만든 슬라이드를 보고 "음, 전체적으로 괜찮네?"라고 **대략적인 느낌 (직관)**으로 점수를 매겼습니다. 마치 요리사가 만든 요리를 맛보고 "맛있어!"라고만 하는 것과 비슷합니다.
• 실제 상황: 하지만 발표 자료는 단순히 '맛있는' 게 중요한 게 아닙니다. 숫자가 정확한지, 중요한 내용이 빠지지 않았는지, 디자인이 일관성 있는지 등을 하나하나 따져봐야 합니다. 기존 방식은 이런 디테일을 놓치기 일쑤였습니다.

2. 프레젠티벤치는 어떻게 작동할까요? (핵심 아이디어)

프레젠티벤치는 "체크리스트 (Checklist)" 방식을 사용합니다. 이를 수능 모의고사에 비유해 볼까요?

• 기존 방식 (느낌 점수): "이 답안지, 전체적으로 잘 썼네. 80 점!" (왜 80 점인지 구체적 이유 불명확)
• 프레젠티벤치 방식 (정밀 채점):
  1. 문제 1: 1 번 문항의 정답이 A 인지 확인 (O/X)
  2. 문제 2: 2 번 문항의 계산 과정이 맞는지 확인 (O/X)
  3. 문제 3: 3 번 문항의 오타가 있는지 확인 (O/X)
     ...
  4. 문제 54: 마지막 문항의 서술이 원문과 일치하는지 확인 (O/X)

이 논문에서는 **슬라이드 하나당 평균 54 개의 작은 질문 (체크리스트 항목)**을 만들어서, AI 가 만든 슬라이드를 하나하나 뜯어고쳐 봅니다.

예를 들어보면:

• "원래 자료에 '매출 1 억 원'이라고 했는데, 슬라이드에는 '매출 10 억 원'이라고 썼나요?" -> 틀림 (X)
• "원래 자료에 없던 '비밀 프로젝트'라는 내용을 임의로 추가했나요?" -> 틀림 (X)
• "슬라이드 10 장에 그림이 너무 작아서 안 보이나요?" -> 틀림 (X)

이렇게 54 개의 작은 질문에 대해 '예 (O)' 또는 '아니요 (X)'로 답하고, 그 점수를 합산해서 최종 점수를 매깁니다.

3. 이 도구의 놀라운 발견 (실험 결과)

연구진은 이 새로운 검사대를 이용해 여러 AI 발표 생성 도구들을 시험해 보았습니다. 결과는 매우 흥미로웠습니다.

• 기존 평가 vs 프레젠티벤치: 기존 방식은 AI 에게 너무 관대해서 "다 잘했다"고 점수를 높게 줬지만, 프레젠티벤치는 **치명적인 실수 (숫자 오류, 내용 누락 등)**를 찾아내어 점수를 낮게 매겼습니다.
• 누가 가장 잘했나? 여러 AI 중 **Google 의 'NotebookLM'**이 다른 도구들보다 훨씬 뛰어난 성능을 보였습니다. 마치 다른 학생들은 기본 개념만 이해한 반면, NotebookLM 은 교과서를 통째로 외우고 그림까지 완벽하게 그리는 수석생 같은 존재였습니다.
• 남은 과제: 아직 AI 는 디자인 감각이나 복잡한 자료의 정확한 인용 부분에서 인간을 따라가지 못한다는 한계도 드러났습니다.

4. 결론: 왜 이것이 중요한가요?

프레젠티벤치는 AI 가 슬라이드를 만들 때, "그냥 그럴싸하게 만드는 것"을 넘어 "사실에 기반하고, 정확하며, 인간이 보기 좋은 자료"를 만들도록 유도하는 나침반 역할을 합니다.

마치 자동차를 만들 때 단순히 "빠르다"고만 평가하는 게 아니라, "브레이크는 잘 먹히나?", "안전벨트는 고장 없나?", "연비는 실제와 같은가?"를 하나하나 테스트하는 안전 검사와 같습니다.

이 도구를 통해 앞으로 AI 는 우리가 신뢰할 수 있는, 정말로 쓸모 있는 발표 자료를 만들어낼 수 있게 될 것입니다.

---

한 줄 요약:

프레젠티벤치는 AI 가 만든 발표 자료의 '잘못된 숫자', '빠진 내용', '엉망인 디자인'을 50 개가 넘는 작은 질문으로 꼼꼼히 찾아내는 '초정밀 검사관'입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 슬라이드 생성 모델 평가는 다음과 같은 심각한 한계를 가지고 있었습니다:

• 거친粒度 (Coarse-grained) 평가: 전체적인 인상을 바탕으로 한 'LLM-as-a-Judge' 방식이 주를 이루며, 슬라이드의 구체적인 결함 (예: 사실 오류, 누락된 내용, 레이아웃 불일치) 을 정밀하게 진단하기 어렵습니다.
• 인스턴스 무관성 (Instance-agnostic): 모든 슬라이드에 동일한 일반적인 질문을 적용하여, 특정 배경 자료 (Background Materials) 와 사용자 요구사항에 대한 모델의 충실도 (Fidelity) 를 평가하지 못합니다.
• 검증 불가능성: 생성된 슬라이드가 제공된 원본 자료에 기반하여 사실적으로 생성되었는지, 혹은 할루시네이션 (Hallucination) 이 발생했는지를 객관적으로 검증할 수 있는 기준이 부재합니다.
• 실제 사용과의 괴리: 단순한 텍스트 요약이나 템플릿 채우기 수준을 넘어, 긴 컨텍스트의 자료를 이해하고 논리적 구조와 시각적 디자인을 갖춘 완성된 슬라이드 덱을 생성하는 능력을 평가하는 데 부족함이 있었습니다.

2. 방법론 (Methodology)

PresentBench 는 **세밀한 기준 (Fine-grained Rubric)**과 체크리스트 기반 평가를 핵심으로 합니다.

A. 데이터 구성 (Data Curation)

• 238 개의 전문가 큐레이션 인스턴스: 학술 (Academia), 교육 (Education), 경제 (Economics), 강연 (Talk), 광고 (Advertising) 등 5 가지 주요 도메인을 포괄합니다.
• 실제 배경 자료: ICLR, ICML, CVPR 등의 논문, 대학 교재, 기업 연차보고서, TED 강연 등 실제 슬라이드 생성이 필요한 고난도 자료 (평균 34 페이지, 약 22,200 토큰) 를 제공합니다.
• 구체적인 지시사항 (Instructions): 슬라이드 수, 필수 섹션, 청중 정의, 시각적 스타일, 사실적 정확성 요구사항 등을 포함한 엄격한 생성 지시를 제공합니다.

B. 세밀한 평가 체크리스트 (Fine-Grained Checklist)

각 인스턴스당 평균 54.1 개의 이진 (Binary) 체크리스트 항목을 설계하여 슬라이드를 평가합니다. 이는 두 가지 계층으로 나뉩니다:

1. 자료 무관 체크리스트 (Material-Independent): 원본 자료 없이 슬라이드 자체의 품질을 평가합니다.
   • 프레젠테이션 기본 (Fundamentals): 논리적 흐름, 간결성, 언어 품질, 안전성.
   • 시각적 디자인 및 레이아웃 (Visual Design & Layout): 일관성, 텍스트/이미지 균형, 가독성, 레이아웃 적절성.
2. 자료 의존 체크리스트 (Material-Dependent): 제공된 배경 자료와의 일치성을 평가합니다.
   • 내용 완전성 (Completeness): 지시사항에 명시된 모든 필수 섹션과 핵심 포인트가 포함되었는지.
   • 내용 정확성 (Correctness): 포함된 내용이 원본 자료와 일치하는지 (사실, 수치, 용어).
   • 내용 충실도 (Fidelity): 슬라이드의 모든 정보가 원본 자료에서 추적 가능하고 할루시네이션이 없는지 (페이지 단위 검증).

C. 평가 프로토콜

• 각 체크리스트 항목을 개별적으로 검증하여 'Yes/No' 판정을 내리고, 이를 근거 (Evidence) 와 함께 기록합니다.
• 5 가지 차원의 점수를 평균화하여 최종 점수를 산출하며, 이는 인간 평가자와의 정렬도를 높이기 위해 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 제시: 실제 세계의 슬라이드 생성 작업을 평가하기 위한 최초의 세밀한 기준 기반 벤치마크인 PresentBench 를 제안했습니다.
2. 검증 가능한 평가 체계: 54 개 이상의 원자적 (Atomic) 체크리스트 항목을 통해 모델의 실패 모드 (Failure Modes) 를 구체적으로 진단하고 해석 가능한 피드백을 제공합니다.
3. 인간 선호도와의 높은 정렬: 기존 평가 방법 (PPTEval 등) 보다 인간 평가자의 선호도와 통계적으로 유의미하게 높은 상관관계 (Spearman's $\rho$ = 0.532) 를 보였습니다.

4. 실험 결과 (Results)

다양한 상용 및 오픈소스 슬라이드 생성 모델 (NotebookLM, Manus, Gamma, PPTAgent 등) 을 PresentBench 로 평가한 결과:

• 전반적인 성능: 최상위 모델 (NotebookLM) 의 점수조차 62.5 점에 그쳐, 실제 환경에서의 슬라이드 생성은 여전히 해결되지 않은 과제로 남았습니다.
• 모델 간 차이: NotebookLM 이 가장 높은 성능을 보였으며, 오픈소스 모델 (PPTAgent v2 등) 은 상용 모델에 비해 뒤처지는 경향을 보였습니다.
• 주요 병목 현상:
  • 시각적 디자인: 모든 모델에서 '시각적 디자인 및 레이아웃' 점수가 가장 낮아 주요 병목으로 작용했습니다.
  • 자료 충실도: 모델들이 구조는 잘 만들지만, 구체적인 수치나 사실 정보에서 할루시네이션이나 오류를 범하는 경우가 많았습니다.
• 기존 평가와의 비교: PPTEval 같은 기존 방법은 과장된 점수를 주는 경향이 있었으나, PresentBench 는 더 엄격하고 진단적인 평가를 제공했습니다.

5. 의의 및 중요성 (Significance)

• 연구 및 개발의 방향 제시: 슬라이드 생성 모델이 단순히 텍스트를 요약하는 것을 넘어, 긴 컨텍스트의 자료를 정확히 이해하고 시각적으로 표현하며 사실에 기반한 (Grounded) 콘텐츠를 생성해야 함을 강조합니다.
• 신뢰성 있는 평가 도구: 할루시네이션을 감지하고 구체적인 오류를 진단할 수 있는 체계적인 평가 도구를 제공함으로써, 모델의 반복적인 개선 (Iteration) 을 가능하게 합니다.
• 실용적 적용: 학술, 기업, 교육 등 다양한 분야의 실제 업무에 AI 를 도입하기 위해 필수적인 '신뢰할 수 있는 프레젠테이션 생성' 기술의 발전 속도를 가속화할 것으로 기대됩니다.

결론적으로, PresentBench 는 슬라이드 생성 AI 의 성능을 평가하는 데 있어 정성적 판단에서 정량적·검증 가능한 세밀한 평가로의 전환을 이끌며, 향후 더 정교하고 신뢰할 수 있는 AI 오피스 어시스턴트 개발을 위한 핵심 인프라로 작용할 것입니다.