💻 computer science

X+Slides: Benchmarking Audience-Conditioned Slide Generation

이 논문은 대규모 언어 모델이 근거에 기반한 정확성과 다양한 타겟 청중의 구체적인 정보 요구 사이의 균형을 맞추며 슬라이드 덱을 얼마나 잘 생성하는지 평가하기 위해, 네 가지 상호 보완적인 지표를 갖춘 동적이고 청중 조건화된 평가 프레임워크를 특징으로 하는 새로운 벤치마크인 X+Slides를 소개한다.

원저자: Haodong Chen, Xuanhe Zhou, Wei Zhou, Xinyue Shao, Yanbing Zhu, Bo Wang, Jiawei Hong, Anya Jia, Fan Wu

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haodong Chen, Xuanhe Zhou, Wei Zhou, Xinyue Shao, Yanbing Zhu, Bo Wang, Jiawei Hong, Anya Jia, Fan Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

방대한 양의 특정 주제에 대한 밀도 높은 백과사전을 가지고 있다고 상상해 보십시오. 이제 이 백과사전을 짧고 강렬한 슬라이드 발표 자료로 만들어야 합니다.

문제는 누가 이 발표를 보느냐에 따라 모든 것이 달라진다는 점입니다.

과학자에게 발표한다면, 그들은 아주 세세한 디테일, 수학적 증명, 그리고 미세한 예외 사항들을 원할 것입니다.
CEO에게 발표한다면, 그들은 오직 수익, 리스크, 그리고 "그래서 다음에 무엇을 해야 하는가?"에만 관심이 있습니다.
학생에게 발표한다면, 그들은 그저 큰 그림과 단순한 이야기를 필요로 합니다.

오랫동안 컴퓨터를 이용해 이 슬라이드를 만들려는 시도들은 마치 모든 사람에게 똑같은 식사를 내놓는 서투른 웨이터와 같았습니다. 바로 자르지도 않은 거대한 스테이크 같은 것 말이죠. 그것은 "정확"할 수는 있지만(스테이크는 진짜니까요), 채식주의자나 아이, 혹은 가벼운 간식을 원하는 사람에게는 아무런 쓸모가 없습니다.

이 논문은 AI가 더 나은 웨이터가 될 수 있는지 테스트하는 새로운 방법인 X+Slides를 소개합니다.

핵심 아이디어: "보편적 질문 은행 (Universal Question Bank)"

AI에게 청중이 무엇을 원하는지 추측하라고 요구하는 대신, 연구진은 원본 문서를 바탕으로 거대하고 중립적인 "질문 은행"을 구축했습니다. 이것은 백과사전에 담긴 가능한 모든 사실의 마스터 리스트라고 생각하면 됩니다.

중립적 리스트: 먼저, 그들은 문서에 대해 수천 개의 질문을 생성합니다 (예: "실험 방법은 무엇인가?" 또는 "주요 결론은 무엇인가?"). 이 질문들은 중립적입니다. 아직 누가 보고 있는지 알지 못하기 때문입니다.
청중 필터: 그다음, 청중에 기반한 "필터"를 적용합니다.
- 과학자를 위한 필터는 다음과 같이 말합니다: "방법론 질문은 100점짜리다. '큰 그림' 질문은 10점짜리다."
- CEO를 위한 필터는 반대로 작동합니다: "'큰 그림' 질문은 100점짜리다. 방법론 질문은 0점짜리다."
점수 산정: AI는 슬라이드 덱을 만듭니다. 연구진은 다음과 같이 확인합니다: "AI가 이 특정 청중을 위해 가치가 높은 질문들을 포함했는가?"

네 가지 성적표 (The Four Scorecards)

X+Slides는 단순히 하나의 점수만을 제공하지 않습니다. 마치 루브릭(평가 기준)을 사용하는 교사처럼 네 가지 방식으로 발표를 채점합니다.

청중 커버리지 (적절한 내용을 담았는가?): 이는 청중이 관심을 갖는 "가치 높은" 질문 중 얼마나 많은 수가 실제로 슬라이드에 답변되었는지를 측정합니다. 만약 CEO가 리스크를 원했는데 AI가 역사 이야기만 늘어놓았다면, 이 점수는 떨어집니다.
*도메인 커버리지 (적절한 유형의 내용을 골랐는가?):* 이는 더 세분화된 측정입니다. AI가 청중이 원하는 '시사점' 대신 '방법론'에 너무 치중하지 않았는지 확인합니다. 이는 마치 요리사가 메인 요리 대신 가니쉬(고명)만 너무 많이 냈는지 체크하는 것과 같습니다.
효율성 (너무 길지는 않은가?): 이는 "내 시간당 얼마나 유용한 정보를 얻었는가?"를 묻습니다. 만약 슬라이드가 50페이지나 되지만 5페이지만으로도 충분히 말할 수 있는 내용이라면, 효율성 점수는 낮아집니다.
정확성 (거짓말을 했는가?): 이것은 안전장치입니다. 슬라이드의 모든 주장이 원래 문서에 의해 뒷받침되는지 확인합니다. 이는 AI가 멋져 보이는 사실을 지어내어 존재하지 않는 사실을 말하는 것을 방지합니다.

연구 결과 (The Results)

연구진은 세 가지 인기 있는 AI 슬라이드 생성기(DeepPresenter, SlideTailor, NotebookLM)를 이 새로운 시스템으로 테스트했습니다.

좋은 소식: AI는 형편없지는 않습니다. 중요한 정보를 많이 잡아낼 수 있습니다.
나쁜 소식: 여전히 누구에게 말하고 있는지에 대한 파악이 부족합니다.
- 과학자에게 말하라고 요청했을 때, AI는 종종 깊이 있는 기술적 디테일(레벨 3 및 4의 사실들)을 놓쳤습니다.
- CEO에게 말하라고 요청했을 때, AI는 때때로 너무 많은 기술적 전문 용어에 빠져들었습니다.
- NotebookLM(구글의 도구)은 CEO와 학생을 위한 적절한 정보를 선택하는 데는 놀라울 정도로 잘 해냈지만, 과학자를 위한 깊은 기술적 디테일에서는 다소 어려움을 겪었습니다.

핵심 요점 (The Big Takeaway)

이 논문은 우리가 AI가 만든 슬라이드 덱을 판단할 때 더 이상 "얼마나 예쁘고 긴가!"라고만 말해서는 안 된다고 주장합니다. 아름다운 덱이라 할지라도 CEO에게 50페이지짜리 수학 강의를 제공한다면, 그 수학이 100% 정확할지라도 그것은 실패한 것입니다.

X+Slides는 진정으로 유용한 AI 발표 도구를 만들기 위해서는 모든 사실을 동등하게 취급하는 것을 멈춰야 한다는 것을 입증합니다. 우리는 AI에게 과학자에게 중요한 것이 CEO에게는 무용지물일 수 있고, 그 반대도 마찬가지라는 것을 가르쳐야 합니다. 이 논문은 AI가 마침내 그 교훈을 배우고 있는지 측정할 수 있는 자를 제공합니다.

기술 요약: X+Slides: 청중 조건부 슬라이드 생성 벤치마킹

1. 문제 정의

본 논문은 기존의 자동 슬라이드 생성 벤치마크가 가진 결정적인 결함을 지적한다. 기존 방식은 주로 소스의 완전성(source completeness), 레이아웃, 시각적 일관성을 평가하며, 모든 소스 정보가 동일하게 가치 있다는 "원사이즈-핏츠-올(one-size-fits-all)" 패러다임을 암묵적으로 가정한다. 그러나 실제 슬라이드 생성은 **청중 조건부 작업(audience-conditioned task)**이다. 단일 소스 문서(예: 연구 논문)는 타겟에 따라 근본적으로 다른 정보 선택을 요구한다:

**전문가(Specialists)**는 엄격한 증명, 가정, 절제 실험(ablations)을 필요로 한다.
**학습자(Learners)**는 핵심 아이디어, 동기, 예시를 필요로 한다.
**의사결정자(Decision-makers)**는 실행 가능한 결론, 리스크, 고차원적 시사점을 우선시한다.

기존의 메트릭은 소스를 충실히 요약한 데크(deck)와 특정 청중에게 전략적으로 관련 있는 정보를 선택한 데크를 구분하지 못한다. 또한, 현재의 평가는 소스와의 정렬(alignment)과 청중 유용성(audience utility)을 혼동하는 경우가 많아, 시스템의 실패가 부실한 생성 때문인지 아니면 청중 적응 능력의 부족 때문인지를 분리하여 파악하기 어렵게 만든다.

## 2. 방법론: X+Slides 프레임워크

X+Slides는 **소스 커버리지(source coverage)**와 **청중 유용성(audience utility)**을 분리하도록 설계된 벤치마크 및 평가 파이프라인을 도입한다. 핵심 혁신은 공유된, 청중 불가지론적(audience-agnostic) 프로브 뱅크(probe bank)를 사용하는 2단계 평가 프로세스이다.

2.1 벤치마크 구축

코퍼스(Corpus): 데이터셋은 **7개의 발표 장면(presentation scenes)**에 걸쳐 113개의 다양한 주제(50개의 학술 논문, 63개의 정책, 비즈니스, 보건 등의 비학술 보고서)를 포괄한다.
프로브 생성(Probe Generation): LLM을 사용하여 소스 문서로부터 8,133개의 중복 제거된, 소스에 근거한 프로브(증거 구간이 포함된 질문-답변 쌍)를 생성한다. 이 프로브들은 일관된 사실적 기준을 보장하기 위해 타겟 청중에 대한 지식 없이 생성되는 청중 불가지론적(audience-agnostic) 형태이다.
프로브 속성: 각 프로브에는 다음이 태깅된다:
- 깊이 수준 (Depth Level 1–4): 맥락/동기(Level 1)부터 구현 세부 사항/하이퍼파라미터(Level 4)까지의 범위.
- 정보 도메인(Information Domain): 맥락(Context), 방법(Method), 증거(Evidence), 한계(Limitations), 구현(Implementation), 시사점(Implications).
- 증거 양식(Evidence Modality): 텍xt, 표, 차트, 그림, 방정식 또는 멀티모달 혼합.

2.2 청중 조건부 스코어링

각기 다른 청중을 위한 서로 다른 질문을 생성하는 대신, X+Slides는 청중 프로필(전문가, 학습자, 의사결정자)과 발표 장면에 따라 동일한 프로브 세트에 **청중별 유용성 가중치( $w_j$ )**를 할당한다.

유용성 임계값 ( $\tau_A$ ): 가중치가 임계값(예: $\tau_A = 0.7$ ) 이상인 프로브는 해당 청중에게 "필수적(essential)"인 것으로 간주된다.
평가 로직: 생성된 데크는 특정 청중을 위한 필수 프로브들이 소스 증거에 의해 뒷받침되는 가시적인 슬라이드 콘텐츠를 통해 답변될 수 있는지에 따라 점수가 매겨진다.

2.3 평가 메트릭

프레임워크는 네 가지 상호 보완적인 메트릭을 보고한다:

청중 커버리지(Audience Coverage): 청중 필수 소스 정보 중 데크를 통해 성공적으로 전달된 가중치 적용 비율.
도메인별 커버리지(Domain-wise Coverage): 6개 정보 도메인에 대한 커버리지의 세밀한 분석 (예: 전문가 대 학습자에 대한 "방법" 세부 사항 커버리지 차이).
효율성(Efficiency): 주의력 비용(슬라이드 수 및 단어 수로 측정) 단위당 전달되는 유용한 정보의 밀도.
정확성(Correctness): 데크의 주장이 소스에 의해 사실적으로 뒷받침되는지 검증하는 가드레일 메트릭으로, 그럴듯하지만 환각(hallucination)된 콘텐츠에 보상이 주어지는 것을 방지한다.
SafeEfficiency: 효율성과 정확성의 곱으로, 근거가 확실하면서도 유용한 유용성을 나타낸다.

3. 주요 기여

공식적 개념화: 슬라이드 생성을 $f: S \times A \times C \to T$ 라는 조건부 매핑으로 정의하여, 청중 적응을 모호한 프롬프팅 목표가 아닌 측정 가능한 정보 선택 문제로 명시적으로 프레임화했다.
분리된 프로브 뱅크: 이후 가중치가 부여되는, 증거 기반의 청중 불가지론적 프로브 뱅크를 개발했다. 이를 통해 동일한 사실적 기준을 사용하여 여러 청중에 대한 공정한 비교가 가능하다.
포괄적 메트릭 세트: 충실한 적응, 일반적인 요약, 그리고 환각을 구분하는 4차원 평가 프레임워크(커버리지, 도메인별 커버리지, 효율성, 정확성)를 도입했다.
재현 가능한 벤치마크: 113개의 주제, 8,133개의 프로브, 3개의 청중 프로필, 그리고 완전히 재현 가능한 평가 파이프라인을 포함한 데이터셋을 공개한다.
실증적 평가: 현재의 최첨단 시스템(DeepPresenter, SlideTailor)에 대한 심층 분석과 NotebookLM에 대한 집중적인 절제 실험(ablation)을 제공한다.

4. 실험 결과

저자들은 청중 불가지론적 설정과 청중 조건부 설정 모두에서 DeepPresenter, SlideTailor, NotebookLM(절제 실험용)을 평가했다.

필수 정보의 부분적 회복: 현재 시스템들은 상당하지만 불완전한 수준의 청중 필수 정보를 회복한다.
- $\tau_A = 0.7$ 에서, DeepPresenter는 학습자 대상 청중 커버리지 0.714로 가장 높은 성적을 거두었다.
- SlideTailor는 0.594(학습자 대상)를 기록했다.
- NotebookLM(불가지론적 설정)은 의사결정자 대상 0.853에 도달했으나, 이미지 기반 출력 특성상 직접적인 효율성 비교는 제한되었다.
청중 조건부 효과:
- 컨디셔닝 프롬프트는 일반적으로 청중 커버리지를 향상시켰다 (예: DeepPresenter의 전문가 커버리지가 0.413에서 0.496으로 상승).
- 도메인별 커버리지는 컨디셔닝이 초점을 성공적으로 전환함을 보여주었다 (예: 전문가는 더 많은 "방법" 및 "증거" 커버리지를 받는 반면, 의사결정자는 더 많은 "시사점" 및 "맥락"을 받음).
정확성 vs. 효율성:
- 정확성 점수는 시스템 전반에 걸쳐 높게 유지되었으며(약 0.82–0.85), 이는 대부분의 주장이 소스에 의해 뒷받침됨을 나타낸다.
- 그러나 SafeEfficiency는 시스템마다 크게 달랐다. 예를 들어, SlideTailor의 조건부 학습자 데크는 PPTX 생성 시스템 중 가장 높은 SafeEfficiency를 보였으나, DeepPresenter의 조건부 학습자 데크는 가장 높은 Audience Coverage를 보였다.
트레이드오프: 본 논문은 하나의 메트릭(예: 광범위한 커버리지)을 최적화하는 것이 다른 메트릭(예: 효율성 또는 정확성)의 최적화를 보장하지 않는다는 점을 언급한다. 청중 프롬프트는 정보 선택을 성공적으로 변화시키지만, 품질의 모든 차원을 자동으로 개선하지는 않는다.

5. 의의 및 주장

본 논문은 X+Slides가 **문서 정렬(document alignment)**에서 **청중 유용성 극대화(audience utility maximization)**로의 근본적인 전환을 나타낸다고 주장한다.

차별점: 시각적 품질과 광범한 주제 커버리지가 슬라이드 품질의 충분한 대리 지표가 아님을 입증한다. 소스에 근거한 청중 조건부 평가 없이는, 시스템이 중요한 청중의 니즈를 놓치거나 지원되지 않는 주장을 포함하면서도 성공적인 것처럼 보일 수 있다.
한계: 저자들은 시각적 문서에 대한 LLM 생성 프로브의 잠재적 격차, 3가지 청중 프로필의 포괄성, 그리고 그래프나 레이아웃 기반 설명을 직접 평가하지 않는 텍텍스트 기반 스코어링에 대한 의존성 등 현재의 한계를 겸허히 인정한다.
미래 영향: 이 프레임워크는 연구 커뮤니케이션, 교육, 정책 브리핑, 비즈니스 의사결정 지원을 지원하도록 위치하며, 커뮤니티가 청중 적응을 단순한 스타일 조정이 아닌 엄격한 정보 선택 과제로 다룰 것을 촉구한다.