SlideGen: Collaborative Multimodal Agents for Scientific Slide Generation

기술 요약: SlideGen

문제 정의

과학 논문으로부터 발표 슬라이드를 자동으로 생성하는 것은 단순한 텍스트 요약을 넘어선 매우 도전적인 멀티모달 과제입니다. 효과적인 슬라이드 덱을 만들기 위해서는 핵심 정보의 추출뿐만 아니라, 긴 문맥에 대한 공동 추론(joint reasoning), 멀티모달 증거(그림, 표, 방정식)의 선택 및 정렬, 그리고 명확성과 서사적 흐름을 보장하기 위한 의도적인 레이아웃 시각적 설계가 필요합니다.

기존 방식들은 주로 이 문제를 텍스트 생성 또는 콘텐츠 요약 작업으로 프레임화합니다. 최근의 방법론들이 콘텐츠 선택 능력을 개선하고 일부 멀티모달 입력을 지원하게 되었으나, 시각적 레이아웃을 부차적인 문제로 취급하거나 사후 조정에 의존하는 경우가 많습니다. 결과적으로, 생성된 슬라이드는 반복적인 레이아웃, 텍스트와 그림 사이의 불량한 시각적 균형, 페이지 간의 일관된 서사 구조 결여 등의 문제를 겪습니다. 또한, 기존의 평가 프로토콜은 텍스트 기반 지표(예: ROUGE)나 시각적 조직화, 희소성 및 파편화를 부분적으로만 포착하는 VLM 기반 판별기에 의존하는 경향이 있습니다.

방법론

저자들은 서사 계획(narrative planning), 멀티모벌 그라운딩(multimodal grounding), 그리고 원칙에 입각한 레이아웃 구성을 조율하도록 설계된 협업형 멀티모달 에이전트 프레임워크인 SlideGen을 제안합니다. 단일 모델이나 경직된 포맷 규칙과 달리, SlideGen은 4개의 순차적 단계로 구성된 6개의 전문화된 시각-언어 에이전트 파이프라인을 오케스트레이션합니다:

1. 서사 계획 (Outliner):
   Outliner 에이전트는 전역 문서 파싱을 수행하고 고수준의 서사 구조를 생성합니다. 이는 프레젠테이션 개요를 결정하고, 핵심 아이디어를 일관된 순서의 슬라이드로 할당하며, 각 세그먼트에 대한 간결한 제목과 요약을 생성합니다.

2. 멀티모달 그라운딩 (Mapper & Formulizer):

   • Mapper: 서사적 주장과의 의미론적 정렬을 바탕으로 시각적 자산(그 figure, table)을 특정 슬라이드에 할당하며, 각 할당에 대한 근거를 제공합니다.
   • Formulizer: 캡션이 없는 방정식의 그라운딩이라는 특수한 문제를 해결합니다. 이는 타이포그래피를 보존하기 위해 방정식을 고해외상 이미지로 크롭(crop)하며, LaTeX 재렌더링으로 인한 아티팩트를 피하기 위해 주변 텍스트 문맥을 기반으로 슬라이드와 매칭합니다.

3. 레이아웃 구성 (Arranger):
   Arranger 에이전트는 19개의 고정 슬롯 템플릿 라이브러리에서 레이아웃 템플릿을 선택하여 각 슬라이드를 조립합니다. 이 라이브러리는 다양한 구조(예: 텍스트 전용, 이미지 좌/우 배치, 다중 이미지 그리드, 방정식 중심 등)를 포괄합니다. 에이전트는 콘텐츠 프로필(불렛 포인트 수, 이미지, 방정식 및 종횡비)과의 호환성을 극대화하는 최적의 템플릿 $\ell_i$를 슬라이드 $s_i$에 대해 선택합니다. 결정적으로, 고정 슬롯의 사용은 요소 간의 중첩을 방지하고 표준 PPTX 형식에서의 편집 가능성을 보장합니다. 만약 콘텐츠 할당이 어떤 템플릿에도 적합하지 않을 경우, 시스템은 Mapper에게 자산을 재배치하도록 신호를 보냅니다.

4. 전역 정교화 (Refiner & Speaker):

   • Refiner: 연속된 텍스트 전용 슬라이드를 2단 레이아웃으로 병합하고, 제한된 폰트 스케일링 및 콘텐츠 압축을 통해 텍스트 오버플로를 처리하며, 시각적 응집성을 확보하기 위해 소스 논문의 그림에서 색상 테마를 추출하는 등 덱 레벨의 조정을 수행합니다.
   • Speaker: 각 서브섹션에 대한 발표자 노트를 생성합니다. 이는 불렛 포인트와는 독립적으로, 전환(transition)과 시각적 선택의 근거를 설명하는 매끄러운 구두 서사를 합성합니다.

평가 프로토콜:
강력한 시각적 지표의 부재를 해결하기 위해, 저자들은 **기하학적 밀도 인식(Geometry-Aware Density, GAD)**을 도입합니다. 이 지표는 두 가지 구성 요소를 결합하여 레이아웃 품질을 정량화합니다:

• 점유율 ($OM_i$): 타겟 밀도 $\tau$로부터의 편차에 페널티를 부여하며, 콘텐츠가 슬라이드 캔버스를 덮는 비율을 측정합니다.
• 파편화 보상 ($FR_i$): 최적의 콘텐츠 요소 수($M^\star$)에 대해 보상을 주고, 너무 희소하거나 너무 복잡한 레이아웃에 페널티를 주는 오목 이차 함수(concave quadratic function)입니다.
  GAD 점수는 leave-one-deck-out 교차 검증을 통해 인간의 판단과 캘리브레이션됩니다.

주요 기여

1. SlideGen 프레임워크: 슬라이드 생성을 계획, 그라운딩, 레이아웃, 정교화라는 별도의 역할로 분해하여 참조 덱 없이도 편집 가능한 PPTX 파일을 생성하는 모듈형 멀льти-에이전트 시스템입니다.
2. 4차원 평가: (i) 시각적 미학(GAD를 통해), (ii) 커뮤니케이션 효과성(SlideQA), (iii) 전체적 일관성(VLM-as-Judge), (iv) 텍스트 일관성(Perplexity)에 걸쳐 슬라이드 생성을 평가하는 표준화된 프로토콜을 제시합니다.
3. 기하학적 밀도 인식 (GAD): 시각적 혼잡함, 희소성 및 파편화를 정량화하는 새로운 레이아웃 중심 지표로, 인간의 판단과 높은 상관관계($\rho = 0.820$)를 보입니다.
4. 확장 가능한 레이아웃 라이브러리: 구성에 의한 요소 중첩을 방지하면서도 다양한 슬라이드 구성을 허용하는 고정 슬롯 템플릿 시스템입니다.

결과

시스템은 200개의 주요 AI 학회(ICLR, ICML, NeurIPS) 논문 벤치마크를 통해 평가되었습니다. SlideGen은 엔드 투 엔드 생성기(GPT-4o/5 HTML/Image) 및 멀티 에이전트 워크플로우(PPTAgent, PosterAgent)를 포함한 다양한 베이스라인과 비교되었습니다.

• 성능: SlideGen은 네 가지 모든 평가 차원에서 모든 베이스라인을 일관되게 능가했습니다. 가장 높은 SlideQA 점수(콘텐츠 커버리지 및 추론 능력 우수성 지표)를 달 기록했으며, 최고의 VLM-as-Judge 점수(디자인 및 일관성)와 가장 낮은 Perplexity(텍스트 유창성)를 달성했습니다.
• 레이아웃 품질: SlideGen은 최고의 GAD 점수를 기록하여, 종종 너무 희소하거나 너무 복잡한 레이아웃을 생성하는 베이스라인들에 비해 우수한 공간 균형을 보여주었습니다.
• 사용자 연구: PhD 학생 및 연구자를 포함한 30명의 참가자를 대상으로 한 연구에서, 93.3%가 경쟁 베이스라인보다 SlideGen의 결과물을 선호했습니다. 73.3%는 품질을 "대부분의 사람이 만든 슬라이드보다 낫다"고 평가했으며, 6.7%는 "최고 수준의 전문가 품질"이라고 평가했습니다.
• 어블레이션(Ablation): Outliner를 제거했을 때 콘텐츠 커버리지와 언어 품질에서 가장 큰 하락이 발생했으며, Arranger를 제거했을 때 레이아웃 밀도에서 가장 유의미한 저하가 발생하여, 단계별 전문 에이전트 설계의 필요성을 확인했습니다.

의의

본 논문은 효과적인 슬라이드 생성이 단순한 텍스트 요약이 아닌 멀티모달 디자인 추론을 필요로 한다고 주장합니다. 협업 에이전트로 작업을 분해함으로써, SlideGen은 문서 이해와 과학적 커뮤니케이션 사이의 간극을 메웁니다. 이 연구는 명시적인 레이아웃 추론과 멀티모달 그라운딩이 소스 자료에 충실하면서도 인간 청중에게 효과적인 프레젠테이션을 만드는 데 필수적임을 입증합니다. 제안된 GAD 지표는 자동화된 슬라이드 생성 연구의 공백을 메우며 시각적 조직을 평가하는 원칙적인 방법을 제공합니다.