[기술 요약] AeSlides: 검증 가능한 보상을 통한 LLM 기반 슬라이드 생성의 미적 레이아웃 최적화

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 에이전트 기능을 통해 슬라이드 생성 작업에서 큰 진전을 보였으나, 여전히 **'모달리티 간극(Modality Gap)'**이라는 근본적인 문제에 직면해 있습니다.

• 텍스트 중심 생성 vs 시각 중심 평가: LLM은 슬라이드를 구조화된 텍스트(HTML 등)로 생성하지만, 슬라이드의 품질은 시각적 미학(Aesthetics)에 의해 결정됩니다.
• 기존 방식의 한계:
  • 시각적 성찰(Visual Reflection): 생성 후 VLM(시각-언어 모델)을 통해 수정하는 방식은 추론 비용이 높고 미세한 미적 결함을 잡아내는 데 한계가 있습니다.
  • 데이터 미세 조정(Fine-tuning): 대규모 데이터셋을 통한 학습은 미적 기준을 간접적이고 약하게 학습할 뿐, 명시적인 레이아웃 원칙을 내재화하지 못합니다.
• 주요 미적 결함: 왜곡된 종횡비(Distorted Aspect Ratio), 과도한 공백(Excessive Whitespace), 요소 충돌(Element Collision), 시각적 불균형(Visual Imbalance).

2. 방법론 (Methodology)

본 논문은 미적 레이아웃 품질을 직접 최적화하기 위해 검증 가능한 보상(Verifiable Rewards)을 활용한 강화학습(RL) 프레임워크인 AeSlides를 제안합니다.

A. 검증 가능한 미적 지표 (Verifiable Aesthetic Metrics)

VLM의 불확실성과 높은 비용을 해결하기 위해, 프로그래밍 방식으로 정확하고 빠르게 계산 가능한 4가지 지표를 설계했습니다.

1. 종횡비 검출: 렌더링된 페이지의 scrollHeight와 offsetHeight를 JavaScript로 추출하여 표준 16:9 비율 준수 여부 확인.
2. 과도한 공백 검출: 이미지의 국소 분산(Local Variance) 맵을 계산하여 픽셀 변화가 적은 영역(공백)의 비율을 측정.
3. 요소 충돌 검출: DOM 트리와 바운딩 박스(Bounding Box)를 기반으로 요소 간 중첩, 컨테이너 이탈, 슬라이드 경계 초과 여부를 규칙 기반으로 판별.
4. 시각적 불균형 검출: 시각적 단위(Visual Units)의 무게 중심(Centroid)을 계산하고, 이것이 캔버스 중심에서 얼마나 벗어났는지 타원 정규화 거리(Ellipse-normalized distance)로 측정.

B. 강화학습 알고리즘 (RL with Verifiable Rewards)

• GRPO(Group Relative Policy Optimization) 활용: 그룹 내 상대적 이점을 계산하는 GRPO를 기반으로, 설계된 미적 지표들을 보상 신호로 직접 사용합니다.
• 보상 설계(Reward Shaping):
  • 종횡비의 경우 최적값(16:9)에서 멀어질수록 패널티를 주는 비대칭 이차 함수(Asymmetric Quadratic Reward)를 적용합니다.
  • 나머지 지표는 부드러운 전환을 위해 Smoothstep 변환을 적용합니다.
• GDPO(Group reward-Decoupled Normalization): 여러 보상 항목 간의 분산 차이로 인해 특정 보상에만 최적화되는 '보상 붕괴(Reward Collapse)'를 방지하기 위해 각 보상을 독립적으로 정규화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: 슬라이드 생성에서 미적 레이아웃을 직접 최적화하기 위해 '검증 가능한 보상'을 사용하는 강화학습 패러다임을 도입했습니다.
2. 정밀한 미적 지표 설계: 레이아웃 문제를 측정 가능한 하위 문제로 분해하여, VLM보다 정확하고 비용 효율적인 규칙 기반 지표 세트를 구축했습니다.
3. 데이터셋 구축: 미적 결함에 대한 미세한 분류(21개 하위 카테고리)를 포함한 AeSlides-Reward-Bench와 학습용 AeSlides-7k 데이터셋을 공개했습니다.

4. 실험 결과 (Results)

GLM-4.7-Flash 모델을 대상으로 실험한 결과, 단 5,000개의 프롬프트만으로도 놀라운 성능 향상을 보였습니다.

• 지표별 개선:
  • 종횡비 준수율: 36% $\rightarrow$ 85%
  • 과도한 공백 감소: 44% 감소
  • 요소 충돌 감소: 43% 감소
  • 시각적 불균형 완화: 28% 감소
• 비교 우위:
  • 반복적인 성찰(Reflection) 기반 에이전트 방식보다 우수한 성능을 보였습니다.
  • 모델 기반 보상(VLM Reward) 방식보다 안정적이고 정확했습니다.
  • 심지어 상용 모델인 Claude-Sonnet-4.5와 대등하거나 이를 능가하는 미적 품질을 보여주었습니다.
• 인간 평가: 전체적인 품질 점수가 3.31에서 3.56(+7.6%)으로 상승하여 인간의 선호도와 일치함을 입증했습니다.

5. 의의 (Significance)

본 연구는 LLM이 텍스트 생성 능력을 넘어 시각적 문해력(Visual Literacy)과 디자인 감각을 내재화할 수 있음을 보여주었습니다. 특히, 비싼 VLM을 매번 호출하는 대신, 프로그래밍 가능한 검증 지표를 강화학습의 보상으로 활용함으로써 확장 가능하고(Scalable), 효율적이며(Efficient), 정확한(Accurate) 멀티모달 정렬(Alignment) 방법론을 제시했다는 점에서 학술적/산업적 가치가 매우 높습니다.