Talk to Your Slides: High-Efficiency Slide Editing via Language-Driven Structured Data Manipulation

이 논문은 멀티모달 LLM 기반의 GUI 에이전트가 겪는 높은 비용과 지연 시간을 해결하기 위해, 슬라이드의 시각적 픽셀 대신 객체 모델 기반의 구조화된 데이터 조작을 통해 텍스트 중심 편집 및 배치 처리 효율성을 극대화하는 'Talk-to-Your-Slides' 에이전트와 이를 평가하는 TSBench 벤치마크를 제안합니다.

핵심

1. 문제: 왜 PPT 편집은 이렇게 힘들까요?

생각해 보세요. 50 장 분량의 강의 자료를 한국어에서 영어로 번역해야 한다고 칩시다.

• 기존 방식 (수동): 사람이 하나하나 클릭해서 글자를 지우고, 번역해서 붙여넣고, 글꼴을 맞추고... 이 과정은 며칠이 걸리고, 실수하기 쉽습니다.
• 최근의 AI 방식 (화면 보는 AI): 최근에는 컴퓨터 화면을 '눈'으로 보고 마우스를 조작하는 AI 가 등장했습니다. 하지만 이 AI 는 화면의 픽셀 (이미지) 을 보고 글자를 읽으려고 합니다. 마치 사람이 눈으로 글자를 읽으려다 실수하거나, 너무 많은 정보를 처리하느라 느려지는 것과 같습니다. 특히 글자가 많은 문서나 대량 편집에서는 비용도 많이 들고 속도가 느립니다.

2. 해결책: "슬라이드와 대화하라" (TALK TO YOUR SLIDES)

이 논문이 제안하는 TALK TO YOUR SLIDES는 PPT 를 '이미지'로 보지 않고, PPT 가 가진 '내부 구조 (데이터)'와 직접 대화합니다.

🍎 비유: 요리사 vs. 레시피 관리자

• 기존 AI (화면 보는 방식): 마치 요리사가 요리를 다 만든 후, 접시 위에 올라간 음식 (이미지) 을 보고 "아, 소스가 조금 부족하네?"라고 추측하며 수정하는 것과 같습니다. 정확하지 않고 시간이 많이 걸립니다.
• 새로운 방식 (TALK TO YOUR SLIDES): 마치 레시피 관리자가 직접 **재료 목록과 조리 과정 (데이터)**을 확인하고, "소스 양을 10g 늘려라"라고 지시하면, 시스템이 그 지시를 정확히 실행하는 것과 같습니다.

이 시스템은 PPT 파일이 가진 **XML 이나 객체 모델 (Object Model)**이라는 '내부 코드'를 직접 조작합니다. 화면을 찍어서 글자를 읽을 필요 (OCR) 가 없기 때문에, 글자 하나하나를 정확히 인식하고 수정할 수 있습니다.

3. 어떻게 작동할까요? (4 단계 프로세스)

이 시스템은 4 명의 전문가 팀이 협력하는 것처럼 작동합니다.

1. 지시 이해 팀 (Instruction Understanding):
   • 사용자가 "3 장 슬라이드의 제목을 영어로 번역하고 빨간색으로 바꿔줘"라고 말합니다.
   • 이 팀은 이를 분석하여 "3 장, 제목 부분, 번역 후 색상 변경"이라는 구체적인 작업 계획서를 만듭니다.
2. 문서 이해 팀 (Document Understanding):
   • PPT 파일의 '내부 구조'를 뜯어봅니다. "여기에 제목 텍스트가 있고, 글꼴은 Arial 이고, 색상은 검정이다"라는 정밀한 데이터를 뽑아냅니다.
   • 중요: 단순히 텍스트만 보는 게 아니라, "이 문장 안에서도 일부는 굵고 일부는 빨간색"이라는 세부 정보까지 파악합니다.
3. 편집 팀 (Document Editing):
   • 계획서와 데이터를 바탕으로 "제목 텍스트를 영어로 바꾸고, 색상을 빨간색 (RGB 값) 으로 변경하라"는 수정된 데이터를 생성합니다.
4. 코드 생성 팀 (Code Generator):
   • 수정된 데이터를 바탕으로 PPT 를 실제로 조작하는 파이썬 코드를 작성합니다. 이 코드는 PPT 프로그램에 직접 명령을 내려 변경을 적용합니다.
   • 안전장치: 만약 코드가 실행 중 오류가 나면, AI 가 스스로 "아, 내가 실수했네"라고 생각하며 (Self-reflection) 코드를 수정해서 다시 시도합니다.

4. 왜 이것이 더 뛰어난가요? (결과)

실험 결과, 이 방식은 기존 방식보다 압도적으로 뛰어났습니다.

• 🚀 속도: 50 장 분량의 슬라이드를 번역하고 수정하는 데, 기존 방식 (화면 보는 AI) 은 약 100 초 이상 걸렸지만, 이 방식은 약 50 초 만에 끝냈습니다. (약 34% 빠름)
• 💰 비용: 화면을 보고 분석하는 방식은 데이터 처리 비용이 많이 들지만, 이 방식은 비용이 87% 절감되었습니다. (약 10 배 이상 저렴)
• 🎯 정확도: 글자 인식 실수가 없어, 사용자의 지시를 34% 더 정확하게 따랐습니다. 특히 글자 교정이나 대량 수정에서 빛을 발합니다.

5. TSBench: 새로운 시험지

이 연구팀은 단순히 "예쁘게 만들 수 있나?"를 보는 것이 아니라, "복잡한 지시도 잘 따르는가?"를 평가하기 위해 TSBench라는 새로운 시험지를 만들었습니다.

• 일반 문제: "글자 색을 바꿔줘", "이미지 크기 조절해줘" 같은 명확한 지시.
• 하드 모드 (TSBench-Hard): "그림 옆에 있는 텍스트를 맞춰줘" (공간 감각 필요) 나 "이 비디오의 목소리를 알아봐줘" (불가능한 지시) 같은 까다로운 문제도 포함되어 있습니다. 이를 통해 AI 가 얼마나 똑똑하고 견고한지 테스트합니다.

6. 결론: 미래는 '하이브리드'

이 논문은 **"PPT 편집은 이미지로 보는 것보다 데이터로 직접 조작하는 것이 훨씬 효율적이다"**라는 것을 증명했습니다.

물론, "이 슬라이드를 더 세련되게 만들어줘"처럼 감성적이고 시각적인 판단이 필요한 부분은 아직 이미지 (화면) 를 보는 AI 가 더 잘할 수 있습니다. 따라서 미래의 이상적인 AI 비서는 **데이터 조작 (빠르고 정확한 수정)**과 **시각적 판단 (디자인 감각)**을 모두 갖춘 하이브리드 형태가 될 것입니다.

한 줄 요약:

"이제 PPT 를 편집할 때 화면을 켜고 눈으로 확인하지 마세요. 대신 AI 에게 PPT 의 '내부 코드'를 직접 건네주어, 빠르고 정확하게, 그리고 싼 비용으로 원하는 대로 수정하게 하세요."

기술 요약

1. 문제 정의 (Problem)

프레젠테이션 슬라이드 편집은 창의적인 레이아웃 설계부터 반복적인 텍스트 유지보수까지 매우 빈번하지만 지루한 작업입니다. 최근 멀티모달 LLM(MLLM) 기반의 GUI 에이전트들은 시각적 인식 (공간적 레이아웃 조정 등) 에 강점이 있지만, 구조화된 텍스트 중심 작업이나 배치 처리 (Batch Processing) 시에는 다음과 같은 한계가 있습니다.

• 높은 계산 비용 및 지연 시간: 화면 캡처 이미지를 처리하고 OCR(광학 문자 인식) 을 수행해야 하므로 리소스 소모가 큽니다.
• 정확도 저하: 텍스트 인식 오류나 스타일 정보 손실로 인해 편집의 정밀도가 떨어집니다.
• 비효율성: 단순 텍스트 수정이나 대량 슬라이드 업데이트와 같은 작업에 비해 비용 대비 효율이 낮습니다.

따라서, 시각적 입력 (이미지) 없이도 슬라이드의 구조적 데이터 (XML, 객체 모델) 를 직접 조작하여 효율적이고 정확한 편집이 가능한 에이전트가 필요합니다.

2. 방법론 (Methodology)

저자들은 TALK-TO-YOUR-SLIDES라는 새로운 에이전트를 제안합니다. 이 시스템은 화면 픽셀이 아닌 **슬라이드 객체의 내부 구조적 데이터 (Structured Data)**를 언어 (Language) 로 직접 조작하는 방식을 취합니다.

핵심 아키텍처 (4 단계 모듈)

시스템은 고수준 (High-level) 과 저수준 (Low-level) 으로 계층화되어 있으며, 자연어 명령을 실행 가능한 코드로 변환합니다.

1. 명령 이해 (Instruction Understanding):
   • 사용자의 자연어 명령을 분석하여 구체적인 실행 계획 (Plan) 을 수립합니다.
   • 어떤 슬라이드, 어떤 요소 (제목, 본문, 이미지 등) 를 대상으로 어떤 동작을 수행할지 구조화된 리스트로 변환합니다.
2. 문서 이해 (Document Understanding):
   • PowerPoint 의 내부 객체 모델 (COM 인터페이스 등) 을 직접 접근하여 슬라이드를 파싱합니다.
   • HTML 변환 없이 원본 XML/객체 구조를 유지하며, 메타데이터 (레이아웃, 배경, 전환 효과) 와 객체별 속성 (위치, 크기, 폰트, 텍스트의 'Run' 단위 서식) 을 JSON 형식으로 추출합니다.
   • 중요: 텍스트 상자 내에서도 서식이 다른 부분 (Run 단위) 을 구분하여 파싱함으로써 스타일 보존을 극대화합니다.
3. 문서 편집 (Document Editing):
   • 이해된 명령과 파싱된 데이터를 바탕으로 LLM 이 편집된 JSON 데이터를 생성합니다.
   • 이 단계에서 텍스트 번역, 색상 변경, 레이아웃 조정 등의 논리적 수정이 수행됩니다.
4. 코드 생성기 (Code Generator):
   • 원본 데이터, 편집된 데이터, 실행 계획을 입력받아 PowerPoint 를 제어하는 Python 코드 (Windows 의 경우 COM, macOS 의 경우 AppleScript) 를 생성합니다.
   • 실행 중 오류 발생 시, 오류 메시지를 피드백받아 코드를 재생성하는 자기 성찰 (Self-Reflection) 메커니즘을 적용하여 성공률을 높입니다.

3. 주요 기여 (Key Contributions)

1. 고효율 구조 기반 에이전트 제안:
   • 이미지 기반 GUI 에이전트 대신 언어 기반 구조 데이터 조작을 통해 속도, 비용 효율성, 명령 충실도를 획기적으로 개선했습니다.
2. TALK-TO-YOUR-SLIDES 프레임워크:
   • 자연어 명령과 저수준 슬라이드 객체를 연결하는 계층적 아키텍처를 설계하여 복잡한 편집 작업을 정밀하게 수행합니다.
3. TSBench 벤치마크 구축:
   • 기존 시각적 미적 평가 위주의 벤치마크를 보완하기 위해, 379 개의 인간 검증된 편집 명령으로 구성된 새로운 벤치마크 TSBench를 공개했습니다.
   • 텍스트 편집, 시각적 포맷팅, 레이아웃 조정, 슬라이드 구조 조작 등 4 가지 카테고리를 포함하며, 특히 TSBench-Hard 서브셋을 통해 시각적 의존성이나 모호한 명령에 대한 에이전트의 견고성을 평가합니다.

4. 실험 결과 (Results)

TSBench 와 UFO(기존 GUI 에이전트) 를 비교한 실험 결과는 다음과 같습니다.

• 성능 (Instruction Fidelity): 텍스트 중심 및 포맷팅 작업에서 34% 더 높은 명령 충실도를 달성했습니다.
• 속도 (Efficiency): 처리 속도가 34% 더 빠릅니다 (예: 50 페이지 슬라이드 번역 시 3 시간 소요).
• 비용 (Cost): GUI 기반 베이스라인 대비 87% 낮은 비용 (약 13% 수준) 으로 운영됩니다.
• 성공률 (Success Rate): 직접 코드 생성 (Direct Code Gen) 방식보다 계층적 아키텍처를 사용한 본 시스템의 성공률이 현저히 높았습니다 (약 160% 증가).
• Hard Subset 성능: TSBench-Hard(시각적 의존성, 모호한 명령 등) 에서도 기존 베이스라인 대비 16.5%p 높은 성공률을 보이며 복잡한 추론 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 슬라이드 편집과 같은 구조화된 문서 작업에서 시각적 인식 (Vision) 보다는 내부 데이터 구조 (Structure) 에 대한 직접적인 접근이 훨씬 효율적이고 정확함을 증명했습니다.

• 실용성: 대량의 슬라이드를 번역하거나 포맷팅해야 하는 실제 비즈니스/교육 환경에서 인건비와 시간을 획기적으로 절감할 수 있습니다.
• 향후 방향: 순수 텍스트 기반 접근의 한계 (예: 텍스트 박스 오버플로우에 따른 레이아웃 붕괴 등) 를 보완하기 위해, 구조적 조작의 효율성과 시각적 이해의 정밀함을 결합한 하이브리드 에이전트 개발이 향후 연구의 중요한 방향임을 시사합니다.

요약하자면, 이 연구는 **"슬라이드를 이미지로 보는 것이 아니라, 데이터로 읽고 언어로 조작하라"**는 패러다임 전환을 통해 자동화 에이전트의 효율성과 정확성을 비약적으로 높인 획기적인 작업입니다.