A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges

기술 요약: 자동 발표 코칭에 관한 조사 연구

문제 제기
구두 발표를 위한 자동 코칭은 컴퓨터 보조 발음 학습(CAPT), 운율 모델링, 그리고 음성 합성의 교차점에서 작동한다. 지난 20년 동안 이러한 기초 기술들이 상당한 진전을 이루었음에도 불구하고, 기존 시스템을 체계적으로 조사, 분류 및 비교할 수 있는 통합된 프레임워크가 부족한 실정이다. 현재의 연구는 파편화되어 있으며, 발표의 특정 요구 사항(예: 분절적 정확도 또는 일반적인 유창성)에 대한 총체적인 관점 없이 고립된 측면만을 다루는 경우가 많다. 또한, 연구용 프로토타입과 산업 현장 배포 사이에는 괴리가 존재하며, 다양한 모국어(L1) 배경을 가진 이들의 장문 형태의 슬라이드 정렬 발표를 포착할 수 있는 주석이 달린 코퍼스(corpus)도 부족하다.

방법론
저자들은 1997년부터 2025년까지의 출판물을 대상으로 주요 데이터베이스(ACL Anthology, IEEE Xplore, ISCA Archive, Google Scholar, Semantic Scholar)에서 체계적인 문헌 조사를 수행하였다. 검색에는 "presentation coaching", "pronunciation training", "CAPT", "prosody assessment"와 같은 키-워드가 사용되었다. 본 리뷰는 시각적/제스처 코칭이나 일반 목적의 ASR/TTS 논문만을 다루는 연구는 제외하고, 15개의 대표적인 시스템과 약 50개의 지원 문헌에 집중하였다.

핵심적인 방법론적 기여는 피드백의 성격과 평가 가능한 방법에 따라 발표 기술을 조직하기 위해 설계된 **5차원 과업 분류 체계(five-dimensional task taxonomy)**를 구축한 것이다:

1. 발음 (분절적): 기술 용어를 포함한 음소 및 단어 수준의 정확성.
2. 어휘 강세 (Lexical Stress): 다음절 단어에서의 음절 강조.
3. 운율 (초분절적): 억양(F0), 구절(phrasing), 리듬 및 강도 윤곽.
4. 속도 (Pacing): 분당 단어 수(WPM), 발화 속도, 그리고 문장 부호 및 슬라이드 경계와 관련된 휴지(pause) 배치.
5. 내용 충실도 (Content Faithfulness): 핵심 내용의 포함 여부, 슬라이드별 누락된 키워드 또는 생략 사항 식별.

본 조사는 기존 시스템들을 이 분류 체계에 매핑하고, 입력/출력 요구 사항(예: 슬라이드 정렬 스크립트 필요성, 음성 복제를 위한 등록 클립 등)을 분석하며, 이들이 채택하고 있는 핵심 기술 방법, 특히 **TTS 기반 예시 생성(exemplar generation)**과 **진단적 접근 방식(diagnostic approaches)**을 검토한다.

주요 기여

1. 분류 및 매핑: 본 논문은 5차원 분류 체계를 도입하고 조사된 시스템들을 이에 명시적으로 매핑한다. 이를 통해 중요한 커버리지 공백을 드러냈다: 어휘 강세와 내용 충실도가 가장 적게 다뤄진 차원으로 나타났다. 많은 시스템이 발음과 운율을 다루지만, 발표의 특수한 구조적 요구 사항(예: 슬라이드 정렬된 속도 조절)을 다루는 경우는 드물다.
2. 체계적 범주화: 기존 시스템들을 다음 네 가지 그룹으로 분류하였다:
   • CAPT 기반 발음 시스템 (고립된 단어/짧은 문장에 집중).
   • 유창성 및 운율 코치 (초분절적 품질에 집중).
   • 멀티모달 트레이너 (시선, 제스처, 음성을 통합).
   • Q&A 및 상호작용 코치 (LLM을 활용한 상호작용 연습).
     분석 결과, 단일 시스템이 5가지 차원을 모두 아우르는 경우는 없었다. 가장 최근의 시스템인 PresentCoach (Chen et al., 2025)조차 4개의 차원을 다루고 있으나 여전히 어휘 강세는 누락되어 있다.
3. 기술적 검토: 논문은 이러한 시스템들의 근간이 되는 핵심 방법들을 상세히 설명한다:
   • 예시 생성 (Exemplar Generation): 제어 가능한 속도, 휴지 삽입, 제로샷 음성 전이를 통해 개인화된 참조 오디오를 생성하기 위해 현대적인 신경 TTS(예: F5-TTS, CosyVoice 2와 같은 flow-matching 모델)를 활용한다.
   • 진단 (Diagnostics): GOP(Goodness of Pronunciation) 점수, CTC 기반 정렬, 자기지도 표현(wav2-vec 2.0, HuBERT), 그리고 학습자의 목소리를 이상적인 버전으로 합성하여 운율 오류를 분리해내는 "클론 앤 컴페어(clone-and-compare)" 기법 등을 검토한다.
4. 평가 프레임워크: 저자들은 5가지 차원에 맞춘 평가 지표(예: 분절적 측면의 Phone/Word F1, 운율 측면의 Log-F0 RMSE, 내용 충실도 측면의 WER)를 통합하고 표준화된 벤치마크의 부재를 지적한다. 또한, L2 음성, 장문 발표 구조, 악센트 레이블, 운율 주석을 동시에 제공하는 코퍼스가 존재하지 않음을 언급한다.

결과 및 발견

• 커버리지 공백: 어휘 강세는 L2 이해도에 미치는 영향이 입증되었음에도 불구하고 기존 시스템에서 거의 완전히 소외되어 있다. 내용 충실도 또한 충분히 다뤄지지 않고 있으며, 슬라이드 내용과 대조하여 도메인 특화 키워드의 누락을 확인하는 시스템도 거의 없다.
• 실시간 제한: 실시간 피드백은 드물며, 조사된 15개 시스템 중 세션 중 피드백을 제공하는 시스템은 단 2개뿐이다. 대부분의 시스템은 사후(post-hoc) 방식으로 작동한다.
• 데이터 부족: 주요 코퍼스(예: LibriSpeech, TED-LIUM)는 L2 코칭용으로 설계되지 않았거나 슬라이드 구조가 결여되어 있다. Speak & Improve와 같은 새로운 자원은 자연스러운 L2 음성을 제공하지만 발표 특화 주석이 부족하다.
• 연구-산업 간의 격차: 상업적 플랫폼(예: ELSA Speak, Yoodli)은 보통 한두 가지 차원만을 다루며 기술적 세부 사항을 거의 공개하지 않아 체계적인 비교가 어렵다. 학술 연구는 기기 이질성이나 소음과 같은 배포 제약 조건을 해결하지 못하는 경우가 많다.

의의 및 주장
본 논문은 구조화된 다차원 프레임워크를 따라 자동 발표 코칭 시스템을 목록화하고 비교하는 첫 번째 통합 조사라는 점에서 그 주요 의의가 있다고 주장한다. 분류 체계에 시스템을 매핑함으로써, 저자들은 발음 및 운율과 동시에 어휘 강세와 내용 충실도를 처리하는 통합 시스템의 부재를 포함한 현재 기술 수준의 결정적인 공백을 폭로한다.

저자들은 본 연구가 차세대 통합적, 증거 기반 코칭 시스템을 개발하는 연구자들에게 참조 자료 역할을 할 것이라고 겸허히 주장한다. 이들은 개별 구성 요소(진단, TTS, 운율 모델링)는 성숙했을지라도, 이를 다양한 L1 배경에 대해 공정하고 학술 발표의 특정 구조에 기반한 배포 가능한 실시간 시스템으로 통합하는 것이 여전히 과제로 남아 있음을 강조한다. 논문은 표준화된 벤치마크(예: 슬라이드 마커와 다양한 악센트를 포함한 발표 미니 세트) 구축을 위한 커뮤니티의 노력과, 이론적 방법과 실제 배포 사이의 간극을 메우기 위한 연구와 산업 간의 긴밀한 협력을 촉구한다.