S-VoCAL: A Dataset and Evaluation Framework for Inferring Speaking Voice Character Attributes in Literature

이 논문은 문학 작품 속 등장인물의 음성 속성을 추론하기 위한 최초의 데이터셋 및 평가 프레임워크인 S-VoCAL 을 제안하고, 이를 통해 RAG 파이프라인이 나이와 성별은 효과적으로 추론하지만 출신이나 신체 건강 상태와 같은 속성에서는 어려움을 겪음을 입증했습니다.

핵심

📚 책 속 캐릭터에게 목소리를 입히기: 'S-VoCAL' 프로젝트 설명

이 논문은 **"책 속 등장인물에게 어떤 목소리를 입혀야 할지, 인공지능이 어떻게 알아낼 수 있을까?"**라는 흥미로운 질문에서 시작합니다.

마치 오디오북을 만드는 요리사가 상상해 보세요. 요리를 하려면 재료를 잘 골라야 하죠? 오디오북의 '재료'는 바로 등장인물의 목소리입니다. 하지만 책에는 "이 인물은 30 대 남성이고, 목소리가 쉰 소리가 나며, 영국 출신이다"라고 명확히 적혀 있지 않은 경우가 많습니다. 정보를 찾아서 목소리를 만들어내는 것은 마치 바늘을 건초더미에서 찾는 일처럼 어렵습니다.

이 연구는 그 '바늘 찾기'를 도와주는 **새로운 지도와 나침반 (S-VoCAL)**을 만들었습니다.

---

1. 🎭 왜 이 연구가 필요한가요? (배경)

최근 인공지능 (AI) 이 책을 읽어주는 '텍스트-음성 변환 (TTS)' 기술이 정말 잘 발전했습니다. 하지만 아직 한 가지 큰 문제가 있습니다.

• 현실: AI 가 책을 읽을 때, 주인공이 남자든 여자든, 노인이든 아이든 똑같은 목소리로 읽는 경우가 많습니다.
• 목표: 책 속의 '사악한 왕'은 낮고 굵은 목소리로, '순진한 소녀'는 높고 맑은 목소리로 읽어야 책이 살아납니다.
• 문제: AI 는 책의 긴 내용을 읽어가며 "아, 이 인물은 60 세에 병약해서 목소리가 떨리겠구나"라고 추론하는 데 서툴러 합니다.

2. 🗺️ S-VoCAL 이란 무엇인가요? (데이터셋)

연구팀은 S-VoCAL이라는 새로운 도구를 만들었습니다. 이는 마치 등장인물들의 '성격 분석 보고서' 모음집입니다.

• 내용: 프로젝트 거트버그 (Project Gutenberg) 에 있는 고전 소설 192 권, 등장인물 952 명을 분석했습니다.
• 추적하는 8 가지 특징:
  1. 나이 (아이, 청소년, 성인, 노인)
  2. 성별 (남/여)
  3. 출신 지역 (어느 나라/지역 accent 가 날까?)
  4. 거주지
  5. 직업 (목소리에 어떤 특징이 있을까?)
  6. 구사 언어
  7. 건강 상태 (병약해서 목소리가 떨리는가?)
  8. 종류 (사람인가, 동물/괴물인가?)

이 데이터는 AI 가 책 내용을 읽었을 때, 위 8 가지 특징을 얼마나 잘 찾아내는지 시험지 역할을 합니다.

3. 🧪 어떻게 시험을 치나요? (평가 방법)

모든 시험 문제가 같은 방식은 아닙니다. 연구팀은 각 문제의 성격을 맞춰서 채점 방식을 바꿨습니다.

• 정답이 명확한 문제 (나이, 성별):
  • 마치 객관식 퀴즈처럼, 정답과 맞으면 점수를 줍니다.
  • 예시: "성별: 남성"이라고 답하면 1 점, "여성"이라고 답하면 0 점.
• 정답이 유연한 문제 (출신, 직업, 건강):
  • 이건 주관식 에세이 채점과 비슷합니다. "영국"이라고 답했는데 정답이 "런던"이라면? 완전히 틀린 건 아니죠.
  • 연구팀은 최신 AI (Qwen-3) 를 이용해 의미의 유사도를 측정합니다. "영국"과 "런던"은 의미가 비슷하니까 점수를 높게 주고, "미국"이라고 답하면 점수를 낮게 줍니다.
  • 이를 인간이 채점한 점수와 비교하여 AI 가 얼마나 똑똑한지 확인합니다.

4. 🤖 AI 는 잘할까요? (결과)

연구팀은 **RAG(검색 증강 생성)**라는 기술을 써서 AI 가 책에서 정보를 찾아내게 했습니다. 결과는 다음과 같습니다.

• ✅ 잘하는 일 (단단한 사실):
  • 나이, 성별, 사람인지 아닌지 같은 명확한 사실은 아주 잘 찾아냅니다. (예: "이 인물은 성인 남성이다" → 정확도 99% 이상)
• ❌ 어려워하는 일 (미묘한 뉘앙스):
  • 건강 상태, 출신 지역, 직업 같은 복잡한 정보는 잘 못 찾습니다.
  • 이유: 책에 "그는 기침을 자주 했다"라고 적혀 있을 때, AI 가 "아, 건강이 안 좋구나"라고 추론하는 건 쉽지만, "그가 어떤 병을 앓고 있는지"까지 구체적으로 찾아내기는 어렵기 때문입니다. 마치 바늘을 찾기는 했지만, 바늘이 어디에 숨어 있는지 정확히 못 찾는 상황입니다.

5. 🌟 결론 및 의의

이 연구는 **"AI 가 오디오북을 읽을 때, 등장인물마다 제 목소리를 찾아주는 것"**이 얼마나 중요한지 보여줍니다.

• 현재: AI 는 기본적인 정보 (남/녀, 나이) 는 잘 찾지만, 캐릭터의 개성을 살리는 미묘한 정보 (건강, 출신) 는 아직 부족합니다.
• 미래: 이 S-VoCAL 이라는 '지도'를 통해 AI 를 훈련시키면, 앞으로는 책 속의 모든 캐릭터가 제 목소리로 살아 숨 쉬는 진짜 같은 오디오북을 만들 수 있을 것입니다.

한 줄 요약:

"책 속 캐릭터에게 맞는 목소리를 찾아주는 AI 를 위한 새로운 시험지와 나침반을 만들었으며, AI 는 기본적인 정보는 잘 찾지만, 캐릭터의 개성을 살리는 미묘한 정보는 아직 배워야 합니다."

기술 요약

1. 문제 정의 (Problem Definition)

최근 텍스트 - 음성 (TTS) 기술의 발전으로 합성 오디오북의 자연스러움이 크게 향상되었으나, 가상 캐릭터의 목소리를 흉내 내거나 복잡한 감정/억양을 전달하는 능력에서는 여전히 한계가 존재합니다. 오디오북 내러티브에서 캐릭터 식별력을 높이기 위해서는 각 캐릭터에게 적합한 목소리 (나이, 성별, 출신 지역, 신체 건강 상태 등) 를 할당하는 과정이 필수적입니다.

그러나 이러한 속성들은 소설 텍스트에 명시적으로 드러나지 않거나, 먼 장면에 분산되어 있어 추론이 어렵습니다. 기존 연구들은 캐릭터에 대한 일반적인 문학 분석이나 구조화된 프로필에 집중했으나, 목소리의 발현 (Voice delivery) 과 직접적으로 연관된 구체적인 속성을 추출하고 평가하기 위한 전용 데이터셋 및 평가 프레임워크는 부재했습니다.

2. 방법론 (Methodology)

2.1. S-VoCAL 데이터셋 구축

저자들은 소설에서 화자 목소리 특성과 연관된 8 가지 속성을 추출하기 위해 S-VoCAL (Speaking Voice Character Attributes in Literature) 데이터셋을 제안했습니다.

• 데이터 규모: 프로젝트 가트너 (Project Gutenberg) 의 192 권 소설에서 추출된 952 개의 캐릭터 - 책 쌍.
• 추출된 8 가지 속성:
  1. 나이 (Age): 아동, 청소년, 성인, 노년 (4 단계 범주화).
  2. 성별 (Gender): 남성, 여성.
  3. 유형 (Type): 인간, 비인간.
  4. 출신 (Origin): 국적, 출생지.
  5. 거주지 (Residence): 거주 지역.
  6. 직업 (Occupation): 직업, 지위.
  7. 구사 언어 (Spoken Languages): 사용 언어.
  8. 신체 건강 (Physical Health): 건강 상태 (예: 호흡 곤란, 발음 장애 등).
• 데이터 수집: 위키데이터 (Wikidata) 의 구조화된 속성을 기반으로 매핑되었으며, 특히 '나이' 속성의 경우 부족했던 데이터를 보완하기 위해 인간 어노테이터를 통해 수동으로 319 건을 추가 주석했습니다.

2.2. 평가 프레임워크 (Evaluation Framework)

각 속성의 특성 (닫힌 클래스, 반닫힌 클래스, 열린 클래스) 에 따라 차별화된 평가 지표를 설계했습니다.

• 닫힌/반닫힌 클래스 (나이, 성별, 유형, 언어): 표준 F1 점수 및 클래스 불균형을 고려한 **가중 F1 (Weighted F1)**을 사용. 특히 나이의 경우 인접한 범주 (예: 청소년 vs 성인) 간의 오차는 덜 엄격하게 평가하는 Soft F1을 도입.
• 열린 클래스 (출신, 거주지, 직업, 건강): 자연어 표현의 다양성을 고려하여 Qwen-3 8b 임베딩을 기반으로 한 새로운 의미적 유사도 (Semantic Similarity) 지표를 개발.
  • 기존 BERTScore 와 달리, 속성별 지시문 (Instruction) 을 임베딩에 반영하여 더 정확한 유사도를 계산.
  • 인간 평가 점수와의 상관관계를 검증하여 **Human-Aligned Score (HAS)**로 변환하여 해석 가능성을 높임.

2.3. 실험 설정 (RAG Pipeline)

속성 추론 (Attribute Inference) 태스크를 위해 검색 증강 생성 (RAG) 파이프라인을 적용했습니다.

1. 검색 (Retrieval): 캐릭터 이름과 속성별 질의 (예: "이 캐릭터의 나이는?") 를 기반으로 E5-large 모델을 사용하여 관련 텍스트 구절을 검색.
2. 추론 (Inference): 검색된 구절을 프롬프트로 사용하여 LLM (Qwen3-8B, Phi-4-14B) 에게 속성을 추론하게 함.
3. 후처리: LLM 출력의 노이즈 (추론 과정 포함, JSON 파싱 오류 등) 를 정제하여 구조화된 속성 값으로 변환.

3. 주요 기여 (Key Contributions)

1. S-VoCAL 데이터셋: 소설에서 화자 목소리 관련 캐릭터 속성을 추론하기 위한 최초의 전용 데이터셋 및 평가 프레임워크 제공.
2. 맞춤형 평가 체계: 각 속성의 고유한 특성 (범주형, 텍스트형, 불균형 분포 등) 을 반영한 다층적 평가 지표 개발. 특히 인간 판단과 높은 상관관계를 보이는 새로운 의미적 유사도 메트릭 제안.
3. RAG 기반 성능 분석: LLM 을 활용한 속성 추론의 현재 한계와 가능성을 실증적으로 규명.

4. 실험 결과 (Results)

4.1. 닫힌 클래스 속성 (Closed-Class Attributes)

• 성별, 유형, 언어: RAG 파이프라인이 매우 높은 성능 (Weighted F1 > 0.9) 을 보였으며, 단순 다수결 베이스라인을 크게 상회함.
• 나이: 성능은 다소 낮았으나 (F1 약 0.780.80), Soft F1 점수 (0.920.94) 를 보면 대부분의 오차가 인접한 연령대 (예: 청소년과 성인) 사이에서 발생함을 확인. 이는 모델이 큰 틀에서는 나이를 잘 추론하지만 세부 구분에서 혼란을 겪음을 시사.

4.2. 열린 클래스 속성 (Open-Class Attributes)

• 유형 (비인간): 비교적 잘 추론됨 (HAS 약 0.78).
• 직업, 거주지, 출신: 부분적으로 정확한 추론이 가능했으나 (HAS 약 0.42~0.52), 세부 정보 누락이나 부정확성이 존재.
• 신체 건강: 가장 낮은 성능 (HAS 약 0.15) 을 보임. 모델이 캐릭터의 건강 상태 유무를조차 제대로 파악하지 못하는 경우가 많았음.
• 모델 비교: Qwen3-8B 와 Phi-4-14B 간의 성능 차이가 명확하지 않았으며, 특정 인스턴스에서는 서로 다른 모델이 다른 결과를 내어 독립적인 예측 행동을 보임.

5. 의의 및 결론 (Significance and Conclusion)

• 의의: S-VoCAL 은 몰입감 있는 합성 오디오북 제작을 위해 캐릭터의 정체성에 부합하는 목소리를 설계하는 데 필수적인 기준을 제공합니다. 특히 텍스트 기반의 간접적 단서를 통해 목소리 특성을 추론하는 NLP 시스템의 성능을 평가하는 표준 벤치마크 역할을 합니다.
• 한계: 데이터셋이 1940 년 이전의 고전 문학 (Project Gutenberg) 에 국한되어 있어, LLM 이 학습 데이터로 이미 접한 책들에 대한 성능 평가일 수 있다는 점. 또한, 나이, 건강 상태 등 시간에 따라 변하는 동적 속성보다는 정적 속성에 초점을 맞췄다는 점.
• 향후 전망: 이 연구는 캐릭터 목소리 디자인의 첫걸음으로, 향후 더 다양한 책과 동적 속성 (감정, 상황별 변화) 을 포함하는 확장된 연구의 기반이 될 것으로 기대됩니다.

이 논문은 텍스트에서 캐릭터의 목소리 특성을 자동으로 추출하려는 시도에서 중요한 이정표를 제시하며, 차세대 지능형 오디오북 및 TTS 시스템 개발에 필수적인 인프라를 마련했습니다.