Automatic Prosodic Audio Description Modeling

기술 요약: 자동 운율적 오디오 설명 모델링

문제 제기
현재의 자동 오디오 설명(AD) 시스템은 두 가지 한계에 직면해 있다. 즉, 의미론적 정확성과 정서적 표현력을 동시에 달성하는 데 어려움을 겪고 있다는 점이다. 최근 컴퓨터 비전과 자연어 처리(NLP)의 발전으로 시각 장애인(BLV) 사용자를 위한 텍스트 설명 생성 능력은 향상되었으나, 표준 텍ền-음성 변환(TTS)을 통한 이러한 설명의 전달 방식은 여전히 단조로운 수준에 머물러 있다. 이러한 운율적 다양성의 결여는 영상 콘텐츠의 정서적 질감과 서사적 의도를 전달하지 못한다. 또한, 연구에 따르면 특히 후천적 시각 장애를 가진 개인은 목소리의 정서적 뉘앙스와 인위성에 대해 높은 민감도를 보인다. 결과적으로, 기존 시스템은 청각적 경험에 필수적인 정서적 단서들을 박탈함으로써 청자의 몰입도와 이해도를 저해하는 경우가 많다.

방법론
저자들은 주의 기반(attention-based)의 의미론적 서사 생성과 정서적 운율 모델링을 통합하는 통합 프레В워크를 제안한다. 이 파이프라인은 상호 연관된 네 가지 단계로 구성된다:

1. 주의 메커니즘(Attention Mechanisms): 시스템은 시각적-서사적 차원인 동작, 특수 효과, 환경/분위기, 얼굴 표정, 상호작용, 캐릭터, 신체 언어를 우선순위에 두기 위해 7가지의 상호 보완적인 주의 메커니즘을 적용한다. 이를 통해 오디오-비주얼 스트림을 필터링하여 서사 및 정서적 맥락과 가장 관련이 깊은 키프레임을 선택한다.
2. 의미론적 설명 생성: 우선순위가 지정된 단서들을 사용하여 일관된 의미론적 서사를 생성한다. 여기에는 다음 과정이 포함된다:
   • 역 다이어리제이션(Reverse Diarization): 비디오에서 화자가 없는 구간을 분리하여 AD 삽입을 위한 유효한 지점을 결정한다.
   • 키프레임 선택: CLIP(Contrastive Language–Image Pre-training)을 활용하여 7가지 주의 차원에서 도출된 텍스트 프롬프트에 따라 프레임의 순위를 매긴다.
   • 서사 합성: GPT-4o를 사용하여 선택된 키프레임을 바탕으로 상세하고 시간적으로 일관된 설명을 생성하며, 이는 화자가 없는 구간의 가용 시간에 의해 제한된다.
3. 정서적 특징화: 시스템은 생성된 서사를 플루칙(Plutchik)의 감정 바퀴에 매핑하여, 지배적인 감정(예: 기쁨, 공포, 분노)과 그 강도를 식별한다. 이 매핑은 48개의 오디오 녹음(3명의 전문 내레이터가 수행한 16가지 정서적 표현)으로 구성된 참조 코퍼스를 기반으로 한다.
4. 운율 합성: 프레임워크는 AD를 렌더링하기 위해 두 가지 합성 전략을 평가한다:
   • 프롬프트 기반(Prompt-based): 텍스트 지시어를 사용하여 TTS 모델에 정서를 유도한다.
   • 참조 기반(Reference-based, 주요 방식): 특정 운율 패턴을 복제하기 위해 참조 오디오 녹음에 조건화된 음성 복제 모델(XTTS v2 및 Spanish-F5)을 사용한다.
   • 특징 추출: OpenSMILE(eGeMAPSv02)을 사용하여 운율 파라미터(기본 주파수/피치, 강도, 리듬, 휴지 시간)를 추출하고, 플루칙 모델에서 도출된 타겟 프로필과 비교하기 위해 [1, 5] 척도로 정규화한다.

실험 설정
본 연구는 정서적 부하와 시각적 다양성이 높은 장면들을 선정하여 Microsoft Research Video Description Corpus(MSVD)에서 10개의 대표 장면을 활용하였다. 시스템은 총 60개의 오디오 파일(10개 비디오 × 3명의 내레이터 × 2개의 합성 모델)을 생성하였다. 음향 평가는 합성된 운율 프로필과 인간 참조 코퍼스에 의해 정의된 타겟 정서 프로필 간의 일치성에 초점을 맞추었다.

주요 결과

• 의미론적 정확도: GPT-4o는 스페인어 참조 주석에 대한 의미론적 유사성 지표(CIDEr, BLEURT, ROUGE)에서 7개의 대안 생성 모델보다 우수한 성능을 보이며, 더 정확하고 문맥에 적합한 설명을 제공하였다.
• 운율적 표현력: 참조 기반 합성(XTTS v2 및 Spanish-F5)은 프롬프트 기반 대안 모델에 비해 타겟 정서 프로필과 현저히 높은 일치성을 보였다. 이는 특히 고각성(high-arousal) 감정(예: 기쁨, 분노)에서 두드러졌으며, 참조 기반 모델이 높아진 기본 주파수, 높은 강도 및 가속된 발화 속도를 성공적으로 포착했음을 보여준다.
• 정서적 정렬: 개별 내레이터들은 서로 다른 음성 스타일(예: 피치 및 강도 변화)을 보였으나, 특정 감정 범주와 관련된 운율 패턴은 내레이터 간에 일관되게 유지되었다. 저각성(low-arousal) 감정은 하강하는 주파수, 감소된 강도 및 긴 휴지로 특징지어진 반면, 고각성 감정은 그 반대의 양상을 보였다.
• 모델 간 차이: 두 참조 기반 모델은 고각성 감정(미세한 F0 가변성)을 처리할 때 가장 큰 차이를 보였으나, 저각성 감정(긴 휴지, 하강 곡선)에서는 수렴하는 경동을 보였다.

의의 및 주장
본 논문은 이 프레임워크가 의미론적 풍부함과 운율적 표현력 사이의 간극을 해결함으로써 자동 AD의 진일보를 나타낸다고 주장한다. 저자들은 본 접근 방식이 다음과 같은 효과를 가진다고 상정한다:

• 단조로움 극복: 장면의 정서적 부하에 따라 운율 파라터를 동적으로 조정함으로써, 기존 AD의 평면적인 전달 방식을 넘어선다.
• 이중 접근 방식의 검증: 의미론적 일관성과 정서적 표현력을 어느 하나를 희생하지 않고 동시에 유지할 수 있음을 입증한다.
• 재현 가능한 방법론 제공: 본 연구는 확립된 심리학 모델(플루칙의 바퀴)과 음향 분석(OpenSMILE)에 기반한 실용적인 파이프라인과 평가 방법론을 제공한다.

한계 및 향 향후 과제
저자들은 현재 범위에 대해 겸허한 입장을 유지하며 몇 가지 한계를 인정한다:

• 코퍼스 제약: 짧은 MSVD 클립(10~25초)의 사용은 장편 영화나 다큐멘터리에서 발견되는 복잡하고 긴 서사 구조를 평가하는 데 한계가 있다.
• 언어적 범위: 본 연구는 스페인어로만 수행되었으므로, 다른 언어나 방언에 대한 직접적인 적용 가능성이 제한된다.
• 평가 격차: 평가는 엄격하게 음향적인 측면에 국한된다. 저자들은 측정된 운율적 일치성이 실제 접근성 및 사용자 몰입도 향상으로 이어지는지 확인하기 위해 시각 장애인 최종 사용자를 대상으로 한 지각적 검증이 필수적임을 명시적으로 밝히고 있다.

향 향후 연구는 더 길고 서사적으로 복잡한 콘텐츠에 프레임워크를 테스트하고, 시스템을 교차 언어 및 교차 방언 사용에 적응시키며, 대상 시각 장애 인구를 대상으로 한 지각 연구를 수행하는 방향으로 진행될 예정이다.