기술 요약: ARTI-6 – 6차원 조음 음성 인코딩을 향하여

1. 문제 정의

음성 생성은 음향 신호를 생성하는 성도(vocal tract) 조음 기관의 협응된 움직임을 포함한다. 그러나 음향에서 조음으로의 매핑은 투명하지 않으며, 이로 인해 조음 역전(소리로부터 숨겨진 움직임을 추론)과 조음 합성(움직임으로부터 소리를 재구성)이 까다롭다.

기존 솔루션들은 다음과 같은 구체적인 한계에 직면해 있다:

• 데이터 양상(Data Modality): EMA(전자기 조음 측정법) 데이터에 의존하는 기존의 고성능 모델인 SPARC는 EMA가 성도의 일부 영역만을 포착하며, **연구개(velum), 설근(tongue root), 후두(larynx)**와 같은 중요한 영역을 놓친다는 점에 의존한다. 결과적으로 이러한 모델들은 비음성(nasality)이나 유성성(voicing)에 대한 명시적인 정보를 결여하고 있으며, 이를 보완하기 위해 음향적 상관관계(예: 피치, 에너지)를 필요로 하는 경우가 많다.
• 표현 복잡성(Representation Complexity): 실시간 MRI(rtMRI)는 성도 전체를 포괄적으로 제공하지만, 생성되는 데이터는 고차원적이고 불투명하다. 반대로, 지나치게 단순화된 특징들은 필수적인 생리학적 정보를 누락할 위험이 있다.
• 공백(The Gap): 핵심적인 조음 역동성(누락된 EMA 영역 포함)을 포착하면서도 모델링 및 실시간 응용을 위해 계산 효율성을 유지할 수 있는 압축적이고, 해석 가능하며, 생리학적 근거를 가진 표현 방식이 필요하다.

2. 방법론: ARTI-6 프레임워크

저자들은 rtMRI 데이터로부터 도출된 6차원 조음 음성 인코딩 프레임워크인 ARTI-6를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있다.

A. 6차원 특징 선택

저자들은 조음 목표(수축 형성 및 해제)에 결정적인 조음 기관에 대한 지식 기반 선택을 바탕으로 6개의 주요 관심 영역(ROI)을 선정하였다. 이 영역들은 다음과 같다:

1. 입술 개구도 (Lip Aperture, LA)
2. 설첨 (Tongue Tip, TT)
3. 설신 (Tongue Body, TB)
4. 연구개 (Velum, VL)
5. 설근 (Tongue Root, TR)
6. 후두 (Larynx, LX)

특징 추출: 저자들은 복잡한 운동학적 추적 대신, 각 영역의 수축 정도를 나타내는 대리 척도로서 rtMRI 프레임의 **이미지 픽셀 강도(pixel intensity)**를 사용한다. 이러한 선택은 이 영역들이 음성 생성을 위한 최소한의 조음 요구사항을 나타내며, 다른 운동학적 지점들이 이들과 높은 상관관계를 갖고, 모델이 이 대표값들로부터 전체 역동성을 추론할 수 있다는 가정에 근거한다.

B. 조음 역전 모델 (Articulatory Inversion Model)

이 구성 요소는 음향으로부터 6차원 조음 특징을 예측한다.

• 백본(Backbone): 모델은 사전 학습된 음성 파운데이션 모델(Whisper-Large, WavLM, HuBERT, Wav2Vec2)을 활용한다.
• 아키텍처: 파운데이션 모델은 **LoRA (Low-Rank Adaptation)**를 사용하여 미세 조정된다. 학습 가능한 저차원 행렬(low-rank matrices)이 트랜스포머 블록의 피드포워드 층에 삽입된다.
• 프로세싱: 학습 가능한 선형 레이어가 컨볼루션 층과 트랜스포머 층의 은닉 상태를 결합한다. 출력은 1D 포인트와이즈 컨볼루션 층을 통과한 후, 6차원 타겟 특징으로 매핑하기 위한 프로젝션 레이어를 거친다.
• 데이터: USC Long Single-Speaker (LSS) 데이터셋(단일 화자의 rtMRI 데이터 54분 분량)으로 학습되었으며, Miipher 음성 복원 모델을 통해 노이즈 제거가 적용되었다.

C. 조음 합성 모델 (Articulatory Synthesis Model)

이 구성 요소는 6차원 조음 특징으로부터 직접 이해 가능한 음성을 재구성한다.

• 아키텍처: HiFi-GAN v1을 기반으로 한다.
• 구성: 16 kHz 출력 샘플링 레이트에 맞추기 위해 특정 업샘플링 비율과 커널 크기를 사용한다.
• 컨디셔닝(Conditioning): 개별 화자의 특성을 포착하기 위해 ECAPA-TDNN에서 추출된 화자 임베딩을 조건으로 사용하며, 이는 합성 모델이 이 임베딩으로부터 성도 특성을 학습할 수 있다는 가정에 기반한다.
• 학습 데이터: LSS 데이터셋은 심층 합성기를 학습시키기에 불충분하므로, 저자들은 LibriTTS-R 데이터셋을 사용하여 학습을 증강하였다. 이들은 WavLM 기반의 역전 모델을 사용하여 예측된 조음 특징 쌍과 그에 대응하는 음향을 생성하여 합성 모델을 학습시켰다.

3. 주요 결과

조음 역전 성능

• 전체 상관관계: 모델은 테스트 세트에서 0.87 (피어슨 상관계수)의 예측 상관관계를 달밀했다.
• 최적의 백본: WavLM-Large와 HuBERT가 가장 높은 성능(테스트 세트에서 0.872 상관관계)을 보였으며, 이는 Whisper-Large와 Wav2Vec2-XLSR보다 우수한 성능이다.
• 음소 분석: 성능은 영역 및 음소 유형에 따라 차이를 보였다.
  • 높은 정확도: 입술 및 혀 영역(LA, TT, TB)은 높은 예측 정확도를 보였다.
  • 낮은 정확도: 연구개(VL)와 후두(LX)는 상대적으로 낮은 성능을 보였다.
  • 원인 분석: 낮은 연구개 성능은 폐쇄 시 픽셀 강도에서 발생하는 노이즈(능동적 움직임과 무관한 변동) 때문으로 분석된다. 낮은 후두 성능은 정중면(midsagittal) rtMRI가 상세한 내부 기하학적 역동성을 포착하는 데 한계가 있기 때문으로 분석된다.

조음 합성 성능

합성된 음성은 정답(ground truth) 및 다른 중간 특징 세트(Mel-spectrograms, EMA+pitch+loudness)와 비교 평가되었다.

• 이해 가능성: 극단적인 차원 축소(6차원)에도 불구하고, 합성된 음성은 수용 가능한 수준의 이해 가능성을 유지했다.
  • 단어 오류율 (WER): ~12.5%
  • 문자 오류율 (CER): ~7.4%
• 자연스러움:
  • UTMOS: 3.840 (5점 만점)
  • 평균 의견 점수 (MOS): 3.947
• 비교: 고차원 접근 방식(예: Mel-spectrograms 또는 EMA 기반 방식)보다는 품질이 낮지만, 결과는 6차원 표현이 자연스러운 음성을 생성할 수 있음을 입증한다.

4. 의의 및 주장

본 논문은 ARTI-6가 통합적이고, 해석 가능하며, 계산 효율적인 프레임십을 제공한다고 주장한다. 그 의의는 크게 세 가지 영역에 있다:

1. 생리학적 완전성: EMA 기반 시스템과 달리, ARTI-6는 연구개, 설근, 후두를 명시적으로 포착하여, 비음성이나 유성성을 위한 음향적 대리물에 의존하지 않고도 성도의 더 완전한 범위를 제공한다.
2. 해석 가능성: 6개 영역은 조음 운동학 및 언어학적 모델에 근거하고 있어, 직접적인 조음 데이터 획득이 어려운 과학 연구(예: 뇌 또는 근육 신호와의 상관관계 연구)에서 추론된 특징들이 가치 있게 쓰일 수 있다.
3. 효율성 및 실용성: 단 6개의 차원만을 사용하므로, ARTI-6는 전통적인 특징(MFCCs, mel-spectrograms)이나 잠재 공간(200+ 차원)보다 훨씬 압축적이다. 이 낮은 차원은 **계산 효율성과 낮은 지연 시간(low latency)**을 제공하여, 온디바이스 처리 및 스트리밍과 같은 실시간 응용 분야에 적합하다.

5. 한계 및 향후 과제

저자들은 현재 프레임워크가 단일 화자 조음 공간에 국한되어 있다는 점을 인정한다. 향리 과제는 다음과 같다:

• 화자별 컨디셔닝 없이 일반화를 가능하게 하는 다중 화자 공간으로 프레임워크 확장.
• 화자 간 비교 가능성을 높이기 위한 혀 변수(tongue variables) 정교화.
• 조음 영역 및 대리 척치(proxy measures)의 최적화.
• 조음 특징과 음향 특징을 결합한 하이브리드 특징 세트 탐색.

조음 역전 및 합성에 관한 추가 연구를 촉진하기 위해 소스 코드와 음성 샘플이 공개되어 있다.