기술 요약: AgentSteerTTS

문제 제기

텍스트 음성 변환 (TTS) 합성의 자연스러움과 유창성에서 상당한 진전이 있었음에도 불구하고, 기존 모델은 복합 지시에 대한 세밀한 제어에 어려움을 겪고 있습니다. 현재 시스템들은 종종 여러 가지 잠재적으로 상충되는 제약 조건이 존재할 때 (예: "기쁘지만 약간 오만함") 사용자가 지정한 감정 또는 스타일 속성을 충실히 구현하지 못합니다.

이 논문은 이러한 실패를 초래하는 두 가지 주요 병목 현상을 식별합니다:

1. 의미 - 음향 불일치: 이산적인 텍스트 의도는 연속적인 음향 실현과 깔끔하게 매핑되지 않습니다. 저자들은 복합 프롬핑 하에서 목표 감정 차원이 체계적으로 비활성화 (억제) 되는 반면, 비목표 차원은 불필요한 활성화 (누출) 를 받는다고 관찰했습니다. 이로 인해 특정 속성을 희석시키고 결합하는 대신 "모드 평균화"된 출력이 생성됩니다.
2. 화자 - 감정 얽힘: 자연스러운 음성에서 화자 정체성 (음색) 과 운율/감정 단서는 결합되어 있습니다. 잠재 생성 모델에서 목표 감정의 실현은 종종 서로 다른 화자 간에 체계적으로 이동합니다. 이로 인해 복합 의도의 충실도를 높이면 화자 이동 (정체성 상실) 으로 이어지고 그 반대의 경우도 발생하는 트레이드오프가 발생합니다.

방법론: AgentSteerTTS

이러한 과제를 해결하기 위해 저자들은 의도 충실한 표현 제어를 위한 다중 에이전트 폐루프 프레임워크인 AgentSteerTTS를 제안합니다. 이 아키텍처는 세 가지 전문 에이전트가 관여하는 "분리 - 고정 - 정제" 메커니즘을 통해 작동합니다:

1. 적대적 분리 에이전트 (ADM)

이 모듈은 화자 - 감정 얽힘 문제를 해결합니다.

• 메커니즘: 참조 오디오를 두 개의 잠재 하위 공간, 즉 $Z_{id}$(화자 정체성) 와 $Z_{emo}$(감정/운율) 로 분해합니다.
• 학습: 음향 충실도를 보장하기 위한 재구성 손실 ($L_{rec}$), 두 요소 간의 교차 공분산을 최소화하기 위한 직교성 손실 ($L_{orth}$), 그리고 양방향 적대적 학습을 사용합니다. 두 개의 판별기는 감정 스트림에서 화자 라벨을, 정체성 스트림에서 감정 라벨을 예측하려고 시도합니다. 경사 반전 레이어 (GRL) 는 인코더가 이러한 교차 의존성을 학습하지 못하도록 하여 누출을 효과적으로 억제합니다.

2. 듀얼 스트림 앵커링 컨트롤러 (DAC)

이 모듈은 추상적인 텍스트 지시를 구체적인 음향 프로토타입에 기반하게 함으로써 의미 - 음향 불일치를 해결합니다.

• 검색 에이전트: 사용자 지시가 주어지면, 이 에이전트는 대규모 음향 프로토타입 라이브러리(MLLM 주석이 달린 고 표현력 샘플로 구성됨) 를 쿼리하여 관련 감정 앵커를 검색합니다. 텍스트 기반 임베딩 검색과 선택적 시간적 자르기를 수행하여 가장 일관된 세그먼트를 선택합니다.
• 합성 에이전트: 이 에이전트는 검색된 음향 프로토타입과 사용자의 의도를 융합합니다. 게이트된 어텐션 메커니즘을 사용하여 다음을 결합합니다:
  • 음향 스트림: 검색된 프로토타입의 특징과 목표 화자의 중립 상태.
  • 텍스트 스트림: 지시에서 파생된 이산적 강도 벡터.
• 출력: 이 융합은 목표 화자의 정체성을 존중하면서 감정 하위 공간에 생성을 고정하는 연속 제어 벡터 ($\hat{z}_{emo}$) 를 생성합니다.

3. 빠르고 느린 피드백 에이전트

이 모듈은 추론 중 잔류 의미 이동을 수정하기 위해 출력을 정제합니다.

• 빠른 에이전트 (잠재 경사 보정): 파형 합성 전에, 경량 가미분 가능한 **잠재 일관성 예측기 (LCP)**가 중간 멜 스펙트로그램과 목표 의도 간의 정렬을 추정합니다. 보컬러를 실행하지 않고 감정 임베딩에 대한 스케일링 인자 ($\alpha$) 를 조정하기 위해 온라인 경사 하강법을 수행합니다.
• 느린 에이전트 (지각적 비판): 파형 생성 후, Supervisor 에이전트 (Gemini 또는 Qwen 과 같은 MLLM 백엔드 구동) 가 출력을 평가합니다. 편차 (예: "감정이 너무 약함" 또는 "유형 오류") 를 감지하면, 빠른 에이전트의 재보정 또는 DAC 에 의한 프로토타입 재검색을 트리거합니다.

주요 기여

이 논문은 세 가지 주요 기여를 주장합니다:

1. 체계적 편향 식별: 저자들은 복합 지시 TTS 가 무작위 노이즈가 아닌 체계적인 목표 억제 및 비목표 누출에 시달리며, 이는 화자 - 감정 얽힘에 의해 악화됨을 실증적으로 입증합니다.
2. 새로운 프레임워크: 적대적 분리, 검색 증강 앵커링, 계층적 피드백을 통합하여 세밀한 제어를 달성하는 다중 에이전트 폐루프 시스템인 AgentSteerTTS 의 제안.
3. 실증적 검증: 공개 데이터셋과 새로운 복합 지시 벤치마크 모두에서 최첨단 베이스라인을 능가하면서 의도 정렬을 개선하고 화자 정체성을 보존하는 방법을 보여주는 광범위한 실험.

실험 결과

저자들은 ESD 데이터셋과 사용자 정의 세밀한 복합 데이터셋( "기쁘지만 약간 오만함"과 같은 지시 포함) 에서 AgentSteerTTS 를 평가했습니다.

• 복합 제어 성능: 복합 벤치마크에서 AgentSteerTTS 는 (Gemini3 백엔드 사용 시) 0.955의 **E-SIM(감정 유사도)**을 달성하여 IndexTTS2(0.864) 와 CosyVoice2(0.748) 를 크게 능가했습니다.
• 화자 보존: 시스템은 높은 화자 유사성 (S-SIM = 0.841) 을 유지하여 향상된 감정 제어가 정체성 이동의 대가를 치르지 않았음을 입증했습니다.
• 절차 제거 연구:
  • 적대적 분리 모듈을 제거하면 화자 이동 ($\Delta$S-SIM) 이 0.021 에서 0.048 로 증가했습니다.
  • 프로토타입 검색을 제거 (텍스트만 조건부) 하면 복합 성공률 (CSR) 이 0.78 에서 0.49 로 하락했습니다.
  • 피드백 루프를 제거하면 CSR 이 감소하여 강도 불일치를 수정하는 데 있어 그 역할을 확인시켰습니다.
• 정성적 분석: 스펙트로그램 및 운율 궤적 시각화는 모델이 단일 감정의 전역적 왜곡이나 단순 평균이 아닌, 국소적이고 의도 정렬된 스펙트럼 편집을 생성함을 확인시켰습니다.

중요성 및 한계

중요성:
이 논문은 AgentSteerTTS 가 이산적 텍스트와 연속적 오디오 간의 "구조적 불일치"에 대한 강력한 해결책을 제공한다고 주장합니다. 화자와 감명을 명시적으로 분리하고 폐루프 피드백 메커니즘을 사용함으로써, 이 프레임워크는 현재 순방향 모델이 포착하지 못하는 복잡하고 미묘한 감정 상태의 신뢰할 수 있는 합성을 가능하게 합니다.

한계:
저자들은 몇 가지 제약을 인정합니다:

• 프로토타입 라이브러리 의존성: 성능은 희귀하거나 특이한 복합 스타일의 경우 특히 음향 프로토타입 라이브러리의 커버리지와 검색 신뢰도에 의해 제한됩니다.
• 평가자 의존성: 느린 루프는 외부 MLLM 평가자에 의존하며, 이는 분포 외 프롬프트에 대해 불완전하거나 과도하게 자신감을 가질 수 있습니다.
• 부분적 분리: ADM 은 지배적인 화자 - 감정 결합을 대상으로 하지만 모든 음향 요소 (예: 녹음 조건, 억양, 연령) 의 완전한 분해를 달성하지는 않으므로 잔류 변동이 지속될 수 있습니다.

이 논문은 이 방법이 복합 제어에서 상당한 진전을 이루었지만, 향후 연구는 외부 평가자에 대한 의존성을 줄이고 프로토타입 라이브러리의 견고성을 확장하는 데 초점을 맞춰야 한다고 결론지었습니다.