기술 요약: TORUS – 통합 오디오 모델을 위한 렌더링-이해 자기 일관성 테스트

1. 문제 정의

오디오 생성, 이해, 그리고 점진적으로 편집까지 가능한 통합 오디오 모델이 확산되고 있습니다. 그러나 근본적인 질문 하나가 해결되지 않은 채 남아 있습니다: 통합 모델의 두 헤드(head)는 동일한 오디오에 대해 서로 동의하는가?

현재의 평가 방식은 생성, 편집, 이해를 각각 특화된 벤치마크를 사용하여 개별적으로 평가합니다. 모델은 충실도(fidelity), 지시 이행(instruction-following), 질의응답(question-answering)에 관한 별도의 리더보드에서 우수한 성적을 거둘 수 있지만, 모델의 이해 헤드가 자신이 생성한 오디오에 대해 올바르게 추론할 수 있는지 검증할 메커니즘은 없습니다. 비전 연구는 생성된 이미지에 대해 통합 모델을 테스트함으로써 이 루프를 닫기 시작했지만, 오디오 도메인에는 이와 유사한 평가 체계가 부족합니다. 비전 프로토콜을 직접 전이하는 것은 오디오의 강력한 텍스트 사전 지식(듣지 않고도 답을 낼 수 있게 함)과 고유한 시공간적/인과적 구조로 인해 쉽지 않습니다. 결과적으로, 분야에는 통합 오디오 모델의 **자기 일관성(self-coherence)**을 측정하기 위한 벤치마크가 부재한 상황입니다.

2. 방법론: TORUS 벤치마크

저자들은 최초의 오디오 네이티브 자기 일관성 벤치마크인 TORUS(Test of Rendering-Understanding Self-Coherence)를 소개합니다.

2.1 벤치마크 구조

TORUS는 48개의 3단계 자기 일관성 테스트로 구성되며, 여기에는 **432개의 6지 선다형 객관식 문제(MCQ)**가 포함됩니다. 테스트는 세 가지 오디오 유형(음성, 효과음, 음악)과 다섯 가지 작업 패밀리를 아우릅니다. 각 테스트는 생성 헤드(G)와 이해 헤드(U)가 참여하는 폐쇄 루프 프로토콜을 따릅니다:

1. 1단계 (생성): G가 프롬프트($p_{gen}$)로부터 오디오 장면($a_{gen}$)을 생성합니다. U는 $a_{gen}$을 바탕으로 3개의 객관식 문제($Q_{gen}$)에 답합니다.
2. 2단계 (편집): G가 편집 프롬프트($p_{edit}$)를 사용하여 $a_{gen}$을 편집하여 $a_{edit}$를 생성합니다. U는 $a_{edit}$를 바탕으로 3개의 객관식 문제($Q_{edit}$)에 답합니다.
3. 3단계 (반사실적 편집): G가 특정 속성은 유지하면서 다른 속성을 변경하는 반사실적 프롬프트($p_{cf}$)를 사용하여 $a_{edit}$를 편집하여 $a_{cf}$를 생성합니다. U는 $a_{cf}$를 바탕으로 3개의 객관식 문제($Q_{cf}$)에 답합니다.

**일관성 지표(Coherence Metric)**는 이러한 단계 전반에 걸쳐 모델이 정답을 맞힌 질문의 비율로 정의됩니다.

2.2 데이터 큐레이션 및 누출 방지

모델이 (듣지 않고) 텍스트 사전 지식을 통해 정답을 맞히거나 모호함으로 인해 실패하는 것을 방지하기 위해, 저자들은 엄격한 인간 참여형(human-in-the-loop) 파이프라인을 구현했습니다:

• 인간 작성 시드(Human-Authored Seeds): 장면의 진행과 속성을 정의합니다.
• LLM 확장: 최첨단 LLM이 프롬프트와 오디오 사양을 생성합니다.
• 질문 작성: LLM이 이상적인 오디오에서 유도된 특정 "키(key)"(속성)를 기반으로 단계별로 3개의 객관식 문제를 만듭니다.
• 결합 게이트 (누출 체크):
  • 무음 오디오 솔버(Muted-Audio Solver): 오디오 모델이 1초의 침묵 상태에서 질문에 답하도록 시도합니다. 만약 성공한다면, 해당 질문은 "텍스트 사전 지식 누출"로 간과되어 다시 작성됩니다.
  • 이상적 생성 솔버(Ideal-Generation Solver): 완벽한 오디오 설명을 제공받은 LLM이 질문에 답하도록 시도합니다. 만약 실패한다면, 해당 질문은 너무 어렵거나 모호한 것으로 간주되어 다시 작성됩니다.
• 인간 검증: 최종 검토를 통해 테스트가 추론 및 생성 능력을 적절히 평가하는지 확인합니다.

2.3 실험 설정

• 평가 대상 모델: 다섯 가지 오픈 통합 모델 (Audio-Omni, Audex-30B, Audex-2B, UniAudio-2, Unified-IO 2).
• 계단식 베이스라인(Cascaded Baseline): 생성, 편집, 이해를 위한 최첨단(SOTA) 특화 모델들(예: TangoFlux, ACE-Step 1.5, Step-Audio-EditX, gpt-audio)을 연결하여 성능 상한선을 제공하는 파이프라인입니다.
• 비네이티브 편집 처리: 네이티브 오디오-인(audio-in) 편집 기능이 없는 통합 모델의 경우, "셀프 캡션 편집" 체인을 사용했습니다: 모델이 자신의 출력을 캡션하고, 이 캡션이 다음 생성 단계의 프롬프트 역할을 합니다.
• 지표:
  • 자기 평가: 일관성 (% 정확도).
  • 객관적 평가: 단어 오류율(WER), 분포 지표(FAD, FD, KL), 그리고 모달리티 정확도(CM).

3. 주요 결과

평가는 전문화된 파이프라인과 통합 모델 사이의 상당한 격차를 보여줍니다.

• 전반적인 성능: 계단식 베이스라인은 **63.2%**의 정확도를 달성했습니다. 가장 우수한 통합 모델인 Audex-30B는 **50.5%**를 기록하여 베이스라인보다 12.7% 뒤처졌습니다. 가장 낮은 점수를 받은 통합 모델인 Unified-IO 2는 **21.8%**를 기록했습니다.
• 단계적 저하: 대부분의 시스템은 1단계(생성)에서 정점을 찍고 2단계와 3단계(편집 및 반사실적 편집)에서 크게 저하되었습니다. 이는 오디오 편집이 현재 시스템들의 주요 실패 지점임을 나타냅end.
• 규모 효과: 모델의 크기가 클수록 일반적으로 더 나은 성능을 보였습니다 (Audex-30B > Audex-2B).
• 충실도와 이해의 해리(Dissociation):
  • 생성 충실도: 인간 선호도 연구(A/B 테스트) 결과, 상위 통합 모델(Audio-Omni, Audex-30B)이 지각적 품질 측면에서 계단식 베이스라인보다 자주 선호되었습니다.
  • 자기 이해: 높은 지각적 품질에도 불구하고, 이와 동일한 모델들이 TORUS에서는 낮은 점수를 받았습니다. 예를 들어, Audio-Omni는 가장 높은 생성 충실도를 가졌음에도 불구하고 일관성 측면에서 베이스라인보다 20퍼센트 포인트 뒤처졌습니다.
  • 독립성: 낮은 일관성이 반드시 낮은 생성 품질(렌더링) 때문만은 아니었습니다. 분포 지표가 좋지 않은 모델(예: Audex-2B)이 더 나은 렌더링 통계를 가진 모델보다 질문 답변에서 더 높은 성능을 보이기도 했는데, 이는 "지능적인 음성 렌더링"과 "이를 이해하는 것"이 현재 독립적인 능력임을 시사합니다.
• 모달리티 오류: 심지어 가장 우수한 시스템조차 약 40%의 확률로 잘못된 모달리티(예: 음성 대신 노이즈)를 생성하여, 더 강력한 생성이 필요함을 보여주었습니다.

4. 주요 기여

1. 최초의 오디오 네이티브 자기 일관성 벤치마크: TORUS는 음성, 효과음, 음악을 아우르는 5가지 작업 패밀리에 대해 누출 체크가 완료된 432개의 질문을 포함한 48개의 3단계 테스트를 도입했습니다.
2. 누출 체크가 완료된 테스트 생성 파이프라인: 결합 게이트(무음 오디오 및 이상적 생성 솔버)를 활용하여 질문이 텍스트 사전 지식만으로 답할 수 없도록 하고, 동시에 완벽한 오디오로는 답할 수 있도록 보장하는 새로운 파이프라인을 구축했습니다.
3. 제한된 자기 일관성의 증거: 본 연구는 통합 모델이 전문화된 계단식 베이스라인보다 자기 일관성 측면에서 12.7%에서 41.4%까지 뒤처진다는 것을 보여주는 첫 번째 공동 평가를 제공합니다. 이는 높은 품질의 오디오를 생성할 수 있음에도 불구하고, 특히 편집 작업 중에 자신의 생성물에 대해 추론하는 데 어려움을 겪는다는 점을 강조합니다.

5. 의의 및 주장

이 논문은 자기 일관성을 미래 오디오 시스템을 위한 필수적이고 이전에 측정되지 않았던 속성으로 규정합니다. 저자들은 통합 오디오 모델이 진정한 일반 지능에 도달하기 위해서는 오디오를 생성하고 이해하는 것뿐만 아니라, 그 두 헤드가 동일한 내용에 대해 "동의"하도록 보장해야 한다고 주장합니다.

연구 결과는 다음과 같은 점을 시사합니다:

• 현재의 통합 모델은 아직 자기 일관성이 부족하며, 자신의 출력물을 신뢰할 수 있게 이해하지 못합니다.
• 생성 품질과 자기 이해 사이의 격차는 상당하며, 높은 충실도의 생성은 자기 일관성을 보장하지 않습니다.
• 오디오 편집은 여전히 중요한 미해결 과제로, 통합 모델과 전문화된 시스템 모두에서 성능 저하를 일으킵니다.
• 분야는 고립된 작업 평가를 넘어 폐쇄 루프 형태의 자기 참조적 테스트로 나아가야 합니다.

저자들은 TORUS를 현재의 베이스라인이 오늘날의 최선인 전문화된 파이프라인임을 인정하며, 이를 열린 대화를 시작하기 위한 "사전 조건 체크"이자 "정상성 체크(sanity check)"로 겸허하게 규정합니다. 또한, 생성, 편집, 이해를 진정으로 하나의 일관된 전체로 통합할 수 있는 모델에 대한 연구를 촉구합니다.