기술 요약: JASTIN – 자연어 지시를 통한 제로샷 오디오 및 음성 평가를 위한 LLM 정렬

1. 문제 제기

생성형 오디오 모델 (텍스트 - 음성 변환, 음악 생성 등) 의 급속한 발전은 견고한 평가 방법론의 개발 속도를 앞질렀습니다. 현재의 평가 접근 방식은 세 가지 중요한 병목 현상에 직면해 있습니다:

• 제한된 도메인 적용성: 전통적인 신호 처리 지표 (예: PESQ, STOI) 와 특수 신경망 지표 (예: NISQA, UTMOS) 는 종종 특정 도메인에 국한됩니다. 예를 들어, PESQ 는 음악에 적합하지 않으며, Fréchet Audio Distance(FAD) 는 음성 처리에 어려움을 겪습니다. 이로 인해 평가 파이프라인이 단편화됩니다.
• 일반 MLLM 의 일관되지 않은 성능: Gemini 3 Pro 나 GPT-4o 와 같은 범용 멀티모달 대규모 언어 모델 (MLLM) 은 제로샷 작업에서 가능성을 보이지만, 특수 오디오 평가에서의 성능은 일관성이 부족하며 종종 엄격한 평가에 필요한 정밀도를 결여합니다.
• 지시 유연성 부족: 특수 LLM 기반 심사관은 종종 경직된 프롬프트 템플릿과 고정된 점수 척도 (예: 15 점) 에 의존합니다. 이들은 새로운 작업으로의 제로샷 일반화에 어려움을 겪으며, 척도를 1100 점으로 변경하거나 지시를 재구성하는 것과 같은 대체 사용자 요구 사항에 역동적으로 적응하지 못합니다.

기존 솔루션은 작업별 재학습 없이 음성, 음악, 효과음을 아우르는 통합된 지시 주도 프레임워크를 제공하지 못합니다.

2. 방법론: JASTIN 프레임워크

JASTIN (Natural Language Instructions 를 통한 지시 주도 오디오 및 음성 평가) 은 오디오 평가를 자기 지시 추론 작업으로 재정의합니다. 이 프레임워크는 고해상도 음향 표현과 LLM 의 언어적 추론 능력을 연결합니다.

아키텍처

아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

1. 동결된 오디오 인코더: 사전 학습된 고성능 인코더 (특히 PE-A-Frame-base) 는 견고한 프레임 단위 음향 특징을 추출합니다. 이 인코더는 학습된 시간적 역동성과 음향 사건의 표현을 보존하기 위해 동결 상태로 유지됩니다.
2. 학습 가능한 오디오 어댑터: 경량 프로젝션 네트워크 (선형 프로젝션 뒤 4:1 압축 비율의 병목 잔여 어댑터) 는 인코더의 연속 오디오 임베딩을 LLM 의 이산 텍스트 토큰 공간으로 매핑합니다.
3. 파인튜닝된 LLM 백본: 언어 모델 (Llama-3.2-3B) 이 핵심 추론 엔진 역할을 합니다. 이 모델은 교차된 멀티모달 입력 (작업 지시 및 오디오 임베딩) 을 처리하여 점수를 생성합니다.

입력 구성

오디오 평가는 맥락 의존적 점수 부여 작업으로 공식화됩니다: $s = f(T, A)$. 여기서 $s$는 예측된 점수, $T$는 자연어 작업 설명, $A$는 입력 오디오입니다. 입력은 작업 지시와 오디오 임베딩이 채팅 템플릿 내에서 교차되는 통합 대화 시퀀스로 구성됩니다. 모델은 응답 토큰에 대해서만 음의 로그 가능도를 최소화하도록 자기회귀적으로 훈련되어 목표 점수 시퀀스를 예측합니다.

데이터 준비 파이프라인

견고한 제로샷 일반화를 보장하기 위해 JASTIN 은 네 가지 핵심 차원을 포함하는 포괄적이고 이질적인 데이터 준비 전략을 채택합니다:

• 다중 소스: 인간이 주석한 정답 데이터 (예: QualiSpeech, SpeechEval), 공개 데이터셋 (LibriTTS, MusicCaps 등) 에서 AES 모델이 생성한 가상 라벨 데이터, 그리고 과적합을 방지하기 위한 프록시 작업 데이터 (예: 감정 감지, 잔향 감지) 를 집계합니다.
• 다중 작업: 음성, 음악, 사운드 전반의 자연스러움, 운율, 감정, 왜곡, 제작 품질을 아우르는 24 가지 다양한 작업을 포함합니다.
• 다중 보정: 점수의 동적 재조정 (예: 15 점을 1100 점으로 매핑), 의미 논리 반전 (예: "노이즈 평가" 대 "명확성 평가"), 연속 점수를 이진 분류로 변환하는 등 템플릿 기반 증강을 훈련 데이터에 적용합니다.
• 다중 설명: 교사 LLM 을 활용하여 작업 설명을 재구성하여 공식적인 요청을 캐주얼한 질문이나 기술적 평가 기준으로 변환합니다. 이를 통해 모델이 특정 키워드를 암기하는 것이 아니라 근본적인 의도를 학습하도록 보장합니다.

3. 주요 기여

1. 통합 일반화: JASTIN 은 작업별 재학습 없이 제로샷 단일 턴 환경에서 음성, 음악, 효과음을 평가할 수 있는 단일 모델입니다.
2. 포괄적 데이터 전략: 다중 소스, 다중 작업, 다중 보정, 다중 설명 데이터 파이프라인의 도입은 모델이 보지 못한 작업과 도메인 전반에 걸쳐 일반화하는 능력을 크게 향상시킵니다.
3. 지시 강건성: 자기 지시 훈련 패러다임을 채택함으로써 JASTIN 은 의미 민감성과 어휘 강건성 사이의 균형을 달성합니다. 이는 프롬프트가 재구성될 때 일관된 점수 부여를 유지하면서 평가 규칙과 점수 척도의 변화에 적응합니다.
4. 인간 중심 정렬: 이 프레임워크는 정적 지표를 넘어 동적이고 지시 주도적인 평가로 이동하여 인간의 주관적 평가와 밀접하게 정렬되도록 설계되었습니다.

4. 실험 결과

JASTIN 은 전통적인 비-LLM 지표 (예: AES, UTMOS, NISQA), 범용 MLLM (예: Gemini 시리즈, Qwen 시리즈, AudioFlamingo3), 특수 LLM 베이스라인을 QualiSpeech, SpeechEval, AES (음성, 사운드, 음악), AudioMOS2025, DeepASMR 등 다섯 가지 데이터셋에 대해 평가했습니다.

• 음성 평가: QualiSpeech 및 SpeechEval 데이터셋에서 JASTIN 은 인간 평가와의 피어슨 (PCC) 및 스피어만 (SRCC) 상관관계에서 최첨단 (SOTA) 성능을 달성하여 전통적 지표와 일반 MLLM 을 일관되게 능가했습니다. 예를 들어, SpeechEval 전체 품질 작업에서 JASTIN 은 PCC 0.662 를 기록하여 최상위 베이스라인 (음성 명료도에서는 0.748 이지만 전체 품질에서는 더 낮은 UTMOS) 과 특수 모델을 능가했습니다.
• 사운드 및 음악 평가: AES 데이터셋에서 JASTIN 은 콘텐츠 즐거움, 유용성, 제작 복잡도, 제작 품질 지표에서 특수 비-LLM AES 베이스라인과 동등하거나 더 나은 성능을 보였으며, 비음성 작업에서 실패한 UTMOS 및 NISQA 와 같은 음성 중심 지표를 크게 능가했습니다.
• 제로샷 일반화: 도메인 외 (OOD) 작업 (예: 음악 - 텍스트 정렬, ASMR MOS, 합성 음성 MOS) 에서 JASTIN 은 우수한 일반화 능력을 입증했습니다. 이는 단편적인 성능을 보이거나 보지 못한 작업 설명에 적응하지 못한 일반 LLM 과 전통적 지표를 크게 능가했습니다.
• 프롬프트 강건성: 민감도 분석 결과, JASTIN 은 다양한 프롬프트 구조 (단축, 재구성, 상세, 반전) 에서 안정적인 성능을 유지하는 반면, 베이스라인 모델은 상당한 변동을 보였습니다.

5. 중요성 및 주장

본 논문은 JASTIN 이 정적이고 고정된 지표 회귀에서 동적이고 지시 주도적인 평가 프레임워크로의 패러다임 전환을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

• 작업별 재학습 필요성 제거: 단일 모델이 다양한 평가 시나리오 (음성, 음악, 사운드) 를 처리하고 파인튜닝 없이 새로운 지시에 적응할 수 있습니다.
• 객관적 지표와 주관적 평가 간 격차 해소: LLM 의 추론 능력을 활용함으로써 JASTIN 은 전통적인 신호 처리 지표보다 인간의 선호도와 맥락적 유연성의 뉘앙스를 더 잘 포착합니다.
• 확장성과 유연성: 이 프레임워크는 모델에 구애받지 않아 향후 더 나은 오디오 인코더나 LLM 백본으로 교체할 수 있으며, 동적 점수 척도와 사용자 정의 평가 기준을 지원합니다.

저자들은 한계를 인정하며, 모델은 여전히 말하기 속도 같은 시간적 민감 지표나 예술적 스타일과 기술적 열화의 구분이 어려운 ASMR 과 같은 특수 미학 도메인에서는 어려움을 겪고 있음을 지적합니다. 그러나 이 연구는 차세대 자동 오디오 평가의 견고한 기반을 마련했습니다.