기술 요약: 강화된 행동 정렬을 통한 음성 대규모 언어 모델 향상

문제 제기

음성 대규모 언어 모델 (SpeechLMs) 은 텍스트 기반 LLM 의 기능을 구두 상호작용으로 확장했으나, 지시 따르기 및 추론 측면에서는 텍스트 프롬프트를 사용하는 동급 모델에 비해 여전히 뒤처지고 있습니다. 저자들은 이 성능 격차가 단순한 자동 음성 인식 (ASR) 오류나 표현 불일치의 결과만이 아니라고 주장합니다. 대신 핵심 문제는 음향적 실현의 변동성에 있습니다. 동일한 의미적 지시라도 화자, 억양, 억양 (prosody), 잡음 조건, 감정, 그리고 비유창성 (예: 채움 단어, 반복) 이 다른 화자에 의해 발화될 수 있습니다. 현재 모델들은 이러한 음향적 변동성 전반에 걸쳐 일관된 응답 정책을 유지하지 못하는 경우가 많아, 추론과 지시 준수의 불안정성을 초래합니다. 기존 벤치마크 (예: DOWIS, VocalBench-DF) 는 고품질의 ASR 이 안정적인 행동을 보장하지 않으며, 현재의 정렬 방법들은 오디오 프롬프트를 독립적인 인스턴스로 취급하기보다 의미적 동등체의 구조화된 그룹으로 다루지 못함을 보여줍니다.

방법론: VIRBA

본 논문은 동일한 의미적 의도에 대한 다양한 음향적 관점 전반에 걸쳐 음성 LLM 의 행동을 정렬하도록 설계된 강화 학습 프레임워크인 **검증 가능한 불변 강화 행동 정렬 (Verifiable Invariant Reinforced Behavior Alignment, VIRBA)**을 제안합니다.

1. 다중 관점 자기 합성

인간이 녹음한 데이터에만 의존하거나 각 오디오 프롬프트를 독립적으로 취급하는 대신, VIRBA 는 다중 관점 구두 지시 그룹을 구성합니다. 단일 의미적 지시 $q_i$에 대해 시스템은 텍스트 - 음성 (TTS) 과 증강 기법을 사용하여 $K$개의 서로 다른 구두 관점 ($x^{(k)}_i$) 을 생성합니다. 이러한 관점들은 다음과 같이 변이됩니다:

• 화자 정체성과 억양
• 억양 (prosody) 과 감정적 톤
• 발화 속도와 방음 반응
• 잡음 조건과 비유창성 (채움 단어, 자기 수정, 잘못된 시작)

이 과정을 통해 하나의 의미적 의도에 여러 음향적 실현이 매핑되는 데이터셋이 생성되어, 모델이 불변성을 학습할 수 있게 합니다.

2. 보상 모델링

VIRBA 는 모델 $\pi_\theta$에서 샘플링된 응답 ($y_{i,k,n}$) 에 점수를 매기기 위해 복합 보상 함수 $R$을 사용합니다. 이 보상은 네 가지 구성 요소를 결합합니다:

• 선호 보상 ($R_{pref}$): 모델의 응답과 교사 응답을 비교하여 유용성과 일관성을 보장하는 LLM 심사관이 제공하는 길이 제어 점수입니다.
• 검증 가능 보상 ($R_{ver}$): 정확한 일치, F1, 라벨 정확도, 제약 조건 파서, 번역용 BLEU/COMET 과 같은 규칙 기반 정확도 검사를 통해 사실적 정확도를 고정하고 환각을 줄입니다.
• 불변 보상 ($R_{inv}$): 동일한 지시의 서로 다른 음향적 관점에 대한 응답 간의 의미적 이탈을 패널티하는 음성 특화 지표입니다. 이는 모델이 화자나 비유창성의 유무에 따라 사실적 내용이나 거부 행동을 변경하지 않도록 보장합니다.
• 적응형 추론 보상 ($R_{think}$): 최종 정확도를 향상시킬 때만 간결한 추론을 장려하여, 모델이 간단한 작업에 불필요하게 긴 논리를 생성하는 것을 방지하는 보상입니다.

3. 교차 음향 그룹 상대 정책 최적화 (CA-GRPO)

최적화 목표는 단순히 "최고"와 "최악" 쌍만 선택하는 쌍별 선호 학습 (예: DPO) 을 넘어섭니다. VIRBA 는 단일 지시에 대한 모든 음향 관점의 응답 전체 그룹을 최적화 단위로 삼는 CA-GRPO를 활용합니다.

• 이득 함수 $A_{i,k,n}$은 특정 응답의 보상을 전체 그룹의 보상 분포의 평균과 표준 편차와 비교하여 계산됩니다.
• 이 목표는 높은 보상을 받는 응답의 가능성을 최대화하면서 그룹 평균에서의 편차를 패널티하여, 음향적 관점 전반에 걸쳐 일관성을 효과적으로 강제합니다.
• 학습 파이프라인은 초기 정책 붕괴를 방지하기 위한 지도 학습 웜업 단계를 포함하며, 그 다음 CA-GRPO 목표를 따릅니다.

주요 기여

1. 음향 불변 정렬의 형식화: 본 논문은 의미적으로 동일한 구두 요청이 화자, 억양, 억양 (prosody), 잡음, 비유창성 전반에 걸쳐 일관된 응답 정책을 유도해야 하는 최적화 문제로서 음성 LLM 정렬을 형식화합니다.
2. VIRBA 프레임워크: 다중 관점 구두 지시 그룹을 구성하고 선호, 검증 가능한 정확성, 교차 음향 불변성, 적응형 추론 보상을 결합한 강화 학습 프레임워크의 도입.
3. CA-GRPO 목표: 단일 최선 - 최악 쌍으로 감독을 축소하는 대신, 음성 관점과 응답 샘플에 대한 전체 보상 분포를 활용하는 새로운 그룹 상대 정책 최적화 방법.
4. 종합 평가: 구두 지시 따르기, 비유창성 강건성, 구두 QA, 오디오 추론, 음성 - 텍스트 번역 전반에 걸친 엄격한 평가를 통해, 성과가 합성 데이터 규모 자체보다는 정렬 메커니즘에서 비롯됨을 입증했습니다.

실험 결과

저자들은 주된 백본으로 Qwen2-Audio-7B를, 보조 백본으로 Qwen2.5-Omni-7B를 사용하여 VIRBA 를 평가했습니다.

• 지시 따르기 및 강건성: VIRBA 는 Spoken-Alpaca, Speech-IFEval, DOWIS 와 같은 벤치마크에서 가장 높은 길이 제어 (LC) 승률을 달성했습니다. 특히 TTS-SFT, Group-DPO, Single-view RL 과 같은 베이스라인에 비해 비유창성 및 음향적으로 교란된 프롬프트에서 가장 큰 향상을 보였습니다.
• 추론 및 QA: 추론이 중시되는 벤치마크 (SpeechR, SoundMind, MMAR) 에서 VIRBA 는 단일 관점 RL 을 능가했으며 Step-Audio-R1 과 같은 전문 오디오 추론 모델과 맞먹거나 초과하는 성능을 보였습니다. 제거 실험 (ablation study) 은 검증 가능 보상과 불변 보상이 이러한 성과에 결정적임을 확인시켰습니다.
• 강건성 통제: 실험 결과, 직접적인 음성 LLM 정렬 (VIRBA) 은 비유창성 및 인간 녹음 프롬프트에서 "캐스케이드"시스템 (ASR + 텍스트 LLM) 보다 우월한 성능을 보였으며, 캐스케이드 시스템은 ASR 오류와 부가적 단서 (paralinguistic cues) 손실로 고통받음을 확인했습니다.
• 번역 전이: 주된 초점은 지시 정렬이었으나, VIRBA 는 훈련이 음성 - 텍스트 번역 능력을 유지하며 FLEURS, CoVoST2, MuST-C 에서 베이스라인 대비 modest 하지만 일관된 개선을 보임을 입증했습니다.
• 제거 실험: 불변 보상을 제거하면 강건성과 일관성이 급격히 감소했습니다. 검증 가능 보상을 제거하면 추론 및 QA 성능이 저하되었습니다. CA-GRPO 를 쌍별 DPO 업데이트로 교체하면 모든 지표에서 성능이 낮아져 전체 그룹 보상 분포를 사용하는 것의 이점을 입증했습니다.

중요성과 주장

본 논문은 텍스트와 음성 LLM 간의 지속적인 격차가 단순히 ASR 문제가 아니라 행동 정렬 문제라고 주장합니다. "음향 그룹"을 최적화 단위로 삼음으로써 VIRBA 는 모델이 현실적인 음성 변동에 안정적이고 불변인 추론 정책을 학습하도록 강제합니다.

저자들은 그들의 접근 방식이 단순한 교사 모방을 넘어 강건한 추론 정책으로 음성 LLM 정렬을 발전시킨다고 강조합니다. 결과는 검증 가능 보상과 교차 음향 불변성이 비유창성과 화자 변동성이 모델을 불안정하게 만들 수 있는 현실 세계의 구두 상호작용의 복잡성을 처리하는 데 필수적임을 시사합니다. 이 연구는 훈련 목표가 음향적 관점 전반에 걸쳐 일관성을 명시적으로 보상한다면, 자기 합성 음성 데이터를 사용하여 확장 가능한 발전 경로를 제공합니다.