기술 요약: LuxSQA

문제 정의

음성 질의응답(Spoken Question Answering, SQA) 시스템은 역사적으로 고자원 언어와 정교하게 기록된 음성 코퍼스에 의존해 왔으며, 이는 저자원 환경에서의 적용 가능성을 제한해 왔습니다. 전통적인 캐스케이드 방식(ASR 이후 텍스트 기반 QA 수행)은 자동 음성 인식(ASR) 출력에 노이즈가 많을 경우 오류가 전파되는 문제와 답변 위치 파악에 필수적인 운율적 단서(prosodic cues)를 버리는 문제를 겪습니다. 최근의 음성-LLM 아키텍처는 고정된 음성 인코더를 경량 프로젝터를 통해 대규모 언어 모델(LLM)에 연결함으로써 매개변수 효율적인 솔루션을 제공하지만, 이러한 시스템 역시 상당한 양의 태스크 특화 학습 데이터를 필요로 합니다. 룩셈부르크어와 같은 저자원 언어의 경우, 인간이 기록한 QA 코퍼스의 부족은 견고한 SQA 시스템 개발에 큰 장벽이 됩니다. 본 논문은 텍스트-음성 변환(TTS) 증강이 이러한 간극을 메울 수 있는지, 즉 합성 음성이 대규모의 인간 녹음 없이도 효과적인 학습 데이터로서 역할을 할 수 있는지, 그리고 결과물인 시스템이 TTS의 품질, 목소리의 다양성, 코퍼스 크기에 얼마나 민밀하게 반응하는지를 조사합니다.

방법론

데이터 구축 파이프라인

저자들은 기존의 텍스트 자원을 활용하여 룩셈부르크어 SQA 데이터셋을 구축했습니다:

1. 소스 번역: SQuAD v1.1 코퍼스의 영어 질문들을 TranslateGemma 12B Instruct 모델을 사용하여 룩셈부르크어로 번역했습니다.
2. 합성: 번역된 텍스트 질문들을 다음과 같은 다양한 TTS 시스템을 사용하여 음성 오디오로 변환했습니다:
   • MMS-TTS: Meta의 대규모 다국어 음성 TTS.
   • Qwen3-TTS: CustomVoice (CV) 클로닝 및 VoiceDesign (VD) 생성을 지원.
   • OmniVoice: 600개 이상의 언어를 지원하며 CV 및 VD 모드를 모두 제공하는 제로샷 TTS 모델.
3. 코퍼스: 본 연구는 약 48,000개의 질문으로 구성된 단일 소스 코퍼스(SQuAD-LB-TTS)와 Qwen3-TTS 및 OmniVoice의 변형들을 결합하여 약 230,000개의 질문을 생성한 멀티 소스 "4TTS mix"를 활용했습니다.
4. 평가 세트: 성능은 두 명의 원어민(화자 1 및 화자 2)이 룩셈부르크어 질문을 직접 번역하고 녹음한 300개 질문 세트인 LLAMA-LB-Test를 통해 평가되었으며, 이는 실제 환경의 평가 조건을 제공합니다.

모델 아키텍처

시스템은 매개변수 효율적인 SLAM 스타일 아키텍처를 채택합니다:

• 음성 인코더(Speech Encoder): 고정된 Whisper-large-v3-turbo 인코더가 오디오 입력을 처리합니다.
• 프로젝터(Projector): 선형 프로젝터는 프레임 수준의 임베딩을 다운샘플링(factor $k=5$)하고 이를 LLM의 토큰 임베딩 공간으로 매핑합니다.
• LLM 백엔드: 고정된 다국어 LLM(EuroLLM-9B 또는 Apertus-8B)이 생성 엔진 역할을 합니다.
• 적응(Adaptation): 프로젝터와 LoRA 어댑터(rank $r=16$, scaling $\alpha=16$)만을 학습시킵니다. 모델은 순수한 전사(transcription)가 아닌 음성 지시 이행(speech instruction-following) 체제에서 교차 엔트로피 손실(cross-entropy loss)을 사용하여 음성 질문을 텍스트 답변으로 직접 매핑하도록 최적화됩니다.

학습 전략

저자들은 여러 학습 구성을 비교했습니다:

• 단일 소스(Single-source): 특정 TTS 엔진(예: MMS-TTS, Qwen-VD, Omni-C)의 데이터로 학습.
• 멀티 소스(Multi-source): 결합된 4TTS mix로 학습.
• 초기화(Initialization): 처음부터 학습하는 것과 ASR 적응형 체크포인트(LuxASR 데이터로 학습된)로부터 초기화하는 것을 비교.

평가 지표

룩셈부르크어의 형태학적 풍부함과 의역 경향을 고려할 때, 완전 일치(exact-match) 지표는 불충분하다고 판단되었습니다. 따라서 본 논문은 두 가지 의미론적 지표를 사용합니다:

1. 의미 유사도(Semantic Similarity, SemSim): 다국어 문장 인코더를 사용하여 골드 답변(gold answer)과 예측값 내의 모든 스팬(span) 사이의 최대 코사인 유사도를 계산합니다.
2. LLM 판사 평균(LLM Judge Mean): 두 명의 지시어 튜닝된 판사(GPT-4o 및 Gemini-2.5-Flash)가 답변의 적절성을 0~1 척도로 평가한 평균값으로, 번역 및 변형된 답변도 허용합니다.

주요 결과

성능 향상

• 합성 데이터의 효능: 화자 특정적인 합성 룩셈부르크어 음성으로 학습된 모델이 일반적인 룩셈부르크어 적응 모델보다 유의미하게 높은 성능을 보였습니다. 가장 우수한 구성인 EuroLLM-9B와 4TTS mix는 화자 1에 대해 72.6% SemSim 및 60.1% LLM Judge Mean을, 화자 2에 대해 74.8% SemSim 및 61.8% LLM Judge Mean을 달성했습니다.
• 격차 해소: 이러한 점수는 텍스트 전용 베이스라인의 의미 유사도에 근접하거나 이를 상회하였으며, 이는 정교하게 구축된 합성 데이터가 실제 QA 녹음본의 부재를 보완할 수 있음을 입증합니다.
• 초기화의 이점: 프로젝터를 ASR 적응형 체크포인트로부터 초기화하는 것이 처음부터 학습하는 것보다 두 화자 모두에서 성능을 더욱 향상시켰습니다.

TTS 품질 vs. 다운스트림 성능

• 비단조적 상관관계(Non-Monotonic Correlation): 중요한 발견 중 하나는 참조값이 없는(no-reference) TTS 품질 점수(예: NISQA MOS, DNSMOS)가 다운스트림 QA 성능을 단조롭게 예측하지 않는다는 점입니다.
  • Omni-C는 전체적으로 가장 높은 DNSMOS 점수(3.38)를 기록했으나, 4TTS mix보다 낮은 QA 성능을 보였습니다.
  • MMS-TTS는 높은 지각 점수를 받았음에도 불구하고 QA 태스크에서는 약한 설정 중 하나였습니다.
• 다양성의 중요성: 멀티 소스 구성과 VoiceDesign 기반 설정(텍스트 설명을 통해 다양한 목소리를 생성하는 방식)이 단일 소스 또는 보이스 클로닝 구성보다 일관되게 우수한 성능을 보였습니다. 이는 목소리의 다양성이 원시 오디오의 자연스러움 점수보다 강건성(robustness)에 더 중요하다는 것을 시사합니다.

모델 비교

• 백본(Backbone): 고성능 구성에서 EuroLLM-9B가 일반적으로 Apertus-8B보다 우수한 성능을 보였습니다.
• 안정성: 고성능 구성은 두 평가 화자 모두에서 견고하게 유지되었으며, 이는 성공의 주요 동인이 화자별 무작위성이 아니라 학습 데이터 구성임을 나타냅니다.

의의 및 주장

본 논문은 LuxSQA를 단순한 모델 비교가 아닌 방법론적 기여로 포지셔닝하며, 저자원 언어를 위한 TTS 증강 SQA 데이터를 구축하고 활용하는 완전한 워크플로우를 제공합니다.

1. TTS 증강의 실행 가능성: 본 연구는 대규모 인간 녹음 QA 코퍼스를 수집하지 않고도 저자원 언어를 위한 사용 가능한 SQA 파이프라인을 구축할 수 있음을 보여줍니다. 화자 특정적인 합성 학습은 실제 음성 입력에 대한 성능을 실질적으로 향 향상시킵니다.
2. 합성 데이터의 태스크 특화 평가: 저자들은 합성 음성이 단순히 자연스럽게 들리는 오디오가 아니라 태스크 특화 학습 데이터로서 평가되어야 한다고 주장합니다. 높은 지각적 품질(MOS)은 필요조건이지만 충분조건은 아닙니다. 합성 데이터는 음성 인코더와 프로젝터가 질문 내용을 신뢰성 있게 복구할 수 있도록 어휘적, 음성적, 운율적 단서를 보존해야 합니다.
3. 지속적인 음성-텍스트 격차: 성능 향상에도 불구하고, 텍스트 전용 모델과 음성 기반 모델 사이에는 여전히 격차가 존재합니다. 가장 우수한 화자 특정 시스템조차 텍스트 베이스라인보다 낮은 LLM Judge Mean을 기록했는데, 이는 번역 노이즈, 발음 불일치, 불완전한 음성-LLM 정렬이 여전히 정보 손실을 초래함을 시사합니다.

결론적으로, TTS 증강은 저자원 SQA를 위한 강력한 도구이지만, 향후 노력은 수동 및 합성 음성 수집 사이의 균형을 맞추고, 합성 데이터를 일반적인 오디오 품질 지표가 아닌 특정 다운스트림 태스크에 대한 유용성을 기준으로 평가하는 데 집중해야 합니다.