기술 요약: 학습 가능한 프로젝션을 통한 LLM 기반 음성 인식의 프롬프트 민감도 감소

1. 문제 제기

대규모 언어 모델 (LLM) 기반 자동 음성 인식 (ASR) 은 음성 기반 모델과 LLM 을 음성 -LLM 프로젝터를 통해 연결하는 유망한 아키텍처로 부상했으나, 현재 구현들은 훈련과 추론 모두에서 고정된 수동 정의 프롬프트에 크게 의존하고 있습니다.

이 논문은 이러한 설계에서 치명적이면서도 미처 탐구되지 않은 취약점인 프롬프트 민감도를 규명합니다. 저자들은 다음과 같은 사실을 입증합니다:

• 프롬프트 선택이 ASR 성능 (단어 오류율, WER 로 측정) 에 상당한 영향을 미칩니다.
• 단일 프롬프트가 모든 데이터셋이나 시나리오에서 최적의 성능을 발휘하지는 않습니다.
• 프롬프트 내 단어의 미세한 변화나 음성 임베딩의 배치 위치 변경이 전사 품질에 극적인 차이를 초래할 수 있습니다.
• 어떤 경우에는 특정 프롬프트가 아예 프롬프트를 사용하지 않는 경우 ("빈" 프롬프트) 보다 더 나쁜 성능을 보여, 불안정성을 초래하고 실제 ASR 시스템의 견고성을 제한합니다.

2. 방법론

2.1. 기본 아키텍처

본 연구는 SLAM-ASR 아키텍처를 기반으로 합니다. 이 모델은 다음으로 구성됩니다:

• 음성 인코더: 94,000 시간의 레이블 없는 데이터로 훈련된 WavLM-large.
• 음성 프로젝터: 다운샘플링된 오디오 특징을 LLM 입력 공간에 매핑하는 경량 모듈 ($sp(\cdot)$).
• LLM: Llama 에서 파인튜닝된 Vicuna-7B.
• 훈련 전략: 음성 인코더와 LLM 은 고정되며, 음성 프로젝터만 훈련됩니다.

2.2. 제안된 솔루션: 프롬프트 프로젝터

기저 LLM 이나 음성 인코더를 수정하지 않고 프롬프트 민감도를 해결하기 위해, 저자들은 프롬프트 프로젝터 모듈 ($pp(\cdot)$) 을 제안합니다.

• 개념: 음성 프로젝터의 성공에서 영감을 받아, 프롬프트 프로젝터는 고정된 수동 정의 프롬프트 임베딩을 LLM 입력 공간의 더 효과적인 영역으로 변환하는 공통 프로젝션 함수를 학습합니다.
• 아키텍처: 음성 프로젝터와 동일한 아키텍처 (ReLU 활성화 함수를 가진 2 층 선형 네트워크) 를 공유하지만, 음성 특징 대신 LLM 토큰 임베딩을 대상으로 작동합니다.
• 훈련 프로토콜:
  1. 기본 "버진 (vanilla)" 모델을 훈련합니다 (고정된 인코더/LLM, 학습된 음성 프로젝터).
  2. 훈련된 기본 모델의 모든 구성 요소를 고정합니다.
  3. 고정된 모델 위에 새로운 프롬프트 프로젝터 ($pp(\cdot)$) 만을 훈련합니다.
  • 참고: 저자들은 기저 모델의 고정 해제를 명시적으로 테스트했으나, 불안정한 훈련과 성능 저하로 이어짐을 발견했습니다.

2.3. 실험 설정

• 데이터셋: 네 가지 다양한 데이터셋이 사용되었습니다:
  • LibriSpeech (LS-C/LS-O): 읽기용 영어 오디오북.
  • CallHome (CH): 자발적인 전화 대화.
  • AMI: 멀티모달 회의 녹음.
  • ContactCenter (CC): 독점 도메인별 대화 (보건/금융).
• 프롬프트 변형: 표준 "베이스" 프롬프트부터 단어 선택과 임베딩 배치의 변형, 그리고 "빈" 프롬프트 (음성 임베딩만 포함) 까지 열 가지 서로 다른 프롬프트 템플릿이 평가되었습니다.
• 베이스라인: 다양한 프롬프트를 가진 버진 모델, LoRA 파인튜닝이 적용된 모델, 최근 최첨단 LLM 기반 ASR 시스템들과 비교되었습니다.

3. 주요 결과

3.1. 수동 프롬프트의 영향

열 가지 프롬프트에 대한 버진 모델 평가는 높은 변동성을 드러냈습니다:

• 성능 변동성: 동일한 모델 및 데이터 조건에서도 서로 다른 프롬프트는 현저히 다른 WER 을 산출했습니다. 예를 들어, ContactCenter 데이터셋에서 WER 은 프롬프트에만 따라 11.81% 에서 13.00% 까지 변동했습니다.
• 비최적 기본값: 표준 "베이스" 프롬프트는 다른 수동 제작 프롬프트보다 종종 성능이 낮았으며, 일부 경우 (예: CallHome) 에는 "빈" 프롬프트보다 더 나쁜 성능을 보였습니다.
• 데이터셋 의존성: 한 데이터셋 (예: CallHome) 에서 탁월한 성능을 보인 프롬프트는 다른 데이터셋 (예: AMI) 에서는 종종 성능이 저하되어, 단일 프롬프트가 보편적으로 최적일 수 없음을 확인시켰습니다.

3.2. 프롬프트 프로젝터의 효과

프롬프트 프로젝터 ($pp(\cdot)$) 의 추가는 일관된 개선을 가져왔습니다:

• 견고성: 프로젝터는 성능 변동을 크게 줄였습니다. 이는 비최적 프롬프트의 부정적 영향을 완화하여, 프로젝터가 보강된 "최악"의 수동 프롬프트조차 프로젝터 없이 사용된 "최고"의 수동 프롬프트보다 더 나은 성능을 내도록 보장했습니다.
• 성능 향상: 네 가지 데이터셋 전반에 걸쳐 $pp(\cdot)$ 확장자는 버진 베이스라인에 비해 일관되게 WER 을 낮췄습니다.
  • 예시: LibriSpeech-Clean 에서 최고의 수동 프롬프트는 2.72% WER 을 기록한 반면, "베이스" 프롬프트는 3.09% 를 기록했습니다. $pp(\cdot)$ 를 적용하면 "베이스" 프롬프트는 2.34% 로 개선되었고, 최고의 프롬프트는 2.28% 로 개선되었습니다.
• 통계적 유의성: 짝을 이룬 통계 검정은 모든 데이터셋에서 개선이 통계적으로 유의미함 ($p < 0.05$) 을 확인했습니다.
• 최첨단 (SOTA) 과의 비교: 제안된 방법은 특히 LoRA 파인튜닝과 결합될 때, 특정 벤치마크에서 최근 최첨단 시스템 (예: Qwen-Audio, SALMONN) 과 경쟁하거나 더 나은 결과를 달성했습니다.

4. 의의와 기여

이 논문은 다음과 같은 기여와 의의를 주장합니다:

1. 최초의 체계적 분석: LLM 기반 ASR 의 프롬프트 민감도에 대한 최초의 포괄적 연구를 제공하여, 프롬프트 선택이 시스템 성능에서 종종 간과되는 결정적 요소임을 밝혔습니다.
2. 새로운 아키텍처: 기저 LLM 이나 음성 인코더 변경 없이 프롬프트 임베딩을 LLM 의 입력 공간에 정렬하도록 학습하는 단순하고 모델에 구애받지 않는 확장인 프롬프트 프로젝터를 도입했습니다.
3. 복잡성 없는 견고성: 이 접근법은 복잡한 프롬프트 엔지니어링 매개변수나 토큰을 도입하지 않고 견고성을 향상시키고 성능 변동을 줄입니다. 이는 기존 아키텍처에 "드롭인 (drop-in)" 확장자로 작동합니다.
4. 진단적 통찰: 연구 결과는 향후 연구가 개발 초기 단계에서 성능이 낮은 수동 프롬프트를 조기에 감지하기 위한 진단 도구로서 "빈 프롬프트" 베이스라인을 포함해야 함을 시사합니다.

5. 한계 및 향후 작업

저자들은 작업의 범위에 대해 겸손한 입장을 유지합니다:

• 초기 탐구: 이는 프롬프트 견고성 이해를 향한 첫걸음으로 제시됩니다.
• 비교 격차: 이 논문은 프롬프트 프로젝터를 소프트 프롬프트 학습 방법 (작업별 토큰을 학습하는 방법) 과 직접 비교하지는 않았습니다. 공정한 비교를 위해서는 여러 프롬프트와 데이터셋에 걸친 광범위한 하이퍼파라미터 튜닝이 필요하며, 이는 현재 범위를 벗어난다고 명시했습니다.
• 일반화: 단일 프로젝터가 서로 다른 작업, 언어, 또는 LLM 아키텍처에 걸쳐 일반화될 수 있는지 여부는 여전히 열린 질문으로 남아 있습니다.
• 범위: 현재 작업은 전사에만 엄격히 초점을 맞추고 있으며, 다른 하위 작업에 대한 적용 가능성은 향후 연구 과제로 남습니다.