기술 요약: SALSA – 학습된 스티어링 활성화 벡터를 통한 음성 인식형 LLM 적응

1. 문제 정의

음성 인식형 대규모 언어 모델(SALLM)은 사전 학습된 언어적 지식을 활용하여 다양한 음성 작업을 수행합니다. 그러나 이들은 어린이 음성, 저자원 언어, 코드 스위칭(code-switching) 시나리오와 같은 도메인 외(out-of-domain) 설정에서 빈번하게 낮은 일반화 성능을 보입니다. 이러한 한계는 해당 언어가 사전 학습 단계에서 모델 구성 요소에 노출되었음에도 불구하고 지속됩니다.

핵심 과제는 단순히 새로운 언어적 지식을 습득하는 것이 아니라, 사전 학습된 음향 표현(acoustic representations)을 언어 모델의 디코딩 공간과 정렬하는 것입니다. 기존의 적응 방법들은 다음과 같은 상당한 트레이드오프에 직면해 있습니다:

• 전체 미세 조정(Full Fine-tuning): 계산 비용이 많이 들고 데이터 집약적입니다.
• 매개변수 효율적 미세 조정(예: LoRA): 여전히 모델 가중치에 대한 그래디언트 업데이트가 필요합니다.
• 인컨텍스트 학습(In-Context Learning, ICL): 학습이 필요 없는 방식이지만, 음성의 높은 음향적 가변성으로 인해 화자의 정체성과 운율을 고려한 정보가 풍부한 데모 예시를 검색하는 데 어려움이 있습니다.
• 기존 스티어링 방법: 대부분 대조적 활성화 차이(쌍을 이루는 양성/음성 예시의 활성화를 빼는 방식)에 의존합니다. 이 접근법은 자연적인 쌍 형태의 대조 예시가 부족하고, 음성의 높은 음향적 가변성으로 인해 깨끗한 대조 신호를 추출하기 어렵기 때문에 ASR에는 부적합합니다. 또한, ASR은 정밀한 음향-텍스트 대응을 요구하므로 대조적 스티어링이 도입할 수 있는 의미론적 변화(semantic shifts)를 허용할 여지가 거의 없습니다.

2. 방법론: SALSA

저자들은 SALSA(Speech-Aware LLM Adaptation via Learned Steering Activations)를 제안합니다. 이는 쌍을 이루는 대조 예시를 필요로 하거나 백본 가중치를 수정하지 않고도 레이어별 스티어링 벡터를 학습하는 경량 적응 방법입니다.

핵심 메커니즘

SALSA는 스티어링을 지도 학습 문제로 취급합니다. 활성화 차이로부터 벡터를 유도하는 대신, 자기회귀적 교차 엔트로피 목적 함수를 사용하여 스티어링 벡터($v_l$)를 직접 최적화합니다.

• 개입(Intervention): 레이어 $l$에서 은닉 표현 $h_l$을 가진 동결된 음성-언어 모델에 대해, 표현은 다음과 같이 수정됩니다:
  $$\tilde{h}_l = \frac{h_l + v_l}{\|h_l + v_l\|} \cdot \|h_l\|$$
  이 노름 보존 업데이트(norm-preserving update)는 원래의 활성화 크기는 유지하면서 표현의 방향만을 수정함으로써 스티어링을 안정화합니다.
• 최적화: 모든 백본 파라미터($\theta$)는 동결된 상태를 유지합니다. 오직 레이어별 스티어링 벡터 집합 $V = \{v_l\}$만이 지도 학습 작업(ASR)에 대한 다음 토큰 예측 손실을 최소화하도록 최적화됩니다.
• 추론: 추론 시에는 학습된 벡터가 위 공식에 따라 선택된 레이어(인코더, 디코더 또는 둘 다)에 주입됩니다.

3. 주요 기여

1. 새로운 적응 프레임워크: 쌍을 이루는 대조 예시 없이도 사전 학습된 SALLM의 인코더 스티어링 벡터를 학습하는 방법인 SALSA를 도입하여, 모든 백본 파라미터를 동결한 채로 작동하게 함으로써 백본 수정의 필요성을 제거했습니다.
2. 도메인 외 설정에서의 성능: 학습된 스티어링 벡터가 어린이 음성, 다국어 음성, 만다린-영어 코드 스위칭을 포함한 도전적인 ASR 시나리오에서 제로샷 추론 및 음성 인컨텍스트 학습(SICL) 베이스라인보다 성능을 크게 향상시킨다는 것을 입증했습니다.
3. 메커니즘 분석: 적응이 언어 모델 백본보다 고수준 인코더 표현(후반 레이어)을 스티어링할 때 가장 효과적이라는 상세한 분석을 제공합니다. 이는 SALLM의 주요 병목 현상이 디코더의 내부 처리가 아니라, 사전 학습된 언어적 지식과 음향/음성 표현 간의 정렬에 있음을 시사합니다.

4. 실험 결과

저자들은 두 가지 SALLM(Qwen2-Audio-7B-Instruct 및 Granite-Speech-3.3-8B)을 사용하여 세 가지 벤치마크 카테고리에서 SALSA를 평가했습니다.

데이터셋

• 어린이 음성: Redmond Speech Recall (RSR), My Science Tutor (MyST), OGI Kids' Speech Corpus.
• 다국어 음성: CommonVoice (러시아어 및 Twi), SEAME (만다린-영어 코드 스위칭).

주요 결과

• 베이스라인 대비 우월성: SALSA는 제로샷 추론 및 TICL(In-Context Learning) 베이스라인에 비해 상당한 개선을 달了했습니다.
  • RSR (Qwen2-Audio)에서, SALSA는 $n=2000$개의 훈련 샘플에서 제로샷 대비 44.6%의 상대적 개선을 달성했으며, TICL보다 43.8% 높은 성능을 보였습니다.
  • SEAME에서, SALSA는 dev-man 분할에서 제로샷 대비 최대 46.8%의 상대적 개선을 달성했습니다. 반면, TICL은 혼합 오류율(MER)을 베이스라인 대비 100% 이상 증가시키며 심각한 불안정성을 보였습니다.
  • CommonVoice Russian에서, 200개의 스티어링 예시만으로도 SALSA는 단어 오류율(WER)을 87.50%에서 24.65%로 극적으로 낮춘 반면, TICL은 성능을 저하시켰습니다.
• 데이터 효율성: 성능 향상은 일반적으로 32개에서 500개 사이의 예시에서 포화되었으며, 2000개를 넘어서면 수익 체감 현상이 나타났습니다. 이는 저자원 환경에서 이 방법의 효율성을 강조합니다.
• 스케일링 동작: SALSA는 일반적으로 데이터가 많아질수록 성능이 향상되었으나, MyST 데이터셋의 경우 Qwen2-Audio에서 데이터 크기가 커짐에 따라 성능 저하가 관찰되었습니다. 이는 높은 화자 내 및 화자 간 가변성으로 인해 노이즈가 섞인 적응 신호가 발생했기 때문으로 보입니다. Granite-Speech-3.3-8B는 이 데이터셋에서 더 안정적인 스케일링을 보여주었습니다.
• 모듈 및 레이어 분석:
  • 인코더 vs. 디코더: 인코더를 스티어링하는 것이 LLM 백본을 스티어링하는 것보다 훨씬 더 나은 결과를 가져왔습니다. 공동 스티어링(joint steering)은 인코더 전용 스티어링보다 우수하지 않았는데, 이는 디코더 표현을 수정하는 것이 사전 학습된 언어적 지식을 방해할 수 있음을 시사합니다.
  • 레이어 깊이: 높은(후반) 인코더 레이어를 스티어링하는 것이 낮은 레이어를 스티어링하는 것보다 일관되게 우수한 성능을 보였습니다. 이는 후반 레이어가 정렬에 필요한 과업 관련 음성 및 언어 정보를 포함하고 있음을 나타냅니다. 예외적으로, 사전 학습에 등장하지 않은 언어인 Twi의 경우 낮은 레이어 스티어링이 더 효과적이었는데, 이는 고수준 언어 표현이 부재할 때 적응이 하위 수준의 음향 특징을 수정하는 데 의존해야 함을 시사합니다.

5. 의의 및 주장

본 논문은 SALSA가 미세 조정의 계산 비용이나 인컨텍스트 학습의 데이터 검색 문제 없이, 사전 학습된 SALLM을 저자원 및 도메인 외 음성 조건에 적응시키는 확장 가능하고 경량화된 메커니즘을 제공한다고 주장합니다.

저자들은 SALLM의 성공적인 적응을 위한 주요 메커니즘이 고수준 음향 및 음성 표현(인코더의 후반 레이어에 포착됨)을 사전 학습된 언어 모델의 표현 공간과 정렬하는 것이라고 상정합니다. 이러한 정렬을 통해 모델은 다운스트림 ASR 작업에 대해 기존의 언어적 지식을 더 효과적으로 활용할 수 있습니다.

이 연구는 인코더와 디코더 모두가 타겟 언어에 대한 사전 노출이 있는 SALLM의 경우, 병목 현상이 언어 습득이 아니라 모달리티 정렬(modality alignment), 즉 음향 인코더와 텍스트 디코더 사이의 정렬에 있다는 점을 시사합니다. 스티어링 벡터를 직접 최적화함으로써 SALSA는 이 간극을 메우며, 대규모 감독 학습 코퍼스를 수집하는 것이 불가능한 도메인에 대한 실질적인 해결책을 제시합니다.

저자들은 이 방법이 하나의 데이터셋에 대해 단일 공유 벡터 세트를 학습하므로, 화자별 개입이 필요한 매우 이질적인 음성 분포를 처리하는 데 어려움이 있을 수 있다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 또한, 스티어링의 효과가 완전히 새로운 언어에 비해 사전 학습에 포함된 언어에서 더 높게 나타난다는 점을 들어, 다국어 자원의 기존 불균형을 강화할 수 있는 잠재적 위험을 지적했습니다.