기술 요약: 음성 및 생체 음향 모델의 적응(Adaptation)

문제 정의

인간의 음성(예: HuBERT) 및 동물의 발성(예: AVES)으로 사전 학습된 자기지도 학습(SSL) 모델은 생체 음향 작업에 대해 강력한 전이 능력을 보여주었다. 그러나 이러한 모델의 고정된(frozen) 표현형은 반드시 특정 다운스트림 데이터셋에 최적화되어 있지는 않으며, 해당 데이터셋은 종 특이적이고 규모가 작으며 주석(annotation) 비용이 많이 드는 경우가 많다. 대규모 SSL 인코더를 전체 미세 조정(full fine-tuning)하는 것은 계산 비용이 많이 들며, 주석이 달린 동물 데이터가 부족한 상황에서는 실질적으로 불가능할 때가 많다. 선행 연구들이 사전 학습 도메인을 비교해 왔으나, 생체 음향 작업에 있어 이 모델들을 어떻게 적응시켜야 하는지, 구체적으로 어떤 구성 요소를 업데이트해야 하는지, 얼마나 많은 레이어를 수정해야 하는지, 그리고 음성 사전 학습 모델과 생체 음향 사전 학습 모델이 동일한 적응 전략으로부터 이득을 얻는지에 대해서는 여전히 불분명하다. 또한 기존 문헌은 고정된 모델을 사용할 때 인코더의 깊은 레이어로 갈수록 분류 성능이 점진적으로 하락함을 시사하는데, 직접적인 생체 음향 데이터 적응이 이러한 경향을 변화시키는지 여부는 알려져 있지 않다.

방법론

본 연구는 호출 유형 식별(Call-Type Identification, CTID)을 위해 **저계수 적응(Low-Rank Adaptation, LoRA)**을 사용하는 **매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)**을 조사한다. 저자들은 구조적으로 동일한 두 개의 트랜스포머 기반 모델인 HuBERT(인간 음성으로 사전 학습됨)와 AVES-Bio(생체 음향 데이터로 사전 학습됨)를 사용한다. 본 연구는 최적의 적응 전략을 결정하기 위해 네 가지 체계적인 절제 연구(ablation studies)로 구성된다:

1. 행렬 선택 (Q1): 어떤 트랜스포머 투영 행렬의 하위 집합이 최상의 성능을 내는지 평가한다. 구성은 피드 포워드 네트워크만을 적응시키는 것([FC1, FC2])부터 모든 셀프 어텐션 투영(Q, K, V) 및 출력/피드 포워드 레이어([Q, K, V, FC0, FC1, FC2])를 적응시키는 것까지 다양하다.
2. 적응 범위 (Q2): LoRA 어댑터를 트랜스포머 인코더 너머로 확장하는 것이 성능을 향상시키는지 조사한다. 다음을 비교한다:
   • 인코더 전용 (Encoder only): 트랜스포머 레이어 내의 어댑터.
   • 프로젝터 + 인코더 (Projector + Encoder): 트랜스포머와 특징 투영 레이어(feature projection layer) 모두에 어댑터 적용.
   • 추출기 + 프로젝터 + 인코더 (Extractor + Projector + Encoder): 합성곱 특징 추출기(convolutional feature extractor)의 전체 미세 조정과 프로젝터 및 인코더 내의 어댑터 결합.
3. 레이어 선택 전략 (Q3): 어떤 인코더 레이어를 적응시켜야 하는지 결정하기 위해 두 가지 전략을 비교한다:
   • Bottoms-up: 첫 번째 레이어부터 위쪽 방향으로 점진적으로 적응 ($l_1$에서 $l_k$까지).
   • Top-down: 마지막 레이어부터 아래쪽 방향으로 점진적으로 적응 ($l_L$에서 $l_{L-k}$까지).
4. 미세 조정 전략 (Q4): 세 가지 패러다임을 비교한다:
   • 선형 프로빙 (Linear Probing): 모든 레이어를 고정하고 상단에 선형 분류기를 학습시킴.
   • LoRA + 프리징 (LoRA + Freezing): 선택된 레이어에 LoRA 어댑터를 적용하여 미세 조정하고, 나머지 레이어는 고정함.
   • LoRA + 프루닝 (LoRA + Pruning): 선택된 레이어는 LoRA로 미세 조정하고, 선택되지 않은 레이어는 모델에서 완전히 제거함.

실험은 두 가지 데이터셋인 InfantMarmosetsVox (IMV) (72,920개 샘플, 11개 호출 유형)와 Abzaliev (8,034개 샘플, 14개 호출 유형)에서 수행되었다. 하이퍼파라미터는 그리드 서치를 통해 최적화되었으며, 랭크($r$) 60, 스케일링 계수($\alpha$) 3, 학습률 $10^{-3}$이 최적으로 식별되었다.

주요 결과

행렬 및 범위 선택

• 행렬 선택: 더 넓은 범위의 투영 행렬을 적응시킬수록 더 강력한 결과를 얻는 단조적인 진행을 보인다. 모든 셀프 어텐션 및 피드 포워드 투영([Q, K, V, FC0, FC1, FC2])을 적응시킨 구성이 가장 높은 가중 평균 재현율(Unweighted Average Recall, UAR)을 달면했다.
• 특징 추출기 적응: 합성곱 특징 추출기를 직접 미세 조정하는 것은(LoRA 대신 사용 시) 다운스트림 성능을 지속적이고 유의미하게 저하시켰다. 특징 프로젝터를 적응시키는 것은 인코더만 적응시키는 것에 비해 미미한 이득만을 제공했다.

레이어 선택 및 경향

• 전략 비교: "Bottoms-up"이나 "Top-down" 레이어 선택 전략 중 어느 것도 다른 하나를 일관되게 능가하지 못했다. 두 전략 모두 어댑터가 동일한 행렬에 배치되었을 때 유사한 결과를 나타냈다.
• 레이어별 성능:
  • 고정된 모델 (Frozen Models): 기존 문헌과 마찬가지로, 고정된 모델에 대한 선형 프로빙은 깊은 레이어를 사용할수록 성능이 점진적으로 하락하는 모습을 보였다.
  • LoRA 적응: LoRA를 적용했을 때, AVES의 더 깊은 트랜스포머 레이어는 전반적인 성능 상승 궤적을 보였다. 이는 깊은 레이어가 호출을 효과적으로 분류할 수 있는 추상적 특징을 인코딩하고 있지만, 이는 오직 레이어가 미세 조정될 때만 가능하다는 것을 나타낸다.

미세 조정 전략 및 데이터 크기

• 대규모 데이터셋 (IMV): LoRA 미세 조정(프리징 또는 프루닝 적용 시 모두)은 거의 모든 레이어에서 단순 선형 프로빙보다 실질적으로 우수한 성능을 보였다.
• 소규모 데이터셋 (Abzaliev): 단순 선형 프로빙이 더 신뢰할 수 있었으며 종종 LoRA의 성능을 상회했다. 다만 그 격차는 미미했다. 이는 LoRA의 효능이 데이터셋 크기에 따라 확장되는 반면, 저데이터 시나리오에서는 선형 프로빙이 더 견고한 베이스라인임을 시사한다.
• 프루닝 vs. 프리징: 사용하지 않는 레이어를 제거하는 것(프루닝)은 성능 측면에서 단순히 고정하는 것(freezing)보다 유의미한 이점을 제공하지 못했으나, 모델 크기를 줄이는 효과는 있었다.

분류기 복잡도

• Abzaliev 데이터셋의 경우, 4개 층의 깊은 MLP 분류기가 LoRA 실험에 사용된 단일 선형 층보다 우수한 성능을 보였다.
• IMV 데이터셋의 경우, 단일 선형 층이 MLP보다 우수했다. 이는 분류기의 비선형성 필요성에 대한 데이터셋 특이적 동작을 나타낸다.

의의 및 주장

본 논문은 **저계수 적응(LoRA)**이 충분한 라벨링 데이터가 확보될 경우, 대규모 SSL 표현을 생체 음향 작업에 적응시키는 데 있어 실용적이고 효과적인 프레임워크를 제공한다고 주장한다.

• 적응의 최적화: PEFT의 성공은 특정 설계 선택에 크게 의존한다는 점을 강조한다. 즉, 더 넓은 범위의 트랜스포머 투영을 적응시키는 것이 우월하며, 합성곱 특징 추출기를 적응시키는 것은 해롭다.
• 레이어 경향의 역전: LoRA를 통한 직접적인 적응은 고정된 SSL 모델의 깊은 레이어에서 관찰되는 전형적인 성능 하락을 역전시켜, 깊은 레이어가 분류에 의미 있게 기여할 수 있도록 할 수 있다는 핵심적인 발견을 제시한다.
• 데이터 의존성: 저자들은 Lo-RA가 데이터가 풍부한 생체 음향 분류에는 강력한 도구이지만, 데이터가 적은 환경에서는 고전적인 선형 프로브가 더 강력하고 안정적인 베이스라인이 될 수 있다고 조심스럽게 결론짓는다.
• 일반화 가능성: 본 연구의 결과는 생체 음향 작업에 대규모 SSL 모델을 적용할 때, '원 사이즈 핏 올(one-size-fits-all)' 접근 방식을 가정하기보다는 어댑터 배치, 레이어 전략, 미세 조정 방법을 신중하게 선택하는 것이 중요함을 강조한다.

이 연구는 생체 음향의 모든 과제를 해결한다고 주장하는 것이 아니라, 매개변수 효율적 방법론이 음성 및 생체 음향 사전 학습 모델과 어떻게 상호작용하는지에 대한 체계적인 이해를 구축함으로써 향하여의 적응 전략을 위한 가이드를 제공한다.