Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization

기술 요약: KSAA-2026 태스크 2: 아랍어 음성 자음점 부호화를 위한 정규화 미세조정 (Thaka)

문제 정의
본 논문은 아랍어 음성 필기와 자동 자음점 부호화에 초점을 맞춘 KSAA-2026 공유 태스크의 태스크 2를 다룹니다. 목표는 음성 오디오와 자음점이 없는 전사본으로부터 완전히 자음점이 부호화된 아랍어 텍스트를 생성하는 것입니다. 이 태스크는 아랍어 철자의 본질적인 모호성으로 인해 특히 까다롭습니다. 짧은 모음과 음운론적 표지 (자음점) 가 일반적으로 생략되어 단일 문자열이 여러 가지 잠재적인 의미를 가질 수 있기 때문입니다. 음성 신호는 이러한 모호성을 해결하기 위한 운율 및 음성적 단서를 제공하지만, 공유 태스크는 저자원 시나리오를 제시합니다: 여러 아랍어 방언에 걸쳐 2,327 개의 훈련 샘플만 제공되며, 외부 데이터 사용은 엄격히 금지됩니다.

방법론
저자들의 시스템은 문자 단위 CATT 텍스트 인코더와 Whisper 음성 인코더를 융합하는 멀티모달 모델인 CATT-Whisper 아키텍처를 기반으로 구축되었습니다. 기술적 접근 방식은 복잡한 아키텍처 변경보다는 엄격한 훈련 정규화와 추론 시 앙상블에 중점을 둡니다.

• 아키텍처:

  • 텍스트 인코더: 아랍어 자음점 부호화로 사전 훈련된 6 레이어 CATT Transformer(512 차원, 16 헤드) 로, 글자당 15 개 자음점 클래스 중 하나를 예측합니다.
  • 음성 인코더: 고정된 (frozen) Whisper-base 인코더 (6 블록, 512 차원).
  • 융합: 시스템은 접두사 추가 (prefix addition) 를 사용합니다. 1,500 개의 Whisper 음성 프레임을 평균 풀링하여 150 개의 토큰으로 변환한 후 프로젝션하고, 텍스트 입력 앞에 150 개의 전용 접두사 토큰으로 삽입합니다. 모델은 약 39M 개의 파라미터를 포함하며, 이 중 약 19M 개가 학습 가능합니다.

• 훈련 전략:

  • 정규화: 핵심 혁신은 훈련 레시피에 있습니다. 시스템은 R-Drop 일관성 정규화를 활용하여, 각 입력이 서로 다른 드롭아웃 마스크를 가진 채 모델을 두 번 통과하도록 하고, 대칭 KL 발산 패널티 ($\alpha = 2.08$) 를 통해 발산하는 예측에 페널티를 부과합니다.
  • 손실 함수: 지도 학습 손실은 클래스 불균형과 어려운 예제를 처리하기 위해 Focal Loss ($\gamma = 0.34$) 와 라벨 스무딩 ($\epsilon = 0.018$) 을 결합합니다.
  • 하이퍼파라미터 최적화: 모든 하이퍼파라미터 (학습률, 가중치 감쇠, 드롭아웃 비율 등) 는 30 회 시도로 Optuna를 통해 선택되었습니다. 특히, 시스템은 높은 가중치 감쇠 (0.098) 와 음성 임베딩에 대한 특정 드롭아웃 비율을 사용합니다.
  • 데이터 증강: 기법으로는 SpecAugment(주파수 및 시간 마스킹) 와 가우시안 노이즈 주입이 포함됩니다.
  • 체크포인트: 네 가지 별도의 모델 체크포인트가 훈련되었습니다: 세 가지는 서로 다른 무작위 시드 (42, 7, 123) 를 사용하여 기본 구성으로 훈련되었고, 네 번째는 앙상블 다양성을 높이기 위해 대체 구성 (다른 학습률, 배치 크기, 부분적으로 고정 해제된 Whisper 블록) 으로 훈련되었습니다.

• 추론:

  • 시스템은 몬테카를로 (MC) 드롭아웃 앙상블을 사용합니다. 추론 중에는 CATT 인코더에서 드롭아웃이 활성화된 상태로 유지됩니다.
  • 네 개의 체크포인트 각각이 50 회 확률적 순전파를 수행하여 총 200 회를 달성합니다.
  • 최종 예측은 200 회 전체에 걸쳐 softmax 확률을 평균화한 후 argmax 를 취하여 도출됩니다.
  • 후처리: 직접적인 위치 삽입 방법을 사용하여 출력이 입력 문자와 1:1 대응을 유지하도록 보장하며, 자음점을 제거하면 원래 입력을 복원하는 것과 같은 불변성을 강제합니다.

주요 기여

1. 우승 시스템: 제안된 시스템은 KSAA-2026 공유 태스크에서 1 위를 차지했습니다.
2. 아키텍처보다 정규화: 저자들은 저자원 환경 (2,187 개의 유효 훈련 샘플) 에서 최적화 전략 (R-Drop, Focal Loss, 높은 가중치 감쇠) 이 아키텍처 수정 (예: 크로스 어텐션, CRF 디코딩, RL 미세조정) 보다 훨씬 더 큰 성능 향상을 가져온다고 입증했습니다.
3. 추론 시 앙상블: 추론 시 MC 드롭아웃 앙상블의 적용은 측정 가능한 개선을 제공했으나, 저자들은 계산 비용 (200 회 순전파) 을 지적했습니다.

결과
시스템은 주된 지표로 자음점 부호화 위치 (자음점이 없는 위치 포함) 를 포함한 어미가 포함된 단어 오류율 (WER) 을 사용하여 테스트 세트에서 평가되었습니다.

• 성능: 시스템은 23.26% WER를 달성하여 2 위 참가자 (24.39%) 와 텍스트 전용 베이스라인 (49.85%) 을 능가했습니다.
• 어블레이션 연구: 개발 세트에 대한 누적 어블레이션은 개선의 원천을 드러냈습니다:
  • 표준 레시피로 사전 훈련된 CATT-Whisper 를 미세조정하면 30.43% WER 를 달성했습니다.
  • 정규화된 레시피 (R-Drop, Focal Loss, 높은 가중치 감쇠) 를 추가하면 WER 가 **27.18%**로 감소했습니다 (3.25 퍼센트 포인트 향상).
  • MC 드롭아웃 앙상블을 추가하면 WER 가 **26.02%**로 추가로 감소했습니다 (1.16 퍼센트 포인트 추가 향상).
  • 저자들은 훈련 레시피가 개선의 주된 동력이라고 결론지었습니다.

의의 및 주장
본 논문은 KSAA-2026 태스크 2 의 특정 제약 조건 (제한된 데이터, 외부 자원 부재) 에 대해 고성능을 달성하는 가장 효과적인 경로가 아키텍처의 복잡성이 아니라 강건한 훈련 정규화라고 주장합니다. 저자들은 음성 신호의 보완적 특성을 활용하여 철자적 모호성을 해결하는 데 성공했으며, 오디오 입력이 이 태스크에 필수적임을 확인했다고 주장합니다. 그들은 겸손하게도 향후 연구는 모든 아랍어 자음점 부호화 시나리오에 대한 보편적 우월성을 주장하기보다는 각 정규화 구성 요소의 개별 기여를 분리하고 남은 과제를 식별하기 위해 방언별 성능을 분석하는 데 초점을 맞춰야 한다고 제안합니다.