기술 요약: 깊이 조건부 루프 트랜스포머를 이용한 ASR의 테스트 타임 연산 스케일링

문제 정의

엔드 투 엔드(end-to-end) 자동 음성 인식(ASR) 시스템은 일반적으로 고정된 깊이의 음향 인코더에 의존한다. 추론 시, 계산 깊이는 아키텍처에 의해 엄격하게 결정되므로, 모델을 다시 학습시키지 않고는 추가적인 테스트 타임 연산을 통해 인식 정확도를 높이는 것이 불가능하다. 테스트 타임 연산 스케일링은 자기회귀적(autoregressive) 언어 모델링(반복적인 생성을 통해 추론 및 자기 수정을 가능하게 함)에서 큰 주목을 받아왔으나, 이를 연속적이고 비자기회귀적인 ASR 작업에 적용하는 것은 매우 까다롭다. 표준적인 고정 깊이 인코더는 추론 과정에서 음향 표현을 점진적으로 정교화할 수 있는 메커니즘이 부족하며, 공유된 트랜스포머 블록을 재귀적으로 재사용하려는 단순한 시도는 추가적인 연산을 충분히 활용하지 못해, 더 깊고 파라미터를 공유하지 않는 베이스라인 모델에 비해 하위 성능을 보이는 경우가 많다.

방법론: LARM 아키텍처

이러한 한계를 해결하기 위해 저자들은 파라미터 수와 추론 깊이를 분리한 깊이 조건부 루프 트랜스포머인 **LARM(Loop Audio Recurrent Model)**을 제안한다. LARM은 공유된 트랜스포머 블록을 잠재 음향 시퀀스에 재귀적으로 적용하여, 계산 깊이를 동적이고 제어 가능한 축으로 취급한다. 이 아키텍처는 루프를 구조화하고 단계별 특화(stage-specific specialization)를 가능하게 하는 네 가지 핵심 메커니즘을 통합한다:

1. 희소 감독 및 체크포인트 구조 (Sparse Supervision and Checkpoint Structure):
   모든 루프마다 손실(loss)을 적용하거나 마지막 단계에만 적용하는 대신, LARM은 희소 감독 스케줄을 채택한다. 재귀 과정은 감독된 인식 체크포인트와 그 사이의 비감독 정교화 단계로 구분되는 일련의 구조로 구성된다. 감독 클락 임베딩($e^{(k)}_{clock}$)은 체크포인트 간격($c$) 내에서의 루프 위치를 인코딩하여, 모델이 감독된 인식 단계와 잠재 정교화 단계를 구분할 수 있게 한다.

2. FiLM 깊이 조건부 (FiLM Depth Conditioning):
   공유된 가중치가 반복 과정에서 중복된 계산을 수행하는 것을 방지하기 위해, LARM은 FiLM(Feature-wise Linear Modulation)을 사용한다. 이 메커니즘은 정규화된 루프 반복 깊이($\bar{d}^{(k)}$)를 기반으로 은닉 상태를 명시적으로 조절한다. 작은 MLP는 스케일 및 바이어스 항을 생성하여 공유 인코더를 조건화하며, 이를 통해 파라미터를 해제하지 않고도 서로 다른 단계에서 특화된 변환을 구현할 수 있게 한다.

3. 지연된 예측 피드백 (Delayed Prediction Feedback):
   LARM은 ASR 특화 재귀 메커니즘을 도입한다. 이전 반복의 소프트 CTC 사후 확률(posteriors)을 추출하여, 한 프레임 이동시킨 후 네트워크에 다시 주입하는 방식이다. 이 "지연된 예측 피드백"은 토큰 수준의 연속성을 모델의 깊이 방향으로 전파하여 음향 정교화의 궤적을 가이드하고, 이후의 루프가 진화하는 가설을 바탕으로 구축될 수 있도록 한다.

4. 상태 집합 (State Aggregation):
   재귀 상태 $h^{(k)}$는 현재 인코더 출력, 초기 음향 표현(스킵 연결을 통해), 그리고 지연된 예측 피드백을 집합하여 형성된다. 학습 가능한 스칼라($\alpha, \beta$)는 피드백 신호의 기여도를 제어하여, 각 루프가 원래의 음향 특징과 정교화된 소프트 토큰 이력을 모두 조건화하도록 보장한다.

주요 기여

• 인코더 수준의 테스트 타임 스케일링: LARM은 학습된 파라미터 수를 늘리지 않고도 재귀적 루프를 늘림으로써 ASR 모델이 동적으로 추론 연산을 확장할 수 있는 프레임워크를 도입했다.
• 단계별 특화 재귀 학습: 본 논문은 희소 중간 CTC 감독, 주기적 클락 임베딩, FiLM 깊이 조건부를 결합한 새로운 루프 구조 메커니즘을 제안한다. 이를 통해 단일한 공유 가중치 세트가 재귀 반복 전반에 걸쳐 인식 및 정교화라는 서로 다른 역할을 수행하도록 특화될 수 있다.
• 지연된 예측 피드백: 토큰 수준의 연속성을 명시적으로 전파하기 위해 이동된 소프트 토큰 사후 확률을 재주입하는 피드백 메커니즘을 도입하여, 반복적인 음향 인식을 개선했다.
• 경험적 검증: LARM은 루프 횟수가 증가함에 따라 WER(단어 오류율)이 개선됨을 입증하였으며, 훨씬 더 깊고 파라미터를 공유하지 않는 베이스라인 모델들과 경쟁할 만한 성능을 달-성하면서도 훨씬 적은 파라미터 수를 사용했다.

실험 결과

실험은 LibriSpeech 벤치마크(100h 및 960h 학습 데이터셋)를 대상으로 수행되었다.

• 파라미터 수 대비 성능: 100h 데이터셋에서 4개의 공유 블록과 12개의 루프를 가진 LARM 모델(7.7M 파라미터)은 11.34%의 WER(greedy CTC)을 달성하였다. 이는 파라미터 수가 동일한 표준 4-블록 인코더(26.78%)보다 우수하며, 파라미터가 거의 4배 많은 16-블록 비공유 인코더(14.43%)보다도 높은 성능을 보였다.
• 테스트 타임 연산 스케일링: 훈련된 모델에 대해 실행되는 루프($K$)의 수를 늘릴수록 WER이 일관되게 개선되었다. 960h 모델은 매끄러운 개선 궤적을 보였으며, 100h 모델은 중간 정교화 과정에서 비단조적(non-monotonic)인 모습을 보였으나 감독된 체크포인트에서는 여전히 이득을 보여주었다.
• 너비 및 데이터에 따른 스케일링: 모델 차원($d$)을 384에서 1024로 늘리면 성능이 더욱 향상되었다. 가장 큰 규모의 LARM 구성($d=1024$, 85.7M 파라미터)은 동일한 파라미터 수를 가진 표준 48-블록 인코더와 대등한 결과(960h test-clean 기준 3.39% WER)를 달성했다.
• 절제 연구(Ablation Studies):
  • 단순 루핑(Naive Looping): 단순 재귀는 루프가 없는 인코더보다는 개선되었으나, 전체 LARM보다는 열세하여 제안된 조건부 및 피드백 메커니즘의 필요성을 확인시켜 주었다.
  • 감독 스케줄: 중간 정도의 희소 감독(체크포인트 간격 $c > 1$)이 밀집 감독($c=1$) 및 최종 단계 전용 감독보다 우수한 성능을 보여, "체크포인트 사이의 정교화" 가설을 입증했다.
  • 조건부(Conditioning): FiLM 깊이 조건부가 단순 가산 임베딩이나 조건부 없음보다 우수함을 증명했다.
  • 피드백: 예측 피드백을 제거하면 성능이 크게 저하되었으며, 학습 가능한 혼합 스칼라를 사용한 이전 프레임(지연된) 피드백을 사용하는 것이 가장 좋은 결과를 냈다.

의의 및 주장

본 논문은 기존에 자기회귀적 언어 모델링에서 지배적이었던 테스트 타임 연산 스케일링의 개념을 연속적인 비자기회귀적 음성 인식으로 성공적으로 확장했다고 주장한다. 재귀적 인코더 깊이를 제어 가능한 연산 축으로 전환함으로써, LARM은 더 큰 모델을 학습시키는 비용 없이 추가적인 추론 시간을 통해 정확도를 높일 수 있는 경로를 제공한다. 결과는 공유 파라미터 아키텍처가 적절한 조건부 설정, 희소 감독 및 피드백과 함께 구성될 때 훨씬 더 깊은 비공유 모델과 대등한 성능을 달성할 수 있음을 시사한다. 저자들은 현재의 구성이 매우 넓은 너비에서 포화 징후를 보이지만, 이 접근 방식이 ASR의 동적 추론 확장을 위한 파라미터 효율적인 경로를 제공한다고 언급했다.