기술 요약: 패킷 손실 은닉을 위한 자기 지도식 테스트 시간 튜닝 (Self-Supervised Test-Time Tuning for Packet Loss Concealment)

1. 문제 정의

패킷 손실 은닉(Packet Loss Concealment, PLC)은 VoIP, 컨퍼런싱, 네트워크 음악 시스템에서 수신 측의 누락된 오디오 패킷을 재구성하는 데 핵심적인 역할을 수행한다. 현대적인 신경망 기반 PLC 모델들은 데이터 기반의 사전 지식(priors)을 학습함으로써 고전적인 신호 처리 방식(예: G.711, Opus)을 능가했으나, 이들은 일반적으로 **정적이고 고정된 예측기(static, frozen predictors)**로 배포된다. 일단 훈련이 완료되면, 모델 파라미터는 현재 통화의 특정 화자, 악기, 음향 환경 또는 패킷 손실 패턴과 관계없이 고정된 상태를 유지한다.

이러한 정적 배포 방식은 추론 시점에 사용 가능한 매우 가치 있는 정보원, 즉 수신된 패킷들 자체를 간과한다. 이 패킷들에는 현재 파일에 적응할 수 있는 신호 특성(화자의 정체성, 실내 음향, 스펙트럼 스케일 등)이 포함되어 있으며, 이론적으로는 이를 모델 적응에 활용할 수 있다. 그러나 추론 중에 모델을 적응시키는 것은 다음과 같은 이유로 까다롭다:

1. 깨끗한 참조 신호(Clean Reference)의 부재: 손실된 패킷에 대한 정답(ground truth)을 알 수 없다.
2. 외부 데이터의 부재: 적응은 오직 손상된 테스트 신호만을 기반으로 이루어져야 한다.
3. 인과적 제약(Causal Constraints): 실시간 스트리밍에서는 이미 방출된 샘플을 수정할 수 없으며, 적응 과정이 미래의 데이터에 의존해서는 안 된다.

2. 방법론: TTT-PLC

저자들은 현재의 손실된 신호로부터 수신된 패킷만을 사용하여 기존 PLC 백본을 적응시키는 자기 지도식 테스트 시간 튜닝 프레임워크인 TTT-PLC를 제안한다. 핵심 원리는 깨끗한 참조 신호 없이도 훈련 신호를 생성하기 위해 가용 데이터로부터 보조적인 자기 지도 학습 태스크를 구축하는 것이다.

핵심 메커니즘

이 방법은 수신된(관측된) 패킷의 일부를 인위적으로 마스킹(masking)하고, 모델의 고유한 PLC 손실 함수를 사용하여 이를 재구성하도록 모델을 훈련시킨다. 실제 손실된 패킷은 훈련 타겟으로 절대 사용되지 않으며, 오직 최종 평가를 위해서만 남겨둔다.

이 프레임워크는 두 가지 배포 설정으로 구현된다:

A. 비인과적 설정 (Non-Causal Setting, 사후 처리/버퍼링)

• 시나리오: 전체 수신 파일이 재구성이 이루어지기 전에 모두 확보된 경우 (예: 아카이브 복구, 통화 후 복원).
• 절차:
  1. 관측된 패킷($O$)을 홀드아웃 검증 세트($H$)와 적응 풀($A$)로 분할한다.
  2. 풀 $A$는 다시 합성 마스킹 폴드(synthetic masking folds)로 나뉜다. 각 폴드마다 하위 집합($C_k$)이 마스킹되며, 모델은 남은 컨텍스트($D_k$)를 사용하여 $C_k$를 재구성하도록 훈련된다.
  3. 모델은 $C_k$에 대한 재구성 손실을 최소화하도록 경사 하강법을 통해 업데이트된다.
  4. 모델 체크포인트는 홀드아웃 세트($H$, 이 역시 합성 마스킹 처리됨)에서의 성능을 기준으로 선택된다.
  5. 최종 적응된 모델은 실제 손실된 패킷($L$)을 재구성한다.

B. 인과적 설정 (Causal Setting, 실시간 스트리밍)

• 시나리오: 오디오가 도착하는 대로 스트리밍되며, 이미 방출된 샘플은 수정할 수 없다.
• 절차:
  • 블록 재생 (FRN - 음성용): 시스템은 현재 가중치를 사용하여 한 블록의 패킷을 스트리밍한다. 블록이 완료되면, 모델은 해당 특정 블록에 대해 "재생(replay)" 에포크를 수행하여, 수신된 패킷을 합성적으로 마스킹함으로써 가중치를 업데이트한다. 이러한 업데이트된 가중치는 오직 미래의 블록들에만 영향을 미친다. 버스트 손실(bursty losses)을 처리하기 위해, 단일 프레임이 아닌 짧은 패킷 묶음을 마스킹하는 버스트 인식 재생(burst-aware replay) 방식을 사용하여 추론 조건을 모사한다.
  • 매 패킷 스트리밍 (PARCnet - 음악용): 모델은 패킷 단위로 스트림을 처리한다.
    • 패킷이 실제로 손실된 경우($L$), 은닉(concealment)이 수행되며 경사 단계(gradient step)는 수행되지 않는다.
    • 패킷이 수신되었고 훈련 세트에 포함된 경우($A$), 합성적으로 마스킹 및 예측되어 경사 업데이트에 사용된다.
    • 패킷이 수신되었고 홀드아웃 세트에 포함된 경우($H$), 가중치 업데이트 없이 그대로 통과된다.
    • 스냅샷 선택: 주기적으로 현재 모델 상태를 홀드아웃 세트($H$, 합성적으로 은닉됨)에서 평가한다. 최적의 스냅샷($\theta^*$)은 이 검증 점수를 기준으로 선택되어 이후의 재구성에 사용된다.

구현 세부 사항

• 백본: 프레임워크는 FRN(순환형 전대역 음성 PLC 모델)과 PARCnet(네트워크 음악을 위한 하이브리드 자기회귀-신경망 모델)에서 테스트되었다.
• 손실 함수: 모델은 고유의 손실 함수(예: FRN의 스펙트럼 손실, PARCnet의 MSE + MR-STFT)를 사용한다.
• No-Leak 제약: 중첩되는 예측 꼬리 부분(예: PARCnet의 80개 샘플 꼬리)에서도 깨끗한 오디오가 훈련이나 검증 손실에 절대 유입되지 않도록 엄격한 조치를 취한다.

3. 주요 기여

1. 자기 지도 적응 프레임워크: 깨끗한 참조 신호, 외부 데이터, 또는 구조적 변경 없이 오직 수신된 패킷만을 사용하여 사전 훈련된 PLC 모델을 적응시키는 방법을 제시하였다.
2. 인과적 및 비인과적 배포: 인과성을 만족시키기 위한 특정 알고리즘(블록 재생, 스트리밍 적응)을 통해, 비인과적(오프라인) 및 엄격한 실시간(인과적) 설정 모두에서 테스트 시간 튜닝이 가능하다는 것을 입증하였다.
3. 도메인 불가지론(Domain Agnosticism): 음성과 음악이라는 두 가지 서로 다른 도메인과 두 가지 아키텍처(순환형 주파수 영역 vs 하이브리드 시간 영역)를 통해 이 원리가 광범위하게 적용될 수 있음을 검증하였다.
4. 분포 변화에 대한 강건성: 모델이 훈련된 신호 클래스(예: 음악)와 다른 클래스(예: 음성)에 적응할 수 있음을 수신된 신호만을 사용하여 보여주었다.

4. 실험 결과

FRN (음성)

• 긴 파일 (LibriSpeech-40): 비인과적 튜닝은 STOI를 +0.009, PESQ를 +0.047 개선하였다. 인과적 블록 재생 방식은 비인과적 이득의 **84–85%**를 회복하였으며, 이는 엄격한 인과성 하에서도 상당한 적응이 가능함을 보여준다.
• 짧은 파일 (PLC Challenge 2022): 966개의 짧은 파일에 대해, 인과적 재생은 고정된 베이스라인 대비 모든 지표(STOI, PESQ, PLCMOS)에서 일관된 개선을 보였다.
• 실행 시간: 인과적 재생은 비인과적 다중 에포크 적응과 유사한 계산 비용을 가지면서도 인과적 타당성을 보장한다.

PARCnet (음악)

• 도메인 외 (음성): 음악으로 훈련된 모델을 음성에 적용했을 때, 고정된 모델은 성능이 저조했다. TTT-PLC는 패킷 NMSE를 크게 감소시켰다 (예: 10% 손실 시 2-pass best-val 기준, +0.30 dB에서 -1.84 dB로 감소).
• 도메인 내 (음악): MAESTRO 피아노 데이터셋에서 고정된 모델은 이미 강력한 성능을 보였다. TTT-PLC는 여기서도 일관되지만 완만한 추가 개선을 제공하였다 (예: 10% 손실 시 다중 에포크 적응 시 -5.94 dB vs 고정 모델 -5.28 dB).
• 스냅샷 선택: 홀드아웃 수신 패킷에 대한 검증은 최적의 모델 스냅샷을 선택하는 데 정확한 대리 지표(proxy)가 됨을 확인하였다. 실제 손실 패킷을 사용하는 오라클(oracle) 선택기와 비교했을 때 평균 차이는 0.02 dB에 불과했다.
• 다중 에포크 적응: 비인과적 설정에서 여러 에포크 동안 적응을 수행하는 것이 특히 도메인 외 신호에 대해 가장 좋은 결과를 냈으나, 계산 비용(5 에포크 기준 약 15배 실시간)은 더 높았다.

5. 의의 및 주장

본 논문은 PLC 시스템이 추론 시점에 고정되어 있을 필요가 없다고 주장한다. 손실된 신호 내의 수신된 패킷들은 동일한 신호에 대한 은닉 성능을 향상시키기 위한 효과적인 훈련 신호로서 충분한 신호 특이적 정보를 담고 있다.

• 실용성: 이 방법은 새로운 데이터셋에 대한 재학습이나 모델 아키텍처의 수정 없이 **파일 적응형 PLC(file-adaptive PLC)**로 나아가는 경로를 제공한다.
• 일반성: 음성과 음악, 그리고 인과적 및 비인과적 설정 모두에서의 성공은 자기 지도식 테스트 시간 튜닝이 견고한 오디오 재구성을 위한 일반화 가능한 전략임을 시사한다.
• 한계점: 저자들은 패킷 단위 지표(NMSE)에서는 명확한 이득이 나타나는 반면, 지각적 지표(PEAQ, PLCMOS)는 특히 음악의 경우 PLC 아티팩트에 대해 완벽하게 교정되지 않을 수 있어 일관성이 떨어질 수 있다고 언급하였다. 또한, 현재의 다중 에포크 적응 구현은 계산 비용이 높으므로, 실시간 배포를 위해서는 더 낮은 업데이트 빈도나 단일 패스(single-pass) 전략이 더 적절할 수 있다.

결론적으로, TTT-PLC는 손상된 신호의 "여전히 관측되는" 부분을 활용함으로써 기존 PLC 모델이 현재의 통화 또는 녹음 조건에 더 민감하게 반응하도록 만들 수 있음을 입증한다.