Open-Set Source Tracing as Compositional Factors via Structured Prototypes

기술 요약: 구조적 프로토타입을 통한 구성적 요소로서의 오픈셋 소스 트레이싱(Open-Set Source Tracing)

문제 정의
본 논문은 기존의 합성 음성 귀속(Source Tracing) 작업이 소스를 단일한 생성 아키텍처로 취급하는 한계를 다룹니다. 저자들은 이러한 접근 방식이 포렌식 관점에서 불충분하다고 주장하는데, 이는 생성 모델의 출력이 아키텍처(A), 학습 데이터(D), 그리고 잔차 구성(H)(하이퍼파라미터, 최적화 확률성 및 비선형 상호작용을 포함)이라는 구성적 튜플(compositional tuple)에 의해 형성되기 때문입니다.

핵심 과제는 표준 딥 메트릭 러닝(Deep Metric Learning, 예: ArcFace) 방식이 이러한 요소들을 하나의 임베딩으로 압축하여 엉킴(entanglement)을 유발한다는 점입니다. 이는 알려진 아키텍처가 미지의 데이터와 결합되거나, 그 반대의 경우와 같은 "오픈셋(Open-Set)" 시나리오에서 모델의 일반화를 방해합니다. 본 논문은 완전히 닫힌(Fully Closed, 이미 본 조합) 시나리오부터 완전히 열린(Fully Open, 아키텍처와 데이터 모두 미지) 시나리오까지 네 가지 귀속 시나리오를 정의하며, **구성적 일반화(compositional generalization)**의 필요성을 강조합니다.

방법론
제안된 프레임워크는 **구조적 직교 프로토타입(Structured Orthonormal Prototypes)**과 **서브스페이스 분할(Subspace Partitioning)**을 사용하여 소스 트레이싱을 인수 분해된 귀속 문제로 재정의합니다. 방법론은 세 가지 단계적 전략으로 구축됩니다:

1. 변동성 분해(Variability Decomposition): 저자들은 소스 간 변동성(대상: $A \times D \times H$)과 소스 내 변동성(참조 화자 또는 음성 내용과 같은 노이즈 요소)을 구분합니다. 목표는 모델이 추론 시점의 변수($i$)에는 불변하면서 소스 튜플 $s = (a, d, h)$를 포착하도록 만드는 것입니다.
2. 전략 1: 구조적 직교 프로토타입: 학습 가능한 클래스 가중치 대신, 모델은 고정된 직교 프로토타입 행렬 $P$를 사용합니다. 이는 기하학적 규칙성을 강제하고 클래스 간 분리도를 극대화하여, 오픈셋 식별을 위한 강력한 사전 확률(prior) 역할을 합니다.
3. 전략 2: 서브스페이스 분할: 요소들을 명시적으로 분리하기 위해 임베딩 공간을 직교하는 서브스페이스로 분할합니다:
   • $Z_A$ (아키텍처): 아키텍처 프로토타입에 정렬됨.
   • $Z_D$ (학습 데이터): 데이터셋 프로토타입에 정렬됨.
   • $Z_R$ (잔차): 잔차 구성 $H$와 라벨이 없는 변동성을 포착하는 전용 프로토타입 프리(prototype-free) 서브스페이스.
   • 손실 함수: 프레임워크는 임베딩을 각 프로토타입에 정렬하기 위해 가중치 크로스 엔트로피 손실과 평균 제곱 오차(MSE) 항을 결합하여 사용합니다. 잔차 서브스페이스의 경우, $Z_R$이 주요 요소를 압도하지 않으면서 경계가 있는 불확실성을 인코딩하도록 보장하기 위해 **에너지 제약(Energy Constraint)**을 도입합니다.

주요 기여

• 소스 정체성의 재정의: 본 논문은 소스를 단일 레이블이 아닌 구성적 튜플 $S = (A, D, H)$로 공식 정의하여, 모델 간의 공유된 특성을 모델링할 수 있게 합니다.
• 인수 분해된 임베딩 공간: 서브스페이스 분할의 도입은 모델이 아키텍처와 데이터를 독립적으로 주변 표현(marginal representations)을 학습할 수 있게 하여, 알려진 요소들의 새로운 조합에 대한 일반화를 용이하게 합니다.
• 잔차 모델링: 에너지 제약이 적용된 잔차 서브스페이스($Z_R$)의 명시적 포함은 시스템이 주요 요소의 표현을 손상시키지 않고 비결정론적 요소와 비선형 상호작용을 흡수할 수 있게 합니다.
• 구조적 프로토타입: 고정된 직교 프로토타입의 사용은 표준 학습 가능 가중치에 비해 퓨샷(few-shot) 성능을 향상시키는 기하학적 구조를 제공합니다.

실험 결과
프레임워크는 MLAAD 데이터셋을 사용하여 퓨샷 오픈셋 식별 프로토콜(K=1, 3, 5 support examples)로 평가되었습니다.

• 베이스라인 성능: 표준 ArcFace 베이스라인은 높은 닫힌 집합 정확도(95.11%)를 달성했으나, 오픈셋 시나리오에서는 상당한 일반화 격차(13.70%)를 보였습니다.
• 전략 1: 베이스라인보다 개선된 오픈셋 성능을 보였으나, 프로토타입 간의 공유 구조 부재로 인해 "미지의 조합(Unseen Combinations)" 문제에서 어려움을 겪었습니다.
• 전략 2 (인수 분해): 상당한 개선을 보여주었습니다. 특히, **전략 2.B (잔차 모델링 포함)**는 "All vs All" 퓨샷 설정(K=5)에서 84.52% F1-Macro에 도달하며 가장 우수한 종합 결과를 달성했습니다.
• 일반화: 전략 2.B는 베이스라인에 비해 일반화 격차를 크게 줄였습니다(9.19%로 감소). 이 모델은 특히 "미지의 아키텍처" 및 "미지의 데이터셋" 시나리오에서 강점을 보였으며, 이는 요소의 격리가 모델이 새로운 아키텍처를 보완하기 위해 알려진 데이터 기반 특징을 활용하거나 그 반대의 경우를 가능하게 함을 시사합니다.

의의 및 주장
본 논문은 생성적 정체성을 인수 분해된 주변 표현으로 나누는 것이 강건한 오픈셋 귀속에 필수적이라고 주장합니다. 저자들은 자신들의 방식이 다음과 같은 효과를 가진다고 단언합니다:

1. 구성적 일반화 가능: 시스템은 모든 새로운 $(A, D)$ 쌍에 대해 전수 재학습을 요구하는 대신, 학습된 요소 프로토타입을 재조합함으로써 새로운 조합의 오디오를 귀속할 수 있습니다.
2. 확장성 향상: 인수 분해된 접근 방식은 단일 모델 분류보다 더 유리하게 확장됩니다. $C_A \times C_D$개의 소스를 표현하는 데 필요한 것은 $C_A + C_D$개의 기저 벡터뿐이지만, 단일 모델 방식은 모든 조합에 대해 고유한 프로토타입이 필요합니다.
3. 해석 가능성 제공: 서브스페이스의 분리는 특정 서브스페이스($Z_A$ 대 $Z_D$) 내의 유사성을 비교함으로써 아키텍처 기반 단서와 데이터 기반 단서의 기여도를 정량화할 수 있는 포렌식 분석의 경로를 제시합니다.

저자들은 자신들의 방법이 퓨샷 오픈셋 시나리오에서 앵귤러 마진(angular-margin) 베이스라인보다 성능이 월등히 뛰어나지만, 현재 구현은 추론 시점의 변동성(예: 참조 화자)을 잔차 서브스페이스로 흡수하고 있으므로, 이러한 변수를 명시적으로 보상하는 것이 향후 연구 과제라고 결론짓습니다.