Strength-Parity Ensembling with Parameter-Isolated Experts for Multi-Task Affect Recognition

기술 요약: 다중 작업 감정 인식(Multi-Task Affect Recognition)을 위한 파라미터 격리 전문가 기반의 강도-패리티 앙상블링(Strength-Parity Ensembling)

문제 정의
본 논문은 제11회 ABAW(Affective Behavior Analysis in-the-wild) 경진대회의 다중 작업 학습(MTL) 과제를 다룹니다. 목표는 단일의 비제약적 얼굴로부터 세 가지 서로 다른 정서적 속성인 연속형 발렌스-각성(valence–arousal), 8개 범주의 표정(categorical expression), 12개 범주의 액션 유닛(AU) 탐지를 공동으로 추정하는 것입니다. 이 과제는 다음과 같은 세 가지 구체적인 제약 조건으로 인해 복잡합니다:

1. 부분적이고 불균형한 레이블: 세 가지 레이블 군은 서로 중첩되지만 불균등한 프레임 하위 집합에 주석이 달려 있으며, 개별적으로는 롱테일 분포를 보입니다.
2. 대상 데이터에 대한 사전 학습 금지: 챌린지는 Aff-Wild2 코퍼스에 대한 사전 학습을 금지하며, 외부 데이터셋으로부터 모델을 적응시켜야 합니다.
3. 앙상블의 비효効率성: 선두 그룹의 모델들은 무거운 앙상블에 의존하지만, 이미 강력한 앙상블에 어떤 추가 멤버를 포함시켜 성능을 높일 것인지에 대한 기준은 거의 명시되지 않았습니다. 표준적인 다양화 방법(예: 동일한 백본에 대해 재시딩(re-seeding)하거나 서로 다른 미세 조정 커리큘럼을 적용하는 방식)은 예측값이 거의 동일하게 수렴하여 평균을 낼 만한 다양성을 제공하지 못하는 경우가 많습니다.

방법론
제안된 시스템은 두 개의 동결된(frozen) 감정 지도 ViT-B/16 백본(하나는 FSFM 초기화, 다른 하나는 MAE-Face 초기화)과 누락된 레이블을 태스크 디코더 전반에 걸쳐 마진화(marginalize)하는 공유 감정 잠재 공간(Shared Affect-Latent, SAL)을 특징으로 하는 기본 아키텍처를 기반으로 합니다. 핵심 혁신은 **강도-패리티 규칙(Strength-Parity Rule)**과 이를 충족하기 위한 메커니즘에 있습니다.

1. 강도-패리티 규칙:
   저자들은 앙상블 멤버를 위한 구체적인 승인 기준을 제안합니다. 새로운 멤버는 다음 두 가지 조건을 동시에 만족할 때만 앙상블을 개선합니다:

• 탈상관성(Decorrelation): 현재 앙상블 멤버들과 상관관계가 낮아야 합니다(낮은 예측 상관관계).
• 근접한 실력(Near-Peer Strength): 개별적으로 정확해야 하며, 기존 멤버들과 대등한 수준의 성능을 보여야 합니다.
  본 논문은 표준적인 방법들이 이 규칙을 충족하지 못함을 입증합니다. 동일한 백본에 대해 재시딩을 하거나 서로 다른 지도 학습 커리큘럼을 실행하면 예측 상관관계가 0.98에 달하며, 이는 높은 개별 정확도에도 불구하고 실질적인 다양성을 추가하지 못함을 의미합니다.

2. 파라미터 격리 전문가(Parameter-Isolated Experts):
   전체 백본을 새로 학습시키는 비용 없이 강도-패리티 규칙을 만족하는 멤버를 생성하기 위해, 저자들은 파라미터 격리(Parameter-Isolated) 적응 방داً를 사용합니다.

• 단일 공유 백본을 동결합니다.
• 서로 다른 감정 코퍼스(예: AffectNet, FSFM, MAE)를 사용하여 서로 소외된 저차원 부분 공간(disjoint low-rank subspaces)(LoRA)을 통해 이 백본을 적응시킵니다.
• 각 전문가는 저차원 행렬($W = W_0 + \alpha BA$, 랭크 16)을 사용하여 동결된 투영 가중치($W_0$)를 수정합니다.
• 결과: 이러한 제약은 전체 미세 조정(full fine-tuning) 시 발생하는 "재수렴" 현상을 방지합니다. 동일한 백본을 사용하는 전문가들은 높은 개별 정확도를 유지하면서도 예측 상관관계가 0.91로 (기존의 0.98보다 현저히 낮게) 유지됩니다. 가장 강력한 전문가인 AffectNet 적응 모델은 표정 인식에서 0.4762의 macro-F1을 달к하며 기본 백본들을 능가했습니다.

3. 시스템 조립:
   최종 시스템은 가장 강력한 멤버들의 태스크별 예측값을 평균합니다.

• 발렌스-각성 및 AU: 두 백본 전문가의 평균을 사용합니다.
• 표정(Expression): 두 개의 기본 SAL 멤버와 파라미터 격리 LoRA 전문가를 평균합니다.
• 교정(Calibration): 검증 세트(validation set)에서 F1을 최대화하도록 태스크별 AU 결정 임계값을 설정합니다.
• 부산물 풀링(Byproduct Pooling): 공유 잠재 표정 헤드의 부산물로 생성된 발렌스-각성 예측값을 추가적인 근접 실력(near-peer)으로서 VA 앙상블에 풀링합니다.

주요 결과
시스템은 s-Aff-Wild2 MTL 검증 분할(학습 데이터와 비디오가 분리됨)에서 평가되었습니다.

• 베이스라인: 주최측의 ConvNeXt 베이스라인 점수는 0.45였습니다.
• 기본 시스템: 두 개의 백본을 가진 공유 잠재 공간 시스템은 1.6669를 달성했습니다.
• 주요 결과: AffectNet 파라미터 격리 전문가를 추가함으로써 표정 점수와 총 검증 점수가 1.6949로 상승했습니다.
• 최강 구성: 추가적인 LoRA 전문가를 적용하고, per-AU 교정을 수행하며, 공유 잠재 VA 부산물을 풀링함으로써, 시스템은 최고 검증 점수인 1.7259에 도달했습니다.
• 통계적 유의성: 성능 향상은 50개의 검증 비디오에 대해 쌍체 부트스트랩(paired bootstrap)을 사용하여 측정되었습니다. VA 부산물을 VA 앙상블에 추가함으로써 얻은 이득은 통계적으로 유의미했습니다($p=0.005$). 그 외의 이득은 "노이즈 범위 내의 긍정적 수치(positive-within-noise)"로 기록되었습니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장합니다:

1. 실용적인 앙상블 규칙: 저자들은 멤버를 추가하는 것이 탈상관성과 근접한 실력을 모두 갖추었을 때만 유익하다는 "강도-패리티" 규칙을 확립했습니다. 또한 재시딩과 같은 저렴한 다양성 확보 방식은 탈상관성이 부족하기 때문에 실패하는 경우가 많음을 강조합니다.
2. 다양성 메커니즘: 단일 백본에 대한 파라미터 격리(LoRA)가 어떻게 성공적으로 탈상관된 근접 실력(near-peers)을 제조할 수 있는지, 즉 여러 개의 사전 학습된 백본 없이도 전체 미세 조정의 재수렴 문제를 해결할 수 있는지를 입증합니다.
3. 성능: 베이스라인을 크게 상회하며 제11회 ABAW MTL 트랙의 새로운 검증 벤치마크를 설정했습니다.

저자들은 자신들의 접근 방식에 대한 한계도 솔직하게 언급했습니다. 일단 풀(pool)에 몇몇 탈상관된 근접 실력들이 포함되면, 추가적인 멤버는 상관관계가 높거나 혹은 실력이 떨어지는 경우가 많기 때문에 점수가 정체(plateau)된다는 점입니다. 남은 격차를 줄이기 위해서는 단순한 평균화 전략이 아닌 "진정으로 다른 근접 실력 표현(genuinely different near-peer representations)"이 필요할 것입니다.