Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

"모든 피험자가 머무러야 하는 것은 아니다: 노이즈가 있는 참여 인식에 대한 기계적 망각" 논문에 대한 상세한 기술적 요약입니다.

문제 정의

이 논문은 비디오 데이터에서 사용자 참여 수준을 분류하는 작업인 참여 인식 (engagement recognition) 의 실용적 과제를 다룹니다. 참여 데이터셋 (예: DAiSEE, EngageNet) 은 일반적으로 피험자 인덱싱 (subject-indexed) 되어 있으며 노이즈가 많고 주관적인 감독 (noisy, subjective supervision) 을 포함합니다. 개별 클립이 잘못 레이블링될 수 있는 표준 노이즈 레이블 문제와 달리, 이러한 데이터셋에서 문제가 되는 단위는 종종 전체 피험자입니다. 동일한 개인으로부터의 여러 클립은 주석의 모호성, 기록 아티팩트, 또는 비정형적인 행동 패턴을 공유하여 역효과를 내는 감독을 초래할 수 있습니다.

기저 모델이 훈련된 후, 문제 있는 피험자를 제거하는 개념적으로 올바른 해결책은 나머지 데이터로 모델을 처음부터 다시 훈련하는 것입니다. 그러나 이러한 전체 재훈련 (full retraining) 은 특히 여러 후보 피험자 하위 집합을 감사해야 할 경우 계산 비용이 매우 큽니다. 논문은 다음과 같은 질문을 제기합니다: 이미 훈련된 모델에서 전체 문제 피험자의 영향을 전체 재훈련 없이 제거할 수 있는가?

방법론

저자들은 사후 정화 메커니즘으로서 피험자 수준의 기계적 망각 (subject-level machine unlearning) 프레임워크를 제안합니다. 프로토콜은 네 가지 주요 단계로 구성됩니다:

1. 기저 훈련: 고정된 아키텍처인 TCCT-Net(Tensor-Convolution and Convolution-Transformer Network) 을 사용하여 전체 훈련 피험자 집합 ($S_{tr}$) 에서 기저 모델 ($f_{\theta_0}$) 을 훈련합니다.
2. 유해 피험자 식별: 지상 진실 (ground-truth) 레이블 오염을 가정하는 대신, 저자들은 유해함을 운영적 순위 결정 문제로 취급합니다. 훈련된 기저 모델 하에서 해당 피험자 데이터의 클립별 평균 교차 엔트로피 손실을 기반으로 각 피험자에 대한 점수 ($r_s$) 를 계산합니다. 상위 $K$개 순위의 피험자들이 망각 집합 (forget-set, $F$) 을 형성합니다.
3. 근사 망각 업데이트: 경량화된 보정을 기저 모델에 적용하여 망각된 모델 ($\tilde{f}_{\theta}$) 을 생성합니다.
   • 아키텍처 제한: 업데이트 효율성을 유지하기 위해 TCCT-Net 의 하위 수준 특징 추출기는 동결 (frozen) 됩니다. 최종 융합 및 분류 레이어 ("헤드") 만 업데이트됩니다.
   • 목적 함수: 업데이트는 복합 손실 ($L_{unl}$) 을 최소화합니다:
     • $L_{ret}$: 작업 유틸리티를 보존하기 위해 유지된 데이터 ($D_R$) 에 대한 교차 엔트로피.
     • $L_{cons}$: 불필요한 편향을 방지하기 위해 유지된 데이터에서 기저 모델과 망각된 모델 예측 간의 일관성 항 (KL 발산).
     • $L_{forg}$: 이러한 피험자에 적합하도록 모델을 밀어내는 것 (anti-fitting) 을 위해 망각된 데이터 ($D_F$) 에 대한 음의 교차 엔트로피 항.
     • 정규화: 원래 헤드 매개변수 ($\phi_0$) 에서의 편차를 패널티하는 항.
4. 오라클 중심 평가: 망각된 모델은 유지된 피험자 ($D_R$) 만으로 처음부터 재훈련된 오라클 모델 ($f^*_{\theta_F}$) 과 비교됩니다. 이 오라클은 "유지된 데이터 솔루션"을 위한 깨끗한 기준점 역할을 합니다.

주요 기여

1. 문제 정의: 논문은 참여 인식에 대한 피험자 수준 사후 정화를 별도의 문제 설정으로 정의하며, 샘플 수준의 노이즈 레이블 수정을 넘어 피험자 인덱싱된 데이터 수정을 다룹니다.
2. 평가 프로토콜: 단순히 모델을 교란하거나 망각된 데이터에서 성능을 저하시키는 것이 아니라, 유지된 데이터로 처음부터 재훈련된 모델의 솔루션을 근사하는지 여부를 측정하는 오라클 중심 평가를 도입합니다.
3. 실증 연구: DAiSEE와 EngageNet에 대한 통제된 연구는 피험자 수준 망각이 언제 유익한지, 망각 집합 구성에 어떻게 의존하는지, 그리고 전체 재훈련과 비교한 유틸리티 - 효율성 트레이드오프를 보여줍니다.

결과

이 연구는 작은 망각 집합 시나리오 ($K \in \{1, 3, 5\}$) 에서 세 가지 모델 상태 (기저, 망각, 오라클) 를 평가합니다.

• 성능 회복:
  • EngageNet($K=3$) 에서 망각된 모델은 오라클 모델이 달성한 성능 향상분의 **89.3%**를 회복했습니다 (기저 대비).
  • DAiSEE($K=3$) 에서 망각된 모델은 오라클 이득의 **92.5%**를 회복했습니다.
• 효율성: 망각 업데이트는 전체 오라클 재훈련의 약 4 분의 1에 해당하는 계산 비용이 소요되었습니다 (상대적 벽시계 비용은 재훈련의 ~0.97×–0.98×에 비해 ~0.22×–0.26×).
• 간단한 방법과의 비교: "단순 제거 + 짧은 파인튜닝" 접근법은 제안된 망각 방법보다 현저히 낮은 성능을 보였으며, 오라클 이득의 36.7%(EngageNet) 및 23.3%(DAiSEE) 만 회복했습니다.
• 망각 집합 크기에 대한 민감도:
  • 일반적으로 $K=1$에서 $K=3$으로 갈수록 성능이 향상되어, 유해함이 단일 이상치에 집중된 것이 아니라 소수의 피험자 하위 집합에 분포되어 있음을 시사합니다.
  • $K=5$에서는 이득이 포화되거나 감소하기 시작하여, "유해한 핵심"을 넘어 너무 많은 피험자를 제거하면 유용한 훈련 변동성이 손실될 수 있음을 나타냅니다.
  • 오라클 격차 회복 (OGR) 은 중간 설정인 $K=3$에서 가장 높았으며, 이는 근사 망각이 특정 소규모 감사된 하위 집합을 대상으로 할 때 가장 효과적임을 시사합니다.

중요성 및 주장

이 논문은 겸손하고 실용적인 범위를 유지합니다. 정확한 또는 인증된 망각을 제공하거나 새로운 참여 백본을 제안하지 않습니다. 대신, 그 중요성은 다음을 입증하는 데 있습니다:

1. 사후 수정의 타당성: 근사 피험자 수준 망각은 노이즈가 있는 참여 데이터에 대한 저비용 수정 메커니즘으로 작용할 수 있으며, 전체 재훈련의 상당 부분의 이득을 회복할 수 있습니다.
2. 오라클 기준의 중요성: 유지된 데이터로 재훈련된 오라클에 대한 망각 평가를 수행하는 것은 유용한 정화와 단순한 모델 교란을 구별하는 데 필수적입니다.
3. 정서 의존성: 이 방법의 효과는 피험자 선택의 품질과 망각 집합의 크기에 크게 의존합니다. 이는 단조로운 가지치기 전략보다는 유해한 피험자의 소규모 식별된 하위 집합에 대한 표적 수정으로 가장 잘 작동합니다.

저자들은 이 방법이 모든 데이터셋이나 아키텍처에 대한 만능 해결책은 아니지만, 감독이 노이즈가 있고 피험자별로 조직되어 있을 때 훈련된 참여 모델을 수정하기 위한 타당한 프레임워크를 제공한다고 결론지었습니다.