기술 요약: PriorNet – 얼굴 비디오를 통한 사전 지향적 참여도 추정

1. 문제 정의

얼굴 비디오에서 사용자의 참여도를 추정하는 것은 온라인 학습 분석, 가상 회의, 인간 - 로봇 상호작용과 같은 응용 분야에서 중요한 작업입니다. 그러나 실제 조건 하에서 이 작업은 세 가지 지속적인 과제에 직면해 있습니다:

1. 불완전한 얼굴 증거: 실제 세계의 비디오 스트림에서 사용자는 시선을 돌리거나, 머리를 회전시키거나, 프레임 밖으로 부분적으로 이동하는 경우가 많습니다. 기존 파이프라인은 이러한 "얼굴 누락" 이벤트를 전처리 실패나 제거해야 할 잡음으로 간주하여, 행동적으로 의미 있는 신호 (예: 시선 회피) 를 잃어버립니다.
2. 데이터 부족과 과적합: 참여도 벤치마크는 현대적인 비디오 백본에 비해 규모가 작습니다. 표준 접근 방식은 종종 전체 미세 조정 (full fine-tuning) 이나 단순한 특징 추출에 의존하는데, 이는 과적합이나 견고한 사전 학습된 표현의 덮어쓰기를 초래할 위험이 있습니다.
3. 주관적이고 모호한 레이블: 참여도 주석은 종종 거칠고, 주관적이며, 프로토콜에 의존적입니다. 표준 분류 목적 함수는 이러한 레이블에 내재된 모호성과 불확실성을 적절히 모델링하지 못합니다.

이 논문은 이 분야의 견고성은 모델 아키텍처의 확장에만 의존하거나 견고성이 암묵적으로 나타날 것을 기대하는 것보다, 파이프라인의 보완적 단계에서 작업 관련 사전 지식을 명시적으로 주입함으로써 더 잘 달성될 수 있다고 주장합니다.

2. 방법론: PriorNet 프레임워크

PriorNet 은 전처리, 모델 적응, 목적 함수 설계의 세 가지 특정 단계에서 사전 지식을 주입하는 통합 프레임워크입니다.

2.1 전처리: 얼굴 누락 사건의 명시적 모델링

얼굴 탐지가 실패하는 프레임을 폐기하는 대신, PriorNet 은 이러한 실패를 명시적인 제로 프레임 플레이스홀더로 변환합니다.

• 메커니즘: 비디오는 고정된 길이의 시퀀스 (예: 16 프레임) 로 샘플링됩니다. 얼굴 탐지기 (ResNet-10 을 탑재한 OpenCV SSD) 가 샘플링된 프레임에서 얼굴을 탐지하지 못하면, 해당 프레임은 제거되는 대신 모든 요소가 0 인 텐서 ($0_{224\times224\times3}$) 로 대체됩니다.
• 근거: 이는 입력 시퀀스의 시간적 구조를 보존합니다. 모델은 시선 분산, 머리 회전, 또는 가림으로 인한 얼굴 가시성 부재가 참여도에 대한 정보성 행동 단서인지 학습하며, 이를 데이터 결손으로 취급하지 않습니다.

2.2 모델 적응: 사전 지향적 저랭크 적응 (Prior-LoRA)

작은 데이터셋에서 과적합 없이 참여도 추정을 위한 강력한 사전 학습된 백본을 적응시키기 위해, PriorNet 은 Prior-LoRA를 사용합니다.

• 백본: 이 프레임워크는 마스킹 오토인코딩을 통해 얼굴 비디오 정서 역동성으로 사전 학습된 SVFAP(Self-supervised Video Facial Affect Perceiver) 를 백본으로 사용합니다.
• 메커니즘: SVFAP 가중치는 동결됩니다. 학습 가능한 저랭크 잔차 업데이트 ($\Delta W$) 가 선택된 자기 주의 (self-attention) 레이어의 쿼리, 키, 값 투영부에 삽입됩니다.
• 효율성: 이 접근 방식은 백본 파라미터의 1% 미만만 학습 가능하게 하여 참여도 위한 시공간 표현을 전문화하면서도, 사전 학습된 정서적 사전 지식을 유지하고 특정 작업에 적응합니다.

2.3 목적 함수 설계: 불확실성 인식 학습

참여도 레이블의 모호성을 처리하기 위해 PriorNet 은 증거 학습과 불확실성 가중 재가중치를 결합한 복합 손실 함수를 활용합니다.

• 디리클레 - 증거 항: 모델은 각 클래스에 대한 증거 ($e_i$) 를 출력하여 디리클레 분포를 매개화합니다. 이를 통해 모델은 결정론적 프레임워크 내에서 클래스 선호도와 예측 불확실성을 모두 표현할 수 있습니다. 손실 함수는 데이터 항과 KL-발산 정규화 항을 포함합니다.
• 불확실성 가중 포칼 - 유사 항: 모호한 샘플에 대한 과도한 확신 학습을 방지하기 위해, 목적 함수는 총 증거가 낮은 (불확실성이 높은) 샘플에 더 높은 최적화 가중치를 할당합니다. 변조 인자는 고정된 하이퍼파라미터가 아닌 샘플의 불확실성에 기반하여 동적으로 결정됩니다.
• 결합 목적 함수: 최종 손실은 증거 항, 불확실성 가중 항, 그리고 안정성을 위한 보조 하드 레이블 교차 엔트로피 항을 결합합니다.

3. 주요 기여

논문은 다섯 가지 주요 기여를 제시합니다:

1. 사전 지향적 견고성 프레임워크: 전처리, 적응, 목적 함수 수준에서 사전 지식을 주입하는 통합 접근법.
2. 명시적 얼굴 누락 모델링: 탐지 실패를 제로 프레임 플레이스홀더로 변환하여 누락을 정보성 증거로 취급.
3. 파라미터 효율적 전문화: 최소한의 학습 가능 파라미터 (<1%) 로 SVFAP 를 적응시키기 위한 Prior-LoRA 도입.
4. 불확실성 인식 학습: 모호하고 주관적인 감독을 위해 설계된 디리클레 - 증거 및 불확실성 가중 목적 함수.
5. 크로스 - 데이터셋 검증: 네 가지 이질적인 벤치마크 (EngageNet, DAiSEE, DREAMS, PAFE) 와 구성 요소 수준 추상화를 통한 일관된 개선.

4. 실험 결과

PriorNet 은 네 가지 데이터셋에서 네이티브 평가 프로토콜을 사용하여 평가되었습니다.

• EngageNet: PriorNet 은 **73.58%**의 정확도를 달성하여 가장 강력한 이전 결과 (71.24% 의 Ordinal ST-GCN) 를 2.34 퍼센트 포인트 상회했습니다.
• DAiSEE: PriorNet 은 **69.06%**의 정확도에 도달하여 가장 잘 나열된 이전 결과 (67.48%) 를 1.58 퍼센트 포인트 능가했습니다.
• DREAMS: PriorNet 은 0.515의 가중 F1 을 달성하여 가장 좋은 이전 결과 (0.434) 보다 상당한 개선을 보였습니다.
• PAFE: PriorNet 은 0.780의 가중 F1 에 도달하여 가장 강력한 이전 결과 (0.740) 를 0.040 초과했습니다.

추상화 연구:
EngageNet 과 DAiSEE 에 대한 구성 요소 추상화는 제안된 세 가지 구성 요소 모두 긍정적으로 기여함을 밝혔습니다.

• 제로 프레임 플레이스홀더는 가장 큰 단일 구성 요소 이득 (예: EngageNet 에서 +2.24%) 을 제공하여, 얼굴 누락 사건을 보존하는 것이 중요함을 확인시켰습니다.
• Prior-LoRA와 고급 목적 함수는 작지만 일관된 개선을 제공했습니다.
• 전체 모델 (세 가지를 모두 결합) 은 가장 높은 성능을 발휘하여, 이득이 단일 고립된 수정이 아닌 이러한 사전 지식들의 보완적 상호작용에서 비롯됨을 입증했습니다.
• 진단 분석: 추가 분석은 제로 프레임 플레이스홀더의 이득이 얼굴 탐지 실패율이 증가함에 따라 커지며, 고 - 누락 시나리오에서 가장 큰 이득 (+고 - 누락 그룹에서 정확도 7.1%) 을 제공함을 보여주었습니다.

5. 중요성 및 주장

이 논문은 명시적 사전 지식 주입이 아키텍처 확장 단독보다 얼굴 - 비디오 참여도 추정을 위한 더 효과적인 설계 원칙이라고 주장합니다. 구체적으로 PriorNet 은 다음을 입증합니다:

• "누락된" 데이터를 잡음이 아닌 신호로 취급함으로써 견고성을 개선할 수 있습니다.
• 파라미터 효율적 적응 (Prior-LoRA) 은 과적합 없이 강력한 사전 학습된 백본이 참여도에 전문화되도록 합니다.
• 불확실성 인식 목적 함수는 참여도 레이블의 내재적 주관성을 처리하는 데 필수적입니다.

한계와 겸손:
저자들은 그들의 발견이 다음에 의해 제한됨을 명시적으로 밝힙니다:

• 탐지기 의존성: 플레이스홀더 메커니즘은 얼굴 탐지기의 행동에 의존합니다. 이득은 행동적 단서와 탐지기 실패 패턴 모두를 반영할 수 있습니다.
• 프로토콜 이질성: 네 가지 데이터셋은 레이블과 분할에서 현저하게 다르므로, 결과는 단일 통합 리더보드가 아닌 다양한 설정 전반에 걸친 일관된 방향성 개선을 나타냅니다.
• 감독 신호: 불확실성 모델링은 전체 주석자 투표 분포가 아닌 하드 레이블 감독 하에서 수행됩니다.

논문은 참여도 추정이 "해결된" 문제는 아니지만, PriorNet 은 누락된 시각적 증거, 제한된 적응 예산, 그리고 주관적 주석 조건 하에서 견고성을 개선하기 위한 방법론적으로 일관된 프레임워크를 제공한다고 결론지었습니다.