Riepilogo Tecnico: PriorNet – Stima dell'Impegno Guidata da Priori da Video Volto

1. Enunciato del Problema

Stimare l'impegno dell'utente da video del volto è un compito critico per applicazioni come l'analisi dell'apprendimento online, le riunioni virtuali e l'interazione uomo-robot. Tuttavia, il compito affronta tre sfide persistenti in condizioni pratiche:

1. Evidenza Facciale Incompleta: Nei flussi video del mondo reale, gli utenti spesso distolgono lo sguardo, ruotano la testa o escono parzialmente dall'inquadratura. Le pipeline convenzionali trattano tipicamente questi eventi di "volto mancante" come fallimenti del pre-processing o corruzioni fastidiose da scartare, perdendo segnali potenzialmente significativi dal punto di vista comportamentale (ad esempio, l'evitamento dello sguardo).
2. Scarsità di Dati e Overfitting: I benchmark per l'impegno sono modesti nelle dimensioni rispetto ai moderni backbones video. Gli approcci standard si affidano spesso al fine-tuning completo o all'estrazione semplice di caratteristiche, il che comporta il rischio di overfitting o di sovrascrittura di rappresentazioni pre-addestrate robuste.
3. Etichette Soggettive e Ambigue: Le annotazioni dell'impegno sono spesso grossolane, soggettive e dipendenti dal protocollo. Gli obiettivi di classificazione standard non riescono a modellare adeguatamente l'ambiguità e l'incertezza intrinseche in queste etichette.

Il paper sostiene che la robustezza in questo dominio è meglio ottenuta iniettando esplicitamente priori rilevanti per il compito in fasi complementari della pipeline, piuttosto che affidarsi esclusivamente alla scalatura dell'architettura del modello o sperando che la robustezza emerga implicitamente.

2. Metodologia: Il Framework PriorNet

PriorNet è un framework unificato che inietta priori in tre fasi specifiche: pre-processing, adattamento del modello e progettazione dell'obiettivo.

2.1 Pre-processing: Modellazione Esplicita degli Eventi di Volto Mancante

Invece di scartare i fotogrammi in cui il rilevamento del volto fallisce, PriorNet converte questi fallimenti in segnalatori di fotogrammi zero espliciti.

• Meccanismo: Il video viene campionato in una sequenza di lunghezza fissa (ad esempio, 16 fotogrammi). Se un rilevatore di volti (OpenCV SSD con ResNet-10) non rileva un volto in un fotogramma campionato, quel fotogramma viene sostituito con un tensore tutto zero ($0_{224\times224\times3}$) invece di essere rimosso.
• Razionale: Questo preserva la struttura temporale della sequenza di input. Il modello impara se la visibilità facciale mancante (causata da distrazione dello sguardo, rotazione della testa o occlusione) è un segnale comportamentale informativo per l'impegno, invece di trattarlo come un vuoto nei dati.

2.2 Adattamento del Modello: Adattamento a Basso Rango Guidato da Priori (Prior-LoRA)

Per adattare un potente backbone pre-addestrato al compito specifico di stima dell'impegno senza overfittare su piccoli dataset, PriorNet impiega Prior-LoRA.

• Backbone: Il framework utilizza SVFAP (Self-supervised Video Facial Affect Perceiver), un backbone pre-addestrato sulle dinamiche affettive dei video facciali tramite masked autoencoding.
• Meccanismo: I pesi di SVFAP vengono mantenuti congelati. Vengono inseriti aggiornamenti residui a basso rango addestrabili ($\Delta W$) nelle proiezioni di query, chiave e valore di selezionati livelli di self-attention.
• Efficienza: Questo approccio specializza le rappresentazioni spazio-temporali per l'impegno con meno dell'1% dei parametri del backbone addestrabili, preservando le priori affettive pre-addestrate mentre ci si adatta al compito specifico.

2.3 Progettazione dell'Obiettivo: Apprendimento Consapevole dell'Incertezza

Per gestire l'ambiguità delle etichette di impegno, PriorNet utilizza una funzione di perdita composita che combina l'apprendimento evidenziale con un ripesaggio ponderato dall'incertezza.

• Termine Evidenziale Dirichlet: Il modello produce evidenza ($e_i$) per ogni classe, parametrizzando una distribuzione Dirichlet. Questo permette al modello di rappresentare sia la preferenza di classe che l'incertezza predittiva all'interno di un framework deterministico. La perdita include un termine dati e un regolarizzatore KL-divergenza.
• Termine Simile al Focal Ponderato dall'Incertezza: Per prevenire un apprendimento troppo sicuro su campioni ambigui, l'obiettivo assegna pesi di ottimizzazione più alti ai campioni con bassa evidenza totale (alta incertezza). Il fattore di modulazione è dinamico, basato sull'incertezza del campione piuttosto che su un iperparametro fisso.
• Obiettivo Combinato: La perdita finale combina il termine evidenziale, il termine ponderato dall'incertezza e un termine ausiliario di cross-entropy a etichette dure per la stabilità.

3. Contributi Chiave

Il paper delinea cinque contributi principali:

1. Framework di Robustezza Guidato da Priori: Un approccio unificato che inietta priori a livello di pre-processing, adattamento e obiettivo.
2. Modellazione Esplicita del Volto Mancante: Conversione dei fallimenti di rilevamento in segnalatori di fotogrammi zero per trattare l'assenza come evidenza informativa.
3. Specializzazione Efficiente in Parametri: Introduzione di Prior-LoRA per adattare SVFAP con un numero minimo di parametri addestrabili (<1%).
4. Apprendimento Consapevole dell'Incertezza: Un obiettivo evidenziale Dirichlet e ponderato dall'incertezza progettato per supervisioni ambigue e soggettive.
5. Validazione Cross-Dataset: Miglioramenti coerenti su quattro benchmark eterogenei (EngageNet, DAiSEE, DREAMS, PAFE) e ablazioni a livello di componente.

4. Risultati Sperimentali

PriorNet è stato valutato su quattro dataset utilizzando i loro protocolli di valutazione nativi.

• EngageNet: PriorNet ha raggiunto un'accuratezza del 73,58%, superando il risultato precedente più forte (Ordinal ST-GCN al 71,24%) di 2,34 punti percentuali.
• DAiSEE: PriorNet ha raggiunto un'accuratezza del 69,06%, superando il migliore precedente elencato (67,48%) di 1,58 punti percentuali.
• DREAMS: PriorNet ha raggiunto un F1 ponderato di 0,515, un miglioramento sostanziale rispetto al migliore precedente (0,434).
• PAFE: PriorNet ha raggiunto un F1 ponderato di 0,780, superando il più forte precedente (0,740) di 0,040.

Studi di Ablazione:
Le ablazioni dei componenti su EngageNet e DAiSEE hanno rivelato che tutti e tre i componenti proposti contribuiscono positivamente.

• I segnalatori di fotogrammi zero hanno fornito il singolo guadagno più grande per componente (ad esempio, +2,24% su EngageNet), confermando che preservare gli eventi di volto mancante è critico.
• Prior-LoRA e l'obiettivo avanzato hanno fornito miglioramenti più piccoli ma coerenti.
• Il modello completo (che combina tutti e tre) ha prodotto le prestazioni più elevate, dimostrando che i guadagni derivano dall'interazione complementare di queste priori piuttosto che da una singola modifica isolata.
• Analisi Diagnostica: Ulteriore analisi ha mostrato che il beneficio dei segnalatori di fotogrammi zero aumenta all'aumentare del tasso di fallimenti del rilevamento del volto, fornendo i guadagni più significativi negli scenari ad alta assenza (+7,1% di accuratezza nel gruppo ad alta assenza).

5. Significato e Affermazioni

Il paper afferma che l'iniezione esplicita di priori è un principio di progettazione più efficace per la stima dell'impegno da video del volto rispetto alla sola scalatura dell'architettura. Nello specifico, PriorNet dimostra che:

• La robustezza può essere migliorata trattando i dati "mancanti" come un segnale piuttosto che come rumore.
• L'adattamento efficiente in parametri (Prior-LoRA) permette a potenti backbones pre-addestrati di specializzarsi per l'impegno senza overfittare.
• Gli obiettivi consapevoli dell'incertezza sono necessari per gestire la soggettività intrinseca delle etichette di impegno.

Limitazioni e Modestia:
Gli autori dichiarano esplicitamente che le loro scoperte sono delimitate da:

• Dipendenza dal Rilevatore: Il meccanismo del segnalatore dipende dal comportamento del rilevatore di volti; i guadagni possono riflettere sia segnali comportamentali che pattern di fallimento del rilevatore.
• Eterogeneità del Protocollo: I quattro dataset differiscono significativamente nelle etichette e nelle suddivisioni, quindi i risultati rappresentano un miglioramento direzionale coerente attraverso impostazioni diverse piuttosto che una singola classifica unificata.
• Segnale di Supervisione: La modellazione dell'incertezza viene eseguita sotto supervisione a etichette dure piuttosto che su distribuzioni complete di voto degli annotatori.

Il paper conclude che, sebbene la stima dell'impegno non sia "risolta", PriorNet fornisce un framework metodologicamente coerente per migliorare la robustezza in condizioni di evidenza visiva mancante, budget di adattamento limitati e annotazione soggettiva.