Sintesi Tecnica: Dalle Unità d'Azione alle Emozioni

Problematica

Il Riconoscimento delle Espressioni Facciali (FER) rimane limitato da sfide pratiche quali le variazioni di illuminazione, le differenze di posa e la scarsità di dati annotati. Gli esistenti modelli di deep learning soffrono spesso di una scarsa adattabilità cross-domain, overfitting e insufficiente interpretabilità. Inoltre, sebbene i Modelli Linguistici Multimodali Grandi (MLLM) offrano un avanzato apprendimento semantico, essi mancano frequentemente della sensibilità necessaria per percepire sottili deformazioni geometriche facciali e micro-espressioni. Il tradizionale fine-tuning end-to-end degli MLLM su segnali "video-label" spesso trascura le rappresentazioni intermedie a grana fine (Unità d'Azione o Action Units - AU) che sottostanno alle espressioni emotive, portando a catene di ragionamento subottimali.

Metodologia

Il documento propone un Framework di Two-Stage Fine-Tuning con Fusione a Livello di Decisione progettato per colmare il divario tra la percezione facciale a basso livello e la semantica emotiva di alto livello.

1. Two-Stage Progressive Fine-Tuning

La strategia centrale decompone il FER in due fasi di apprendimento sequenziali per ottenere la "tripla decuplicazione": percezione dal ragionamento, conoscenza domain-agnostic dalla conoscenza domain-specific, e osservazioni fisiche dalle etichette emotive.

• Fase 1: AU-Detection Fine-Tuning (Percezione)

  • Dati: Utilizza il dataset CAS(ME)³, che fornisce annotazioni delle Action Unit (AU) a livello di frame.
  • Task: Riformula il riconoscimento delle AU come un compito di Visual Question Answering (VQA). Al modello viene istruito di identificare le AU attive basandosi sull'input visivo, sfruttando la conoscenza pregressa del Facial Action Coding System (FACS).
  • Modello: Il modello multimodale Qwen3-VL-32B-Instruct viene sottoposto a fine-tuning tramite LoRA (Low-Rank Adaptation) per aggiornare solo un piccolo sottoinsieme di parametri (matrici Query e Value), preservando la conoscenza visivo-semantica pre-addestrata pur apprendendo il rilevamento delle AU.
  • Obiettivo: Stabilire capacità percettive robuste e domain-agnostic per i sottili micro-movimenti facciali.

• Fase 2: Expression Recognition Fine-Tuning (Ragionamento)

  • Dati: Si trasferisce al dataset FER-2013 (immagini statiche con etichette emotive ma senza annotazioni AU).
  • Task: Il modello, inizializzato con i pesi della Fase 1, viene ulteriormente perfezionato per mappare le combinazioni di AU rilevate alle categorie emotive. Il formato di output richiede che il modello ragioni dalle AU all'etichetta emotiva finale, mantenendo la struttura VQA.
  • Strategia: Solo i nuovi adattatori LoRA per il riconoscimento delle emozioni vengono ottimizzati; l'encoder visivo e gli adattatori della Fase 1 rimangono congelati per preservare la catena di ragionamento AU-emozione.

2. Decision-Level Fusion

Per affrontare i limiti dei puri modelli grandi nella percezione di deformazioni geometriche a grana fine, il framework integra il Qwen3-VL fine-tuned con OpenFace 3.0, un modello FER specializzato leggero basato su CNN.

• Meccanismo: Una interpolazione lineare pesata fonde le distribuzioni di probabilità ($P_{VLM}$ e $P_{OpenFace}$) dei due modelli:
  $$P_{final} = \alpha \cdot P_{OpenFace} + (1 - \alpha) \cdot P_{VLM}$$
• Razionale: OpenFace 3.0 fornisce sensibilità ai landmark facciali locali e alle caratteristiche geometriche, mentre l'MLLM fine-tuned offre comprensione semantica di alto livello e ragionamento contestuale.

Contributi Chiave

1. Validazione dei Baseline dei Grandi Modelli: Valutazione sistematica delle prestazioni zero-shot e few-shot di Qwen3-VL-32B-Instruct sul FER, stabilendo un forte baseline.
2. AU-Guided Two-Stage Fine-Tuning: Introduzione di un paradigma di curriculum learning in cui il modello apprende prima il rilevamento delle AU su CAS(ME)³ prima di mappare le emozioni su FER-2013. Ciò consente al modello di acquisire capacità di inferenza AU e di ragionare attraverso una catena interpretabile ("inferenza AU prima, predizione emozione poi").
3. Collaborazione tra Modelli Eterogenei: Dimostrazione della fattibilità della fusione a livello di decisione tra un grande modello multimodale e un piccolo modello specializzato (OpenFace 3.0), validando le loro forze complementari.
4. Prestazioni Empiriche Robuste: Dimostrazione che il framework proposto supera significativamente i baseline non fine-tuned e i modelli specializzati standalone, in particolare migliorando il recall per le classi minoritarie e potenziando l'interpretabilità.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul test set FER-2013 utilizzando metriche tra cui Accuratezza (ACC), Precision, Recall e F1-Score.

• Performance vs. Baseline:
  • Il Qwen3-VL Fine-tuned ha raggiunto un'accuratezza del 66,73%, un miglioramento di 8 punti percentuali rispetto al baseline non fine-tuned (58,73%).
  • Il Modello Fuso (Qwen3-VL + OpenFace 3.0) ha raggiunto un'accuratezza del 67,37%.
  • Rispetto alle tradizionali CNN, il modello fuso supera leggermente GoogLeNet (67,04%) ma resta dietro ResNet-50 (69,33%), VGG-16 (68,75%) e DenseNet (69,38%).
  • Nonostante non superi i modelli CNN specializzati ottimali nell'accuratezza complessiva, il modello fuso ha dimostrato una Precision Pesata (Weighted Precision) superiore (69,47%), comparabile a ResNet50 (69,84%).
• Vantaggi della Fusione:
  • Il modello fuso ha mostrato un miglioramento significativo nel Macro-Recall (62,71%) rispetto al puro modello grande (58,64%), indicando una migliore cattura delle classi minoritarie (es. disgusto, paura).
  • Rispetto a OpenFace 3.0 da solo (accuratezza 48,02%), il framework congiunto ha migliorato l'accuratezza di 19,35 punti percentuali (un miglioramento relativo del 40,3%).
• Interpretabilità: Il modello ha generato con successo spiegazioni in linguaggio naturale collegando specifiche attivazioni di AU (es. AU4, AU7) ai giudizi emotivi, fornendo una catena di ragionamento tracciabile assente nelle CNN "black-box".

Significato e Assertions

Il documento sostiene che la strategia di two-stage fine-tuning proposta estrae efficacemente caratteristiche discriminanti per le sottili deformazioni geometriche facciali e le espressioni a bassa intensità dai grandi modelli visivi, che tipicamente faticano con tali dettagli a grana fine.

Gli autori affermano che, sebbene i puri modelli visivi grandi possiedano una formidabile comprensione semantica di alto livello, essi presentano limiti intrinseci nella percezione delle sottili deformazioni facciali. Il metodo proposto affronta questo problema attraverso:

1. Potenziamento dell'Interpretabilità: L'uso delle AU come rappresentazioni intermedie permette output del modello tracciabili, aumentando la fiducia.
2. Miglioramento della Robustezza: La fusione a livello di decisione compensa la mancanza di prior spaziali a grana fine nei modelli grandi, aumentando significativamente le prestazioni sulle classi minoritarie e riducendo il bias verso le classi dominanti.
3. Nuova Via Percorsi: Lo studio offre un paradigma tecnico per costruire sistemi FER altamente robusti e interpretabili sfruttando i punti di forza complementari di MLLM e modelli geometrici specializzati, validato da risultati empirici che mostrano guadagni sostanziali rispetto all'inferenza standalone di uno qualsiasi dei due tipi di modello.

Gli autori concludono che, sebbene l'attuale accuratezza non abbia ancora superato le migliori CNN specializzate, il framework dimostra una chiara superiorità nella fiducia della predizione, nell'interpretabilità architettonica e nel potenziale di applicazioni sinergiche dei grandi modelli nell'informatica affettiva.