BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy

Titolo del Paper

BROTHER: Riconoscimento Comportamentale Ottimizzato attraverso Regularizzazione di Ensemble Eterogenei per Ambivalenza ed Esitazione.

1. Il Problema

Il riconoscimento degli stati comportamentali complessi come l'Ambivalenza e l'Esitazione (A/H) in contesti video naturali rappresenta una sfida significativa nell'ambito dell'informatica affettiva.

• Natura del problema: A differenza delle emozioni di base (es. gioia, rabbia), l'A/H si manifesta come un conflitto interiore sottile e multimodale, situandosi in una "zona grigia" tra prospettive positive e negative.
• Limitazioni attuali: I sistemi standard di riconoscimento delle emozioni falliscono spesso perché tentano di forzare ogni input in categorie fisse, ignorando le contraddizioni e le variazioni temporali che sono i veri indicatori di uno stato esitante o ambivalente.
• Obiettivo: Sviluppare un sistema capace di catturare queste dinamiche profonde analizzando espressioni visive, tono vocale e scelta lessicale nel tempo, senza imporre categorie emotive rigide.

2. Metodologia

L'approccio proposto si basa su una pipeline multimodale altamente regolarizzata che integra l'estrazione di caratteristiche avanzata con un ensemble eterogeneo ottimizzato.

A. Definizione delle Modalità (4 Modalità)

Il sistema estrae caratteristiche da quattro flussi distinti:

1. Visivo: Utilizza SigLip2 (un modello stato dell'arte per l'embedding di immagini) dopo il rilevamento e l'allineamento del volto con RetinaFace. Le caratteristiche temporali sono preservate calcolando media, prima e seconda derivata delle embedding, riducendo poi la dimensionalità con la PCA.
2. Audio: Utilizza HuBERT per estrarre caratteristiche acustiche non linguistiche (tono, ritmo) in chunk di un secondo, normalizzando le magnitudini delle embedding.
3. Testuale: Utilizza F2LLM (ottimizzato per embedding testuali) su trascrizioni complete per catturare il contesto globale e le sfumature colloquiali.
4. Statistica (Quarta Modalità Innovativa): Una modalità interamente composta da caratteristiche statistiche derivate dalle prime tre. Include:
   • Statistiche Visive/Audio: Validità del frame, rapporto di validità, similarità media, energia RMS, centroidi spettrali, tasso di attraversamento dello zero, silenzio e pitch.
   • Statistiche Testuali Comportamentali: Analisi specifica per rilevare linguaggio esitante (parole di riempimento, correzioni, calcoli di similarità coseno per frase) e linguaggio ambivalente (analisi del contesto globale con prompt strutturati per identificare polarità neutre, negative, positive o miste).

B. Comitato di Classificazione Eterogeneo

Invece di un singolo modello, il sistema addestra un "comitato" di classificatori:

• Combinazioni: Vengono generate tutte le 15 possibili combinazioni delle 4 modalità ($2^4 - 1$).
• Architetture: Per ogni combinazione, vengono addestrati tre tipi di modelli:
  1. Multi-Layer Perceptron (MLP) con rumore gaussiano e normalizzazione.
  2. Random Forest (RF) tramite LightGBM.
  3. Gradient Boosted Decision Trees (GBDT) tramite LightGBM.
• Selezione: Per ogni combinazione, viene selezionato solo il modello con la minima perdita di Cross-Entropia Binaria (BCE) sul set di validazione, privilegiando modelli ben calibrati piuttosto che semplici classificatori a soglia fissa.

C. Ensemble di Voto Rigido con Particle Swarm Optimization (PSO)

Per fondere le previsioni dei 15 modelli selezionati, viene utilizzato un algoritmo di ottimizzazione:

• Meccanismo: Voto rigido (hard-voting) invece che soft. Ogni modello vota 0 o 1 in base a una soglia ottimizzata.
• Ottimizzazione: Il Particle Swarm Optimization (PSO) cerca i pesi ottimali per il voto.
• Funzione di Fitness e Regularizzazione: La funzione di fitness massimizza la media armonica tra F1 di training e validazione, ma applica una penalità quadratica basata sul divario tra training e validazione ($\lambda$).
  • Formula: $Fitness = \text{MediaArmonica}(F1_{train}, F1_{val}) - (\lambda \cdot |F1_{train} - F1_{val}|)^2$
  • Questo meccanismo penalizza attivamente l'overfitting, costringendo l'ensemble a generalizzare su nuovi dati.

3. Risultati Chiave

La valutazione è stata condotta sul dataset BAH (Behavioural Ambivalence/Hesitancy) della competizione ABAW 10.

• Performance dei Modelli Singoli:

  • La modalità Testuale si è rivelata il predittore indipendente più forte (F1 Macro di validazione: 0.7275).
  • La modalità Visiva da sola ha mostrato prestazioni scarse (F1: 0.4704), confermando la difficoltà di rilevare conflitti interni solo dal volto.
  • Gli algoritmi Random Forest (RF) hanno dominato nelle combinazioni multimodali complesse, dimostrando una migliore capacità di gestire spazi di feature eterogenei senza overfittare.

• Performance dell'Ensemble PSO:

  • L'ottimizzazione con penalità $\lambda = 0.2$ (20%) ha prodotto i migliori risultati sul set di test non visto.
  • Punteggio F1 Macro sul Test: 0.7465.
  • Punteggio F1 Pesato sul Test: 0.7559.
  • Validazione: F1 Macro di 0.7355 (con $\lambda=0.2$), dimostrando una forte capacità di generalizzazione.

• Analisi dei Pesi:

  • Con una penalità alta ($\lambda=0.8$), il PSO ha azionato i pesi di 9 modelli su 15, concentrandosi solo sulle 6 configurazioni più affidabili.
  • La modalità Testuale e la combinazione "Testo+Video+Statistiche" hanno mantenuto i pesi più alti, confermando che l'ensemble ha imparato a sopprimere i classificatori ridondanti.

4. Contributi Principali

1. Nuova Modalità Statistica: Introduzione di una quarta modalità basata su caratteristiche statistiche e linguistiche comportamentali (es. esitazione localizzata, ambivalenza contestuale) progettata specificamente per catturare le dinamiche temporali dell'A/H.
2. Strategia di Selezione del Modello: Un approccio sistematico per selezionare il miglior classificatore (MLP, RF o GBDT) per ogni sottoinsieme di modalità basato sulla calibrazione (BCE) piuttosto che sulla sola accuratezza.
3. Regularizzazione tramite PSO: Implementazione di un ensemble di voto rigido ottimizzato con PSO, dove la funzione di fitness include una penalità dinamica per il divario train-validation, prevenendo efficacemente l'overfitting su dati complessi e rumorosi.
4. Approccio Multimodale Integrato: Dimostrazione che trattare l'ambivalenza come un conflitto multimodale temporale, piuttosto che come un'emozione statica, porta a risultati superiori.

5. Significato e Implicazioni

Il paper dimostra che l'analisi comportamentale "in-the-wild" (nel mondo reale) richiede un approccio flessibile che vada oltre le categorie emotive standard.

• Robustezza: L'uso di un comitato eterogeneo pesato dinamicamente offre un framework robusto per analizzare comportamenti umani complessi in ambienti non controllati.
• Generalizzazione: La metodologia proposta, in particolare la penalizzazione del divario di generalizzazione durante l'ottimizzazione, è un modello efficace per evitare che i sistemi di IA memorizzino il rumore dei dati di addestramento.
• Applicabilità: I risultati (F1 ~0.7465) stabiliscono un nuovo stato dell'arte per il riconoscimento di ambivalenza ed esitazione, con potenziali applicazioni nell'analisi della salute mentale, nel coaching comportamentale e nell'interazione uomo-macchina più empatica.