Riepilogo Tecnico: SERUM – Estrazione e Raffinamento degli Stati per la Modellazione dell'Utente

Definizione del Problema

Gli assistenti IA proattivi e personalizzati richiedono modelli strutturati dell'intento e del workflow dell'utente. Tuttavia, la costruzione di questi modelli a partire da video egocentrici grezzi e non strutturati rimane una sfida significativa. Gli approcci esistenti affrontano due limitazioni primarie:

1. Dipendenza da tassonomie predefinite: I metodi tradizionali di riconoscimento delle attività (ad es. su EPIC-KITCHENS o Ego4D) si affidano a tassonomie fisse e create a mano, fallendo nel gestire video aperti e non strutturati.
2. Limitazioni della annotazione a passaggio singolo: Sebbene i Modelli Vision-Language (VLM) possano annotare i fotogrammi video, l'inferenza a passaggio singolo soffre di allucinazione e conflazione temporale. Senza il contesto circostante, i VLM spesso collassano attività semanticamente distinte in etichette generiche o non riescono a inferire l'intento sottostante di un'azione, poiché il significato di un fotogramma specifico diventa chiaro solo retrospettivamente.

Il process mining offre modelli comportamentali strutturati, ma assume l'esistenza di log di eventi puliti con tipi di eventi noti, il che non si applica al video grezzo.

Metodologia: Il Framework SERUM

SERUM (State Extraction and Refinement for User Modeling) è un framework multi-passaggio progettato per estrarre modelli comportamentali interpretabili e strutturati direttamente da video di schermata egocentrici non strutturati senza annotazione manuale o ontologie predefinite.

Architettura Core

Il framework opera su due livelli complementari:

• Azioni ($a_t$): Comportamenti di livello intermedio, osservabili (ad es. "clonare un repository git").
• Intenti ($i_t$): Stati latenti, orientati agli obiettivi, inferiti dalle sequenze di azioni (ad es. "configurare un ambiente di sviluppo").

Il sistema utilizza una pipeline alternata multi-passaggio utilizzando il modello Qwen3-VL-8B-Instruct:

1. Passaggi Alternati: Il sistema esegue passaggi in numero dispari per annotare le azioni e passaggi in numero pari per inferire gli intenti.
2. Fondamento Contestuale:
   • Contesto Temporale: Una finestra scorrevole di $w=20$ fotogrammi vicini viene codificata come Run-Length Encoding (RLE) per fornire un contesto locale denso senza superare i limiti di token.
   • Riassunto Inter-Passaggio: Un riassunto in linguaggio naturale dell'intero video (generato tramite map-reduce per video lunghi) propaga il contesto narrativo globale in avanti, agendo come memoria episodica compressa.
3. Raffinamento Iterativo: Ogni passaggio condiziona il proprio output sulle etichette generate nel passaggio precedente. Questo ciclo di feedback permette al modello di rivedere le valutazioni precedenti man mano che il contesto si accumula, guidando il sistema verso un vocabolario auto-coerente.

Normalizzazione delle Etichette

Per affrontare il problema dell' "open-vocabulary" dove l'annotazione a testo libero produce sinonimi superficiali (ad es. "risciacquare la verdura" vs "pulire le verdure"), SERUM impiega un passaggio di normalizzazione delle etichette:

• Fusione Semantica: La similarità del coseno viene calcolata utilizzando gli embedding di Sentence-BERT.
• Soglia: Una soglia calibrata dall'uomo ($t^*=0.43$) fonde le etichette sinonime. Questo passaggio riduce la dimensione del vocabolario di circa il 46% in media ed è trattato come un componente centrale del design piuttosto che come una correzione post-hoc.

Output: Modelli Utente

L'output finale consiste in due Modelli di Markov del Primo Ordine (Modelli Utente):

• Un modello sugli stati delle azioni canonicalizzate.
• Un modello sugli stati degli intenti canonicalizzati.
  Questi modelli sono grafi diretti pesati dove gli archi rappresentano probabilità di transizione, catturando la struttura probabilistica del comportamento dell'utente per supportare la predizione dello stato successivo.

Contributi Chiave e Risultati

Gli autori hanno valutato SERUM su 61 video egocentrici attraverso quattro domini: coding, cucina, attività fisiche e vita quotidiana (totale 11.125 fotogrammi).

1. Equilibrio Schematico (RQ1)

Il processo di annotazione iterativo converge verso un vocabolario di stato stabile.

• Convergenza: La dimensione del vocabolario grezzo si stabilizza al Passaggio 8, un fenomeno che gli autori chiamano equilibrio schematico.
• Impatto della Normalizzazione: La normalizzazione delle etichette comprime ulteriormente il vocabolario a una dimensione stabile di circa 10 stati, riducendo significativamente la sparsità nelle matrici di transizione.

2. Prestazioni Predittive (RQ2)

I modelli di Markov risultanti sono stati valutati sulla predizione dello stato successivo (addestramento sui primi 60% dei fotogrammi, test sul restante 40%).

• Superiorità rispetto ai Baseline: I modelli di Markov normalizzati superano significativamente i baseline basati sulla frequenza (Majority, Weighted Random, Uniform) sia in accuratezza Top-1 che in Perplessità.
  • Predizione Azione: Il Markov normalizzato ha raggiunto il 48,5% di accuratezza Top-1 rispetto al 37,6% del baseline Majority.
  • Predizione Intento: Il Markov normalizzato ha raggiunto il 58,2% di accuratezza Top-1 rispetto al 29,9% del baseline Majority.
• Varianza di Dominio: I maggiori guadagni sono stati osservati in compiti strutturati come il coding (76,4% di accuratezza azione normalizzata), riflettendo le strutture di transizione ripetitive inerenti a tali workflow.

3. Valutazione Umana (RQ3)

Annotatori umani con competenza nel dominio hanno valutato la qualità delle etichette.

• Accuratezza: L'88,3% delle etichette dell'ultimo passaggio è stato valutato come accurato (Krippendorff's $\alpha = 0.40$).
• Preferenza: Gli annotatori hanno preferito le etichette dell'ultimo passaggio rispetto a quelle del primo passaggio l'82,8% delle volte, indicando che il raffinamento iterativo produce etichette sensibilmente migliori.
• Intento vs Azione: Le etichette di intento sono state leggermente più accurate (90%) rispetto alle etichette di azione (86,7%), suggerendo che l'inferenza consapevole del contesto disambigua efficacemente gli obiettivi.

4. Studi di Ablazione (RQ4)

• Normalizzazione delle Etichette: La fusione dei sinonimi ha migliorato l'accuratezza Top-1 di Markov di +18,2 punti percentuali e ha ridotto la perplessità di 14,9 punti.
• Passaggi di Intento: Rimuovere l'inferenza dell'intento (pipeline di sola attività) ha causato il collasso delle etichette di attività in stati dominanti non informativi (ad es. "typing_on_keyboard" per il 92–96% dei fotogrammi di coding). Gli annotatori hanno preferito la pipeline completa (attività + intento) il 73% delle volte.
• Finestra Temporale: Aumentare la dimensione della finestra di contesto ($w=20$) ha migliorato il divario tra i modelli Markov e i baseline Majority, confermando che il contesto temporale è critico per la qualità del modello.

Significato e Rivendicazioni

L'articolo sostiene che SERUM sia, a conoscenza degli autori, il primo sistema in grado di produrre modelli di processo interpretabili (sia azione che intento) direttamente da video di schermata egocentrici non strutturati senza:

• Annotazione manuale.
• Tassonomie predefinite.
• Esistenti log di eventi.

Gli autori posizionano SERUM come una validazione precoce per applicazioni downstream di assistenza agente proattiva e personalizzazione, offrendo un percorso scalabile per la modellazione dell'utente "nel mondo reale". Riconoscono limitazioni, come il costo computazionale della pipeline multi-passaggio (sebbene front-loaded) e la sfida della valutazione split-half su video lineari, ma enfatizzano la capacità del sistema di autocorreggere le allucinazioni attraverso il contesto iterativo e il consenso.

Il lavoro dimostra che l'annotazione VLM iterativa e consapevole del contesto può sopprimere le allucinazioni e la conflazione temporale, convergendo verso una tassonomia comportamentale stabile e validata dall'uomo che consente la modellazione predittiva dei workflow dell'utente.