Riepilogo Tecnico: EgoAction per il Rilevamento di Azioni in EPIC-KITCHENS

1. Definizione del Problema

Il documento affronta la sfida del Rilevamento di Azioni in EPIC-KITCHENS-100, che richiede ai modelli di localizzare i tempi di inizio e fine delle istanze di azione in video egocentrici lunghi e non tagliati, assegnando un'etichetta composita costituita da un verbo e un sostantivo (ad esempio, "aprire frigo").

La difficoltà principale risiede nell'accoppiamento tra localizzazione temporale e semantica composita. Una previsione è corretta solo se l'Intersezione sopra Unione temporale (tIoU) supera una soglia e la coppia verbo-sostantivo è accurata. Gli autori identificano tre colli di bottiglia specifici in questo contesto:

• C1: Ambiguità dei Confini: Il tremore della telecamera egocentrica e le fasi di interazione brevi causano spostamenti temporali nelle proposte, anche quando la classificazione è corretta.
• C2: Degenerazione Specifica del Flusso: Il flusso dei sostantivi spesso fallisce a causa di occlusione o disordine, mentre il flusso dei verbi fallisce a causa di movimenti sottili o ritardati. Una media aritmetica fissa dei confini da entrambi i flussi amplifica gli errori quando un flusso è inaffidabile.
• C3: Sparsità Composita: Con 97 verbi e 300 sostantivi, lo spazio delle azioni è vasto ma sparso. Il sistema deve mantenere candidati ricchi senza esplosione combinatoria prima della Soppressione Non Massima (NMS).

2. Metodologia: EgoAction

Il sistema proposto, EgoAction (Composizione di Azioni Egocentriche con fusione temporale consapevole dell'affidabilità), è una pipeline di rilevamento unificata e disaccoppiata. Evita di forzare sostantivi e verbi in un singolo rilevatore congiunto, trattandoli invece come flussi complementari con affidabilità di localizzazione variabile.

2.1. Estrazione delle Caratteristiche

La pipeline utilizza caratteristiche VideoMAE-L pre-estratte, perfezionate su EPIC-KITCHENS. Le caratteristiche sono estratte da video a 30 FPS con una lunghezza di clip di 16 e un passo di snippet di 8. Per video lunghi, viene impiegata un'inferenza a finestra scorrevole con una lunghezza massima di finestra di 4608 passi di caratteristiche e una sovrapposizione del 50%.

2.2. Rilevamento Temporale Causale Disaccoppiato

Il sistema impiega due rilevatori separati in stile CausalTAD (uno per i sostantivi, uno per i verbi) basati sull'implementazione OpenTAD.

• Architettura: Le caratteristiche sono proiettate in rappresentazioni temporali causali e elaborate tramite una Piramide Temporale Multilivello (7 livelli).
• Testa: Una testa di rilevamento senza ancoraggi predice le probabilità di classe per punto e le distanze dai confini del segmento.
• Addestramento: I rilevatori di sostantivi e verbi sono addestrati separatamente sulla divisione train+val utilizzando AdamW, precisione mista e pesi EMA.
• Interazione tra Flussi (Opzionale): È stata esplorata una variante a doppio flusso in cui un cancello di incertezza sopprime le caratteristiche ausiliarie inaffidabili prima dell'attenzione incrociata, ma la sottomissione finale mantiene i flussi disaccoppiati per garantire robustezza, spostando le decisioni di affidabilità al post-processing.

2.3. Punteggio dell'Azione Composita

Per ogni indice di proposta allineato $j$, il sistema combina i migliori $K$ candidati di sostantivi e verbi ($K_n=10, K_v=10$).

• Calcolo del Punteggio: Il punteggio dell'azione è la media geometrica delle probabilità di sostantivo e verbo: $S_{j,p,q} = \sqrt{P^n_{j,p} P^v_{j,q}}$. Ciò garantisce che un candidato sia forte solo quando sia l'evidenza dell'oggetto che quella del movimento lo supportano.
• Fusione dei Confini: L'innovazione critica è la Fusione Ponderata Dinamica (DWF). Invece di una media aritmetica fissa, il sistema calcola pesi specifici per proposta basati sulla massima confidenza di classificazione di ciascun flusso ($C^n_j$ e $C^v_j$).
  • Pesi: $W^n_j = \frac{C^n_j}{C^n_j + C^v_j + \epsilon}$ e $W^v_j = \frac{C^v_j}{C^n_j + C^v_j + \epsilon}$.
  • Confine Fuso: $\hat{b}_j = W^n_j b^n_j + W^v_j b^v_j$.
  • Logica: Questo sposta l'autorità del confine verso il flusso più affidabile (ad esempio, se il sostantivo è occluso, il flusso del verbo domina la localizzazione temporale) senza alterare il punteggio semantico dell'azione.

2.4. Post-Processing

Le proposte fuse subiscono Soft-NMS (per classe) per sopprimere rilevamenti duplicati con intervalli altamente sovrapposti. Il sistema aggrega i risultati dalle finestre scorrevoli e produce la sottomissione JSON finale.

3. Contributi Chiave

1. Analisi del Problema: Gli autori identificano che il rilevamento congiunto diretto o la fusione fissa a doppio flusso sono insufficienti per EPIC-KITCHENS a causa dell'ambiguità dei confini egocentrici, della degenerazione specifica del flusso e della sparsità composita.
2. Pipeline EgoAction: Una pipeline di rilevamento causale disaccoppiata che utilizza caratteristiche VideoMAE-L perfezionate su EPIC, rilevatori temporali specifici per fattore e una nuova regola di Fusione Ponderata Dinamica (DWF) per il post-processing dei confini.
3. Prestazioni: Il sistema ottiene prestazioni bilanciate tra i fattori, evitando il compromesso in cui il miglioramento di una metrica degrada l'altra.

4. Risultati Sperimentali

Il sistema è stato valutato sulla classifica ufficiale 2026 di EPIC-KITCHENS Action Detection (Codabench).

• mAP Azione: 25.94 (Media su tIoU 0.1–0.5).
• mAP Verbo: 28.66.
• mAP Sostantivo: 28.61.
• Classifica: Il sistema si è classificato 3° tra tutte le sottomissioni, distanziando il 2° posto di 0.31 punti e superando il 4° posto di 1.73 punti.
• Insights dall'Ablazione: Il divario tra mAP a livello di fattore (~28.6) e mAP azione (25.94) evidenzia che la precisione della localizzazione temporale rimane il principale collo di bottiglia, in particolare a soglie tIoU più elevate (0.5). La DWF mira specificamente a questo adattando l'autorità del confine in base alla confidenza del flusso.

5. Significato e Affermazioni

Il documento afferma che EgoAction fornisce un sistema compatto e riproducibile per il rilevamento temporale di azioni egocentriche. Il suo significato principale risiede nell'osservazione che i flussi di verbi e sostantivi falliscono in modo diverso (movimento vs visibilità) e che una media fissa dei confini è subottimale.

Sostituendo la media codificata a mano con la Fusione Ponderata Dinamica, il sistema sposta l'autorità del confine verso il flusso più affidabile preservando il meccanismo di punteggio dell'azione disaccoppiato. Gli autori sottolineano che questo è un operatore leggero, basato solo su tensori, che non richiede teste di calibrazione apprese, evitando così l'overfitting mentre affronta efficacemente l'asimmetria nell'affidabilità dei flussi intrinseca ai dati video egocentrici. I risultati dimostrano che separare le decisioni di localizzazione dal punteggio semantico, per poi fonderle in base alla confidenza, è una strategia superiore per il rilevamento di azioni compositive in video non tagliati.