ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

Technische Samenvatting: ESTANet

Probleemstelling
Het artikel behandelt de uitdaging van real-time, online foutdetectie in procedurele video's. In tegenstelling tot offline methoden die volledige video's verwerken, moeten online systemen causaal opereren met behulp van alleen het verleden en de huidige frames, een vereiste voor praktische implementatie op draagbare apparaten (bijv. Microsoft HoloLens, Apple Vision Pro) die gebruikers bij dagelijkse taken ondersteunen. Het systeem moet twee verschillende soorten fouten detecteren:

1. Executiefouten (Execution Errors): Acties die worden onderbroken, onjuist worden uitgevoerd of overbodig zijn (bijv. een mes laten vallen, honing toevoegen in plaats van suiker).
2. Procedurele fouten (Procedural Errors): Afwijkingen in de sequentie, zoals het weglaten, herhalen of verkeerd ordenen van stappen (bijv. de poten van een tafel vastdraaien voordat de dwarssteun wordt geplaatst).

Bestaande online methoden kampen met beperkingen: ze detecteren vaak alleen de eerste fout, missen genuanceerde executiefouten, vertrouwen op zware Large Language Models (LLMs) die de real-time prestaties hinderen, of vereisen geannoteerde video's met zowel foutvrije als foutbevattende beelden tijdens de training.

Methodologie: ESTANet
De auteurs stellen ESTANet (Error-Sensitive and Temporally-vArying Network) voor, een lichtgewicht framework dat fouten detecteert door gebruik te maken van voorspellingsinconsistenties tussen een kleine ensemble van actiedetectoren. De kernhypothese is dat actiedetectoren met verschillende gevoeligheden en temporele contexten van nature zullen divergeren in hun voorspellingen wanneer een fout optreedt, terwijl ze consistent blijven bij correcte uitvoering.

Het framework bestaat uit vier detectoren verdeeld in twee categorieën:

1. Standaard versus Foutgevoelige Detectoren (het vangen van executiefouten):

   • Standaard Detectoren: Deze gebruiken een eenvoudige architectuur bestaande uit een enkel-laagse Gated Recurrent Unit (GRU) gevolgd door een lineaire classificatiekop. Ze zijn getraind om stabiele voorspellingen te produceren.
   • Foutgevoelige Detectoren: Deze bevatten een Temporal-Aware Dynamic (TAD) module. De TAD-module genereert dynamische gewichten en biases voor de affine transformatie van frame-features voordat deze de GRU ingaan. Deze parameters zijn input-afhankelijk en temporeel bewust, waardoor de detector zeer gevoelig is voor out-of-distribution data (d.w.z. executiefouten), wat leidt tot inconsistente voorspellingen vergeleken met de standaard detectoren.

2. Temporeel Variërend Ontwerp (het vangen van procedurele fouten):

   • Het systeem traint detectoren met verschillende temporele venstergroottes: een klein venster ($s$) en een groot venster ($l$).
   • Strategie voor Vensterselectie: In plaats van een uitputtende hyperparameterzoektocht, stellen de auteurs een robuuste, dataset-specifieke strategie voor:
     • $s$ wordt ingesteld op de kortste gemiddelde duur van elke actie in de dataset, waardoor de detector wordt gedwongen te vertrouwen op een gedeeltelijke context.
     • $l$ wordt berekend om $\beta$ (gesteld op 2) volledige voorafgaande acties te dekken voor ongeveer $\theta$ (gesteld op 50%) van de acties in de dataset.
   • Dit zorgt ervoor dat wanneer een procedurele fout (bijv. een ontbrekende stap) optreedt, de detector met een groot venster (die vertrouwt op langetermijnafhankelijkheden) anders zal voorspellen dan de detector met een klein venster (die vertrouwt op kortetermijncontext).

Inference en Beslissingslogica
Tijdens de inference verwerkt het systeem frames causaal. Het genereert vier actievoorspellingen per frame:

• $y^{s-st}$ en $y^{s-lg}$: Standaard detectoren met kleine en grote vensters.
• $y^{e-st}$ en $y^{e-lg}$: Foutgevoelige detectoren met kleine en grote vensters.

Het systeem construeert vier vergelijkingsparen om overeenstemming te controleren:

1. $(y^{s-st}, y^{e-st})$ en $(y^{s-lg}, y^{e-lg})$: Detecteren executiefouten door standaard versus foutgevoelige voorspellingen te vergelijken.
2. $(y^{s-st}, y^{s-lg})$ en $(y^{e-st}, y^{e-lg})$: Detecteren procedurele fouten door voorspellingen over verschillende temporele vensters te vergelijken.

Een frame wordt gemarkeerd als een fout ($z_t = 1$) als minstens drie van de vier paren een mismatch vertonen (meerderheidsstemming). Het model wordt uitsluitend getraind op foutvrije video's met een combinatie van cross-entropy loss en een smoothing loss om temporele consistentie te waarborgen.

Belangrijkste Bijdragen

• Nieuw Perspectief: Het artikel verschuift de focus van het ontwerpen van complexe architecturen naar het benutten van de intrinsieke voorspellingsgedragingen van actiedetectoren. Het toont aan dat inconsistenties tussen eenvoudige detectoren een krachtig signaal zijn voor foutdetectie.
• Lichtgewicht Architectuur: ESTANet vermijdt zware componenten zoals LLM's of complexe graafleer, en maakt uitsluitend gebruik van GRU's en een lichtgewicht TAD-module, wat real-time efficiëntie garandeert voor edge-apparaten.
• Robuuste Vensterselectiestrategie: Het artikel introduceert een geautomatiseerde, dataset-agnostische methode om optimale temporele venstergroottes ($s$ en $l$) te bepalen, waardoor de noodzaak voor tijdrovende heuristische zoektochten vervalt.
• Verenigde Detectie: Het framework adresseert gelijktig zowel executieve als procedurele fouten zonder dat er geannoteerde foutdata nodig zijn tijdens de training.

Experimentele Resultaten
De auteurs hebben ESTANet geëvalueerd op drie datasets: EgoPER (bevat beide fouttypen), Assembly-101-O, en EPIC-Tent-O (gericht op procedurele fouten).

• EgoPER: ESTANet behaalde state-of-the-art prestaties met een F1@10 van 47.2, F1@25 van 37.8, en F1@50 van 21.6, waarmee het baselines zoals PREGO en DTGL overtreft.
• Assembly-101-O: De methode behaalde een Avg-F1 van 59.6, waarmee het DTGL (53.5) en PREGO (32.5) overtrof.
• EPIC-Tent-O: ESTANet behaalde een Avg-F1 van 70.2, wat significant hoger is dan DTGL (46.5) en PREGO (29.4).
• Efficiëntie: Het model behoudt real-time efficiëntie dankzij het lichtgewicht ontwerp, waardoor de latentieproblemen die geassocieerd worden met LLM-gebaseerde benaderingen worden vermeden.

Betekenis en Claims
Het artikel claimt dat ESTANet een praktische en krachtige oplossing biedt voor online foutdetectie door de intrinsieke eigenschappen van actiedetectoren te benutten in plaats van de architecturale complexiteit te vergroten. De auteurs benadrukken dat hun aanpak aansluit bij real-world beperkingen waarbij normale (foutvrije) video's overvloedig aanwezig zijn, maar geannoteerde foutdata schaars zijn. Door state-of-the-art prestaties te leveren met een eenvoudig ensemble van GRU's, suggereert dit werk dat voorspellingsinconsistentie een fundamenteel en onderbenut signaal is voor het detecteren van afwijkingen in procedurele taken.