Loss Knows Best: Detecting Annotation Errors in Videos via Loss Trajectories

Deze paper introduceert een model-onafhankelijke methode die cumulatieve sample-loss-trajecten analyseert om annotatiefouten, zoals verkeerde labels en tijdsdisordening, in videodatasets te detecteren en zo de kwaliteit van de data te verbeteren.

De kern

Stel je voor dat je een enorme bibliotheek hebt met duizenden video's, elk met een gedetailleerd script dat precies uitlegt wat er op elk moment gebeurt. Deze video's worden gebruikt om slimme computers (kunstmatige intelligentie) te leren hoe ze dingen moeten herkennen, zoals chirurgische ingrepen of het maken van een kop koffie.

Het probleem is: de scripts zitten vol fouten.

Soms is een scène verkeerd gelabeld (bijvoorbeeld: "koffie zetten" staat er waar eigenlijk "thee zetten" gebeurt). Soms is de volgorde van de scènes door elkaar gehaald (eerst de melk, dan de bonen, terwijl het andersom moet). Als je een computer leert met deze rommelige scripts, wordt de computer ook rommelig en onbetrouwbaar.

De auteurs van dit papier hebben een slimme manier bedacht om deze fouten te vinden, zonder dat ze zelf hoeven te kijken naar elke seconde van de video. Ze noemen hun methode: "Loss Knows Best" (Verlies weet het beste).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Leer-Verloop" (De Loss Trajectory)

Stel je voor dat je een student hebt die een nieuwe taal leert.

• Goede lessen: Als de student een goede uitleg krijgt, begrijpt hij het snel. De "verwarring" (in het Engels loss) daalt snel. Hij wordt er goed in.
• Foute lessen: Als de leraar echter zegt: "Deze auto heet een fiets", blijft de student in de war. Hij kan het niet leren, want het klopt niet. Zijn verwarring blijft hoog, ook al heeft hij het al 100 keer geprobeerd.

De auteurs kijken niet naar het antwoord van de computer, maar naar hoe moeilijk het voor de computer was om iets te leren tijdens het hele leerproces.

2. De Cumulatieve Sample Loss (CSL) – De "Vergetelheids-Index"

In plaats van alleen te kijken naar het eindresultaat, kijken ze naar de geschiedenis van de computer. Ze slaan elke week een "foto" op van hoe slim de computer was (de checkpoints).

Vervolgens laten ze de computer elke video opnieuw bekijken, maar dan met elke oude versie van zichzelf.

• Een goede video: De computer leert het snel. De "verwarring" (de loss) zakt snel naar nul en blijft daar.
• Een foutieve video: De computer blijft worstelen. De verwarring blijft hoog of gedraagt zich raar, omdat de video niet klopt met wat de computer heeft geleerd.

Deze gemiddelde verwarring over de hele tijd noemen ze CSL.

• Hoge CSL: "Dit is een verdachte video. De computer kon dit nooit leren. Waarschijnlijk zit er een fout in het script."
• Lage CSL: "Dit is een veilige video. De computer heeft dit snel begrepen."

3. Twee soorten fouten, één detector

Deze methode is slim omdat hij twee soorten fouten kan zien:

1. De verkeerde naam (Semantische fout): Een scène heet "koken" maar is eigenlijk "wassen". De computer blijft in de war omdat het beeld niet past bij de naam. De verwarring blijft hoog.
2. De verkeerde volgorde (Temporele fout): De scènes zijn goed gelabeld, maar staan in de verkeerde volgorde (eerst de taart eten, dan de taart bakken). De computer ziet dit als een onmogelijke tijdsreis. De verwarring piekt op de momenten waar de volgorde breekt.

4. Waarom is dit zo handig?

Vroeger moest je handmatig door duizenden video's scrollen om fouten te zoeken, of je had een andere, perfecte dataset nodig om te vergelijken (wat vaak niet bestaat).

Met deze methode hoef je niets extra's te doen:

• Je hoeft niet te weten waar de fouten zitten.
• Je hoeft de computer niet opnieuw te trainen.
• Je hoeft geen menselijke experts in te schakelen.

Je laat de computer gewoon zijn eigen "leerproces" analyseren. Als de computer ergens tegenop loopt, is dat een teken dat de data daar niet klopt. Het is alsof je zegt: "Als jij het niet kunt leren, dan is het script wellicht fout."

Samenvatting in een metafoor

Stel je voor dat je een chef-kok bent die een kookboek controleert.

• Normaal zou je elke stap zelf proberen om te zien of het werkt.
• Maar deze methode is alsof je kijkt naar hoe moe de kok wordt terwijl hij de recepten probeert.
• Als de kok bij "ei kloppen" snel klaar is, is het recept goed.
• Als de kok bij "ei bakken" urenlang blijft worstelen en steeds opnieuw begint, omdat de instructies onlogisch zijn, dan weet je: er zit een fout in het recept.

De auteurs hebben dit getest op medische video's (chirurgie) en instructievideo's (koken, koffie zetten) en het werkt verrassend goed. Het is een krachtige manier om grote databases schoon te houden, zodat de AI's van de toekomst niet op leugens worden getraind.

Technische samenvatting

1. Het Probleem

Hoge kwaliteit videodatasets zijn essentieel voor het trainen van robuuste modellen in taken zoals actieherkenning, fase-detectie en gebeurtenissegmentatie. Echter, veel real-world videodatasets lijden aan annotatiefouten. Deze fouten manifesteren zich voornamelijk op twee manieren:

• Semantische mislabeling: Frames krijgen een onjuiste klassen- of fase-label toegewezen (bijv. "gallblaas verwijderen" in plaats van "gallblaas terugtrekken").
• Temporele desordening: De chronologische volgorde van de annotaties volgt niet de natuurlijke progressie van de gebeurtenis (bijv. stappen die in de verkeerde volgorde staan).

Deze fouten zijn vooral schadelijk voor temporele modellen (zoals Transformers of TCN's) die afhankelijk zijn van consistente overgangen. Bestaande methoden om ruis te detecteren vereisen vaak ground-truth over de fouten, extra supervisie, of zijn beperkt tot statische beelden en kunnen de complexe temporele afhankelijkheden in video's niet goed hanteren. Het identificeren van deze fouten zonder voorafgaande kennis is een open probleem.

2. Methodologie: Cumulative Sample Loss (CSL)

De auteurs stellen een model-agnostisch en trainingsvrij (tijdens de audit-fase) raamwerk voor dat annotatiefouten detecteert door de dynamiek van de trainingsfout (loss) te analyseren. De kern van de methode is de Cumulative Sample Loss (CSL).

Het principe:

• Leerbaarheid als signaal: Correct gelabelde frames worden door het model snel geleerd; de fout (loss) daalt vroeg in het trainingsproces en stabiliseert op een laag niveau.
• Fouten als obstakel: Frames met mislabeling of temporele desordening blijven voor het model moeilijk te leren. Ze vertonen daarom consequent hoge of onregelmatige loss-waarden gedurende het hele trainingsproces.

Het proces:

1. Training met Checkpointing: Een video-segmentatiemodel (in dit paper: ResNet-18 voor features + LossFormer/Transformer voor temporele context) wordt getraind voor $E$ epochs. De modelgewichten worden opgeslagen na elke epoch.
2. Post-hoc Audit: Voor een testvideo wordt inferentie uitgevoerd met elk van de opgeslagen checkpoints.
3. Berekening CSL: Voor elke frame $x_t$ wordt de gemiddelde loss berekend over alle checkpoints:
   $$CSL(x_t) = \frac{1}{E} \sum_{e=1}^{E} \hat{\ell}^{(e)}_t$$
   Waar $\hat{\ell}^{(e)}_t$ de loss is van frame $t$ op epoch $e$.
4. Detectie:
   • Semantische fouten: Vertonen vaak een continu hoog CSL over een aaneengesloten segment.
   • Temporele desordening: Vertonen scherpe pieken in CSL rondom fase-overgangen, waar de temporele consistentie wordt geschonden.
   • Frames met een CSL boven een bepaalde drempel (of in de top-k% van de scores) worden gemarkeerd als potentiële fouten.

3. Belangrijkste Bijdragen

• Nieuwe Paradigma: Introductie van een framework dat trainingsdynamiek (loss-trajecten) gebruikt als proxy voor de betrouwbaarheid van annotaties, zonder extra supervisie of ground-truth over de fouten.
• Unificatie van Fouttypes: Het vermogen om zowel semantische mislabeling als temporele desordening (volgorde-fouten) gelijktijdig te detecteren in één raamwerk.
• Efficiëntie en Generalisatie: De methode vereist geen hertraining van het model voor de audit en werkt model-agnostisch. Het is toepasbaar op diverse datasets.
• State-of-the-Art Prestaties: Het framework presteert beter dan bestaande methoden voor video-anomalie- en foutdetectie op complexe, temporeel gestructureerde datasets.

4. Resultaten

De methode werd geëvalueerd op twee benchmarks: Cholec80 (chirurgische workflows) en EgoPER (ego-centrische instructievideo's).

• EgoPER:
  • De methode (LossFormer) bereikte een Frame-wise AUC van 70,2 voor de taak "Tea", wat een verbetering is van 4,6 punten ten opzichte van de beste bestaande baseline (EgoPED).
  • De gemiddelde AUC over alle taken steeg met 3,2% ten opzichte van baselines.
  • De Segment-wise Error Detection Accuracy (EDA) bleef consistent boven de 59%.
• Cholec80:
  • Bij semantische mislabeling: 92,0 AUC en 85,9 EDA (een aanzienlijke verbetering van +20,7% AUC ten opzichte van baselines).
  • Bij temporele desordening (een scenario waar baselines vaak geen resultaten voor rapporteren): 78,5 AUC en 74,5 EDA.
• Ablatie Studies:
  • Feature Extractor: Het fijne tunen (fine-tuning) van de laatste lagen van de feature extractor is cruciaal; een volledig bevroren backbone leidt tot een significante daling in prestaties (tot wel 20 punten AUC).
  • Temporele Modelling: Voor het detecteren van desordening is een Transformer-architectuur essentieel (AUC 78,45 vs 48,12 voor CNN), omdat deze lange-termijn afhankelijkheden beter kan modelleren. Voor semantische fouten presteert een CNN zelfs iets beter, maar de Transformer is robuust voor beide.
  • Robuustheid: Het systeem blijft effectief zelfs als 10% van de trainingsdata zelf corrupt is, omdat CSL de aggregatie van het hele trainingsverloop gebruikt.

5. Significantie

Dit werk biedt een krachtig instrument voor dataset auditing. In plaats van te vertrouwen op visuele anomalie-detectie (wat vaak faalt bij subtiele labelfouten), gebruikt deze methode de "eigen ervaring" van het model tijdens het leren.

• Toepassingsgebied: Het is direct toepasbaar in domeinen waar datakwaliteit kritiek is, zoals gezondheidszorg (chirurgische analyse), robotica en instructieve media.
• Praktische Impact: Het stelt onderzoekers en data-engineers in staat om grote videodatasets te screenen op onzichtbare fouten die de prestaties van ML-modellen zouden kunnen ondermijnen, zonder dat er extra menselijke annotatie nodig is.
• Inzicht: Het paper onderstreept dat de trainingsmoeilijkheid van een model (weerspiegeld in de loss) een directe en betrouwbare diagnose is voor de kwaliteit van de data in temporeel gestructureerde taken.