Technische Samenvatting: Wake Vision

Probleemstelling

Tiny Machine Learning (TinyML) houdt in dat modellen worden ingezet op microcontrollers (MCU's) met ernstige geheugenbeperkingen (honderden kilobytes), wat kleine modellen en specifieke binaire taken of taken met een laag aantal klassen vereist. Echter, praktijken voor algemene doeleinden zijn ongeschikt voor dit domein. Kleine modellen zijn onevenredig gevoelig voor labelruis, en specifieke taken missen vaak standaard benchmarks.

De vorige standaard voor TinyML-persondetectie, het Visual Wake Words (VWW)-dataset, bevat ongeveer 123.000 afbeeldingen met een geschatte labelfoutenratio van 7,8%. Deze schaal en kwaliteit zijn onvoldoende voor het trainen van TinyML-systemen van productiekwaliteit. Omgekeerd is handmatig labelen van datasets op de schaal die nodig is voor moderne training (miljoenen afbeeldingen) onbetaalbaar duur en introduceert het inconsistentie. Bijvoorbeeld, het opnieuw labelen van een set van 6 miljoen afbeeldingen handmatig wordt geschat op ongeveer 600.000 USD.

Methodologie: De Wake Vision-pijplijn

Om deze hiaten aan te pakken, stellen de auteurs de Wake Vision-pijplijn voor, een geautomatiseerde methode voor het genereren en cureren van grote binaire classificatiedatasets specifiek voor TinyML. De pijplijn is ontworpen om data-gericht te zijn, met als doel de volledige levenscyclus van het dataset, van constructie tot continue verbetering. Het is gebaseerd op het Open Images v7-dataset, dat 9.600 trainbare klassen biedt, waardoor de pijplijn kan worden aangepast voor elke binaire classificatietaken, niet alleen persondetectie.

De pijplijn voert zes kernoperaties uit die data-gericht zijn:

1. Multi-bron Label Fusie: Het verenigt afbeeldingsniveau- en bounding-box annotaties van Open Images in één binaire taak. Het maakt gebruik van de hogere nauwkeurigheid van bounding-box labels, terwijl het de schaal van afbeeldingsniveau-labels benut.
2. Contextbewuste Filtering: Het past filtering toe op basis van betrouwbaarheidsscores, het oppervlak van het object in de afbeelding (proxy voor afstand) en weergavestatus (standaard worden artistieke weergaven van mensen uitgesloten). Dit zorgt ervoor dat het dataset overeenkomt met implementatieomstandigheden waarbij verre of afgebeelde objecten mogelijk niet relevant zijn.
3. Geautomatiseerde Labelcorrectie: Het past Confident Learning-technieken toe op evaluatiesplitsen om potentiële fouten te identificeren als een goedkope eerste ronde.
4. Handmatig Opnieuw Labelen van Evaluatiesets: Om een nauwkeurige prestatiebeoordeling te waarborgen, ondergaan de validatie- en testsets handmatig opnieuw labelen via een crowdsourcingplatform (Scale AI). Dit prioriteert labelkwaliteit waar deze de gerapporteerde metrieken het meest beïnvloedt.
5. Fijnmazige Benchmark Synthese: Met behulp van metadata uit de filterstappen genereert de pijplijn evaluatiesubsets over vijf dimensies: waargenomen geslacht, waargenomen leeftijd, afstand, verlichting en weergaven.
6. Gemeenschapsgedreven Verbetering: De pijplijn ondersteunt een "vliegwiel"-model waarbij gemeenschapscompetities verbeteringen identificeren en integreren (bijvoorbeeld labelcorrectietechnieken) in volgende datasetreleases.

Belangrijkste Bijdragen

1. Het Wake Vision Dataset

De auteurs geven Wake Vision vrij, een binaire persondetectiedataset met bijna 6 miljoen afbeeldingen (ongeveer 100× meer personenafbeeldingen dan VWW).

• Schaal: 5,76 miljoen afbeeldingen in de "Large"-trainingset en 1,25 miljoen in de "Quality"-trainingset.
• Kwaliteit: De validatie- en testsets zijn handmatig opnieuw gelabeld, met een labelfoutenratio van 2,2%, een aanzienlijke verbetering ten opzichte van VWW's 7,8%.
• Licentie: Vrijgegeven onder CC-BY 4.0 via TensorFlow Datasets en Hugging Face.

2. Een Fijnmazige Benchmark Suite

Naast aggregaten nauwkeurigheid biedt Wake Vision vijf fijnmazige benchmark-subsets om de robuustheid van modellen in uitdagende real-world scenario's te evalueren:

• Waargenomen Geslacht & Leeftijd: Evalueert prestaties over ondervertegenwoordigde demografische groepen.
• Afstand: Categoriseert onderwerpen op basis van afbeeldingsdekking (Dicht >60%, Middel 10-60%, Ver <10%).
• Verlichting: Categoriseert op basis van gemiddelde pixelwaarde (Donker, Normaal, Helder).
• Weergaven: Test het vermogen van het model om afbeeldingen met weergaven van mensen (bijvoorbeeld schilderijen) te verwerpen versus echte mensen.

3. Generalisatie naar Andere Taken

De pijplijn wordt gedemonstreerd op Auto en Vogel detectie.

• Autodetectie: Produceerde een dataset 12× groter dan een VWW-achtige baseline, met een vermindering van de labelfout van 6,4% naar 4,8%.
• Vogeldetectie: Produceerde een dataset 27× groter dan een VWW-achtige baseline, met een vermindering van de labelfout van 6,6% naar 0,6%.

4. Gemeenschapsverbeteringslus

De auteurs werkten samen met de Edge AI Foundation om de Wake Vision Challenge te hosten. De eerste ronde leverde een labelcorrectietechniek op die de labelfoutenratio van de Wake Vision (Large)-trainingset verlaagde van 15,2% naar 9,8% voor een fractie van de kosten van handmatig opnieuw labelen.

Resultaten

Prestatiewinst

Modellen getraind op Wake Vision presteren consequent beter dan die getraind op VWW over verschillende architecturen (MobileNetV2, MCUNet, MicroNets, ColabNAS):

• Nauwkeurigheid: Modellen getraind op Wake Vision verbeterden de testnauwkeurigheid met maximaal 6,6% ten opzichte van modellen getraind op VWW.
• Fijnmazige Robuustheid: Modellen getraind op Wake Vision kwamen overeen met of overtroffen modellen getraind op VWW op 13 van de 16 fijnmazige subsets. De grootste winsten werden waargenomen bij het detecteren van afgebeelde personen, oudere individuen en in donkere verlichtingsomstandigheden.
• Generalisatie buiten Verdeling (OOD): Modellen getraind op Wake Vision behielden hun nauwkeurigheidsvoordeel ten opzichte van modellen getraind op VWW wanneer geëvalueerd op OOD-datasets die rijperspectieven en surveillancebeelden van bovenaf omvatten.

Data-gerichte Inzichten

Het artikel presenteert twee specifieke bevindingen met betrekking tot data-gericht TinyML:

1. Gevoeligheid voor Labelruis: Kleine modellen zijn onevenredig gevoelig voor labelruis in de trainingset. Wanneer de trainingsfoutenratio toenam van 6,8% naar 15%, verloor het kleinste model 1,3% nauwkeurigheid, terwijl het grootste model slechts 0,5% verloor.
2. Tweestaps Trainingsstrategie: Een strategie van vooropleiding op de grotere, ruiserige set (Wake Vision Large) en fijnafstemming op de kleinere, schoner set (Wake Vision Quality) boekte de beste resultaten (85,72% nauwkeurigheid), beter dan training op één van beide sets alleen.

Betekenis en Claims

Het artikel claimt dat Wake Vision de methodologische kloof in TinyML aanpakt door een geautomatiseerde pijplijn te bieden voor het genereren van datasets van productiekwaliteit. De betekenis hiervan ligt in:

• Schalbaarheid: Het mogelijk maken van het creëren van specifieke datasets voor de 9.600 klassen in Open Images zonder prohibitieve kosten voor handmatig labelen.
• Kwaliteit: Aantonen dat handmatig opnieuw labelen van evaluatiesets in combinatie met geautomatiseerde reiniging datasets oplevert die geschikt zijn voor het trainen van productiesystemen, niet alleen voor researchbenchmarks.
• Evaluatie: Het verschuiven van de focus van aggregaten nauwkeurigheid naar fijnmazige robuustheid, waardoor faalmodi (bijvoorbeeld bij weinig licht of voor specifieke demografieën) zichtbaar worden die standaardmetrieken verbergen.
• Duurzaamheid: Het vestigen van een model voor continue datasetverbetering via gemeenschapsbetrokkenheid, waarbij het dataset wordt behandeld als een onderhouden artefact in plaats van een statische release.

De auteurs positioneren Wake Vision niet louter als een dataset, maar als een toolkit voor het paradigma "data-gericht TinyML", met het argument dat voor kleine modellen de opbrengst van labelkwaliteit eerder de opbrengst van schaal overstijgt dan bij training van grote modellen, wat rigoureuze curatiepijplijnen vereist.