Technische Samenvatting: Lichtgewicht Transformer-modellen voor Foutdetectie op Apparaten

1. Probleemstelling

De proliferatie van IoT en consumentenelektronica heeft de vraag naar geautomatiseerde diagnostische systemen gecreëerd die in staat zijn om hardware- en softwarefouten in realtime te detecteren. Hoewel traditionele diagnostische benaderingen vertrouwen op cloudgebaseerde verwerking, introduceert dit netwerklatentie, afhankelijkheden van connectiviteit en privacyzorgen. Foutdetectie op het apparaat zelf (on-device) biedt een oplossing door inferentie lokaal uit te voeren; het implementeren van machine learning-modellen op hulpbronnenbeperkte hardware vereist echter moeilijke afwegingen tussen nauwkeurigheid, latentie en modelgrootte.

Hoewel moderne transformer-architecturen state-of-the-art resultaten hebben bereikt in Natural Language Processing (NLP), blijft hun toepasbaarheid op tabulaire foutdetectietaken onder realistische productieomstandigheden onderbelicht. Specifiek is het onduidelijk of de computationele overhead van lichtgewicht transformers (bijv. DistilBERT, TinyBERT) gerechtvaardigd is in vergelijking met traditionele machine learning-methoden (bijv. Random Forest, XGBoost) wanneer deze worden toegepast op sensordata, en hoe compressietechnieken zoals kwantisatie en adaptieve inferentiepipelines dit evenwicht beïnvloeden.

2. Methodologie

De studie presenteert een uitgebreide benchmark die 10 modelconfiguraties evalueert over drie publieke predictive maintenance-datasets:

• NASA C-MAPSS: Simulatie van turbofan-motordegradatie (24 kenmerken, 20.631 monsters, 15% faalpercentage).
• SECOM: Halfgeleiderproductiedata (562 kenmerken, 1.567 monsters, 6,6% faalpercentage).
• UCI AI4I 2020: Predictive maintenance-dataset (8 kenmerken, 10.000 monsters, 3,4% faalpercentage).

Modelconfiguraties

De auteurs vergeleken Traditionele Baselines (Random Forest, XGBoost, SVM, Logistische Regressie) met Lichtgewicht Transformers (DistilBERT, TinyBERT-6L, TinyBERT-4L, MobileBERT).

• Inputrepresentatie: Tabulaire sensordata werd omgezet naar tekst door featurenaam-waardeparen te serialiseren (bijv. feature_name:value), waarbij gebruik werd gemaakt van vooraf getrainde taalrepresentaties zonder architecturale wijzigingen.
• Training: Transformers werden gefinetuned met behulp van weighted cross-entropy loss om klassenimbalans aan te pakken.
• Compressie & Optimalisatie:
  • Kwantisatie: INT8 dynamische kwantisatie werd toegepast op DistilBERT en TinyBERT-4L.
  • Adaptieve Inferentiepipeline: Een twee-fasen aanpak werd voorgesteld waarbij een gekwantiseerde TinyBERT-4L fungeert als een "triage"-model. Als de zekerheid een drempelwaarde ($\tau$) overschrijdt, wordt de voorspelling geaccepteerd; zo niet, dan wordt de input gerouteerd naar een full-precision DistilBERT "expert"-model.

Evaluatiemetrieken

Prestaties werden beoordeeld aan de hand van F1-score, AUC-ROC, modelgrootte (MB) en CPU-inferentielatentie (gemeten op Colab CPU en NVIDIA T4 GPU).

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Eerlijke Benchmarking: Een evaluatie van 10 modelconfiguraties over drie datasets, waarbij real-world F1-scores, groottes en latenties worden gerapporteerd zonder gunstige resultaten selectief te presenteren.
2. Compressieanalyse: Een beoordeling van INT8 dynamische kwantisatie op gefinetuned transformers om de nauwkeurigheid-grootte-afweging te meten.
3. Adaptieve Inferentiepipeline: Een nieuwe twee-fasen aanpak die een gekwantiseerd triage-model combineert met een groter expert-model om latentie te optimaliseren terwijl de nauwkeurigheid behouden blijft.
4. Falenanalyse: Een documentatie van waar transformer-benaderingen falen, specifiek de onmogelijkheid van MobileBERT om te convergeren op tabulaire-naar-tekst data, en de universele strijd van alle methoden met extreme klassenimbalans.

4. Experimentele Resultaten

Prestaties op Goed Gescheiden Data (C-MAPSS)

• Nauwkeurigheid vs. Efficiëntie: Op de C-MAPSS-dataset kwamen lichtgewicht transformers overeen met de traditionele ML-nauwkeurigheid (TinyBERT-6L behaalde 87,9% F1, identiek aan XGBoost) maar tegen een aanzienlijk hogere kosten. XGBoost opereerde met een 0,5 MB model en 0,002 ms latentie, terwijl TinyBERT-6L 255 MB en 133 ms vereiste (een 510× verschil in grootte en een 66.500× verschil in latentie).
• Beste Transformerprofiel: TinyBERT-4L kwam naar voren als de meest implementatievriendelijke transformer, met een 87,8% F1 score met een grootte van 55 MB en 18 ms CPU-latentie.
• Impact van Kwantisatie: INT8-kwantisatie verminderde de grootte van TinyBERT-4L met 25% (naar 41 MB) met een verwaarloosbaar verlies aan nauwkeurigheid (86,9% F1). DistilBERT + INT8 verminderde de grootte met 48% (naar 132 MB) met een daling van 1,8% in F1.
• Succes van de Adaptieve Pipeline: De twee-fasen pipeline (TinyBERT-4L INT8 triage + DistilBERT expert) behaalde 87,6% F1 met een gemiddelde latentie van 19,5 ms. Het routeerde 97,9% van de voorspellingen via het lichtgewicht model, waardoor het 7× sneller was dan een standalone DistilBERT.

Prestaties op Imbalance Data (SECOM & UCI-PM)

• Ernstige Imbalans: Zowel traditionele als transformer-methoden hadden aanzienlijke problemen met de SECOM (6,6% falen) en UCI-PM (3,4% falen) datasets.
• Lage Prestaties: De beste F1-score over alle methoden op SECOM was slechts 13,6% (Logistische Regressie). Op UCI-PM presteerde XGBoost (83,3% F1) aanzienlijk beter dan de transformers (50,0% F1), wat suggereert dat gradient boosting effectiever omgaat met matige imbalans in laag-dimensionale tabulaire data.

Falen van Modellen

• MobileBERT: Het model slaagde er niet in om te convergeren op alle datasets, waarbij het de meerderheidsklasse voorspelde voor 100% van de monsters. De auteurs schrijven dit toe aan de geïnverteerde bottleneck-architectuur van MobileBERT, die blijkbaar ontworpen is voor natuurlijke taal-tokens in plaats van geserialiseerde numerieke data, waardoor het fijnmazige numerieke informatie wegwerpt.

5. Betekenis en Claims

Het artikel concludeert dat lichtgewicht transformers niet inherent superieur zijn aan traditionele machine learning voor tabulaire foutdetectie.

• Hulpbron-afwegingen: Op goed gescheiden sensordata evenaren transformers de nauwkeurigheid van traditionele methoden, maar brengen orders van grootte hogere kosten met zich mee (grootte en latentie).
• Implementatieaanbevelingen:
  • Voor apparaten met minimale hulpbronnen (< 1 MB), worden XGBoost of Logistische Regressie aanbevolen.
  • Voor gematigde hulpbronnen (50–100 MB), is TinyBERT-4L + INT8 de kleinste levensvatbare transformer.
  • Voor flexibele hulpbronnen biedt de adaptieve pipeline de beste balans tussen nauwkeurigheid en latentie.
• Fundamentele Beperking: De belangrijkste barrière voor betrouwbare foutdetectie is niet de modelarchitectuur, maar de extreme klassenimbalans. Standaard benaderingen, inclusief weighted loss functies, bleken onvoldoende voor datasets met faalpercentages onder de 10%.

De auteurs benadrukken dat hun bevindingen de noodzaak onderstrepen voor gespecialiseerde technieken voor extreme imbalans (bijv. SMOTE, focal loss), in plaats van simpelweg over te stappen op grotere of complexere architecturen. Alle code en configuraties worden vrijgegeven om reproduceerbaar edge ML-onderzoek te ondersteunen.