PuckTrick: A Library for Making Synthetic Data More Realistic

1. Probleemstelling

De toenemende afhankelijkheid van Machine Learning (ML) voor besluitvorming vereist hoogwaardige trainingsdata. Toegang tot real-world datasets is echter vaak beperkt vanwege privacyzorgen, eigendomsbeperkingen en data-onvolledigheid. Bijgevolg is Synthetische Data Generatie (SDG) een primair alternatief geworden.

Hoewel SDG de statistische eigenschappen van echte data succesvol nabootst, kampt het met een kritiek gebrek: synthetische data is vaak "te schoon". Real-world data is inherent imperfect en bevat ontbrekende waarden, ruis, uitschieters, verkeerd geclassificeerde labels en structurele inconsistenties. Modellen die zijn getraind op geïdealiseerde, foutloze synthetische data, falen vaak in het effectief generaliseren wanneer ze worden ingezet in real-world scenario's waar dergelijke imperfecties veelvoorkomend zijn. Er ontbreekt een systematisch instrumentarium om gecontroleerde, realistische fouten in synthetische datasets in te brengen om de robuustheid van modellen te testen en te verbeteren.

2. Methodologie: De PuckTrick-bibliotheek

Om deze kloof te dichten, hebben de auteurs PuckTrick ontwikkeld, een Python-bibliotheek die is ontworpen om synthetische datasets systematisch te vervuilen met gecontroleerde fouten. De bibliotheek werkt in twee distincte modi:

• New Mode: Injecteert een vooraf gedefinieerd percentage fouten in een schone dataset.
• Extended Mode: Corrumpeert verder een reeds vervuilde dataset, waardoor incrementele foutintroductie mogelijk is terwijl een doelfoutverdeling wordt gehandhaafd.

De bibliotheek ondersteunt zes specifieke categorieën datafouten, toepasbaar op dataset- of feature-niveau, voor verschillende datatypes (categorisch, numeriek, boolean, datum/tijd):

1. Ontbrekende Data: Invoegen van "null"-waarden om sensorstoringen of onvolledige verzameling te simuleren.
2. Ruizige Data: Willekeurige vervormingen (bijv. Gaussische ruis voor continue features, waarde-uitwisseling voor categorische integers, synthetische categoriegeneratie voor strings).
3. Uitschieters: Genereren van extreme datapunten met de 3-sigma-methode (voor continue/integer data) of door onbekende categorieën in te voeren (voor categorische data).
4. Labelverkeerclassificatie: Omkeren van binaire labels of willekeurige herverdeling van multi-class labels.
5. Dubbele Data: Willekeurige of gerichte rijduplicatie om datalekken of oversampling te simuleren.
6. Ongelijkmatige Data: (Geïmpliceerd via duplicatie en klassamanipulatie) om modelbias te testen.

3. Experimentele Opstelling

De auteurs hebben PuckTrick geëvalueerd met een dedicated pipeline die real-world financiële data omvat:

• Datasets: Vijf datasets met financiële indicatoren voor meer dan 4.000 Amerikaanse aandelen van 2014–2018. De doelvariabele was een binaire classificatie van aandelenprestaties (Prijsvariatie > 0).
• Synthetische Generatie: Het GReaT-algoritme (met een distilgpt2 LLM) werd gebruikt om synthetische datasets te genereren die de statistische eigenschappen van de originele data behielden.
• Vervuiling: Er werden 61 synthetische datasets gemaakt, waaronder een baseline (schoon) en datasets vervuild met specifieke fouttypes (ruis, ontbrekend, uitschieters, labels) met een vaste foutpercentage van 30%.
• Modellen: 10 diverse ML-algoritmen werden op deze datasets getraind, waaronder:
  • Op bomen gebaseerd: Extra Trees (ET), Random Forest (RF), Decision Tree (DT).
  • Lineair/Kern: SVM, Logistische Regressie (LR), Lineaire/Kwadratische Discriminantanalyse (LDA/QDA).
  • Overige: K-Nearest Neighbors, Naive Bayes, Multilayer Perceptron (MLP).
• Evaluatie: Modellen werden getest op de originele real-world testset. Prestaties werden gemeten met Accuracy, F1-score, Precision, Recall en AUC.

4. Belangrijkste Resultaten

De experimenten vergeleken modellen die waren getraind op puur synthetische data versus synthetische data vervuild met PuckTrick.

• Algemene Prestaties: Modellen getraind op vervuilde synthetische data presteerden over het algemeen beter of gelijk aan die getraind op schone synthetische data. Dit bevestigt dat blootstelling aan realistische imperfecties tijdens het trainen de generalisatie van modellen verbetert.
• Algoritmespecifieke Inzichten:
  • Op Bomen Gebaseerde Modellen (ET, RF): Toonden de meest significante veerkracht en verbetering, met name bij Ontbrekende Data en Uitschieters. Extra Trees (ET) presteerde consistent beter dan andere modellen bij het hanteren van onvolledige data.
  • Lineaire/Kern Modellen (SVM, LR): SVM toonde de hoogste verbetering wanneer getraind op Ruizige Data, wat suggereert dat ruis fungeert als een vorm van regularisatie die SVM's helpt om optimale beslissingsgrenzen te vinden.
  • Labelverkeerclassificatie: Resultaten waren sterk modelafhankelijk. Hoewel sommige modellen (zoals LDA) labelruis in specifieke jaren goed hanteerden, hadden anderen moeite, wat wijst op de noodzaak van aanvullende correctiemechanismen (bijv. semi-supervised learning).
• Kwantitatieve Impact:
  • Ruis: 100% van de modellen behield de nauwkeurigheid op de dataset van 2014, waarbij 90% verbetering liet zien.
  • Ontbrekende Data: 82% van de modellen behield of verbeterde de nauwkeurigheid.
  • Uitschieters: 70–79% van de modellen behield of verbeterde de nauwkeurigheid.
  • Labelfouten: 90% behield de nauwkeurigheid, maar slechts 10–20% zag directe winst, wat de moeilijkheid van dit specifieke fouttype benadrukt.

5. Belangrijkste Bijdragen

1. PuckTrick-bibliotheek: De eerste systematische, open-source Python-bibliotheek die specifiek is ontworpen om gecontroleerde, realistische imperfecties in synthetische datasets in te brengen.
2. Dual-Mode Operatie: Unieke mogelijkheid om zowel fouten in schone data te initialiseren als reeds vuile data incrementeel te corrumperen.
3. Empirische Validatie: Omvattende bewijs dat "vuile" synthetische data superieur is voor het trainen van robuuste ML-modellen in vergelijking met "schone" synthetische data.
4. Benchmarking-tool: Biedt een gestandaardiseerde manier om data-cleaning algoritmen en modelveerkracht tegen specifieke fouttypes te evalueren.

6. Betekenis en Toekomstig Werk

Het artikel stelt vast dat synthetische data real-world imperfecties moet nabootsen om werkelijk nuttig te zijn voor het trainen van productie-grade ML-modellen. Door te trainen op data die ruis en ontbrekende waarden bevat, worden modellen robuuster en aanpasbaarder aan de onvoorspelbaarheid van real-world implementatie.

Toekomstige Richtingen:

• Schema-modificatie: Voorbijgaan aan fouten op wervel-niveau naar structurele veranderingen (bijv. het splitsen van een feature in twee), om schema-mismatches tussen trainings- en productieomgevingen te simuleren.
• Gegenereerde Foutstrategieën: Ontwikkelen van flexibelere strategieën voor foutinvoeging om complexere real-world scenario's beter na te bootsen.
• Feature Selectie: PuckTrick gebruiken om het minimale setje essentiële features te identificeren dat vereist is voor hoge nauwkeurigheid, zelfs onder imperfecte datacondities.

Kortom, PuckTrik overbrugt de kloof tussen de theoretische perfectie van synthetische data en de rommelige realiteit van operationele data, en biedt een cruciaal instrument voor het ontwikkelen van betrouwbaardere en robuustere machine learning-systemen.