Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks

Technische Samenvatting: Taakgeconditioneerde Synthetische Datageneratie voor Landbouwvoorspellingen

Probleemstelling
Machine Learning (ML)-algoritmen worden steeds vaker ingezet voor landbouwvoorspellings-taken, zoals het schatten van gewasopbrengsten en de classificatie van gewastypen. De prestaties hiervan worden echter zwaar beperkt door de kwantiteit en kwaliteit van de beschikbare trainingsdata. Referentiedata uit de landbouw lijden vaak aan beperkingen, waaronder schaarste, meetonnauwkeurigheden, incomplete records en een gebrekkige ruimtelijk-temporele dekking. Hoewel Synthetische Datageneratie (SDG) een potentiële oplossing biedt om datasets aan te vullen, falen bestaande SDG-methoden vaak in het verbeteren van de downstream ML-prestaties. Dit komt doordat veel huidige benaderingen zich richten op het nabootsen van de gezamenlijke distributie van de originele data (statistische getrouwheid), in plaats van ervoor te zorgen dat de gegenereerde monsters de specifieke kenmerk-doelrelaties behouden die vereist zijn voor de downstream-taak. Als gevolg hiervan kan synthetische data statistisch realistisch zijn, maar taak-misaligned, wat leidt tot gedegradeerde modelprestaties wanneer deze voor training wordt gebruikt.

Methodologie: TCSDG-algoritme
Het artikel stelt Task-Conditioned Synthetic Data Generation (TCSDG) voor, een framework dat ontworpen is om synthetische tabeldata te genereren die expliciet geoptimaliseerd is voor downstream supervised learning-taken. In tegenstelling tot onconditionele generatoren, integreert TCSDG een "teacher–student" kennisoverdrachtparadigma en in-context learning. Het algoritme werkt via vijf afzonderlijke stadia:

1. Budgetallocatie: Het totale synthetische budget wordt verdeeld over de doelruimte (klassen voor classificatie, bins voor regressie) met behulp van een hybride prior. Deze combineert de empirische klassendistributie met een inverse-frequentie prior om ervoor te zorgen dat minderheidsklassen of ondervertegenwoordigde doelregio's een evenredige synthetische ondersteuning ontvangen zonder de globale marginale distributie te verstoren.
2. Teacher Training en Kalibratie: Een TabICL (Tabular Foundation Model voor In-Context Learning) model wordt getraind op de echte data om te fungeren als een "taakbewuste criticus". Het genereert zelf geen data, maar evalueert kandidaten. Voor classificatie beoordeelt het de toegewezen klasse-waarschijnlijkheid, de voorspellingsmarge en de entropie. Voor regressie evalueert het het residu tussen de voorspelde gemiddelde waarde en de doelwaarde van de kandidaat. Drempelwaarden voor deze metrieken worden gekalibreerd met behode echte trainingsdata.
3. Kandidaatgeneratie: Een grote pool van kandidaat-synthetische monsters wordt gegenereerd met behulp van een Bayesiaans Netwerk (BN). Voor classificatie worden klasse-conditionele BN's gefit; voor regressie wordt een gezamenlijk BN gefit op kenmerken en doelwaarden. Deze pool is aanzienlijk groter dan nodig (minstens 6x het vereiste budget) om agressieve filtering mogelijk te maken.
4. Teacher-Gestuurde en Dekkingsbehoudende Selectie: De uiteindelijke synthetische dataset wordt gevormd door de unie van twee subsets:
   • Teacher-Consistent Subset: Kandidaten die voldoen aan de taakspecifieke criteria gedefinieerd door de TabICL-teacher (bijv. hoge betrouwbaarheid, lage onzekerheid).
   • Coverage Subset: Kandidaten die uit de resterende pool worden geselecteerd om distributionele ondersteuning en diversiteit te waarborgen, waarbij gebruik wordt gemaakt van MiniBatch k-means clustering om representanten te selecteren die het dichtst bij de centroids liggen.
5. Monsterweging: Synthetische monsters krijgen gewichten op basis van hun door de teacher afgeleide kwaliteitsscores. Dit stelt downstream-modellen (met name diegenen die gewogen training ondersteunen, zoals Random Forest en SVM) in staat om prioriteit te geven aan hoog-betrouwbare synthetische records, terwijl de relatieve bijdrage van echte data behouden blijft.

Experimentele Opzet
De studie evalueerde TCSDG tegenover zes gevestigde tabel-SDG benchmarks (BN, CTGAN, ADSGAN, TVAE, RTVAE en DDPM) over twaalf gesuperviseerde landbouw-taken:

• Zes Gewastype Classificatie-taken met behulp van de LUCAS 2022-dataset over zes Europese landen (Griekenland, Italië, Oostenrijk, Duitsland, Roemenië, Bulgarije).
• Zes Gewasopbrengst Voorspellings-taken (maïs en tarwe) met behulp van de CY-Bench-dataset over zes landen (Argentinië, Duitsland, Zambia, India, Frankrijk, Italië).

De evaluatie beschouwde twee trainingsregimes (volledige 70% data en gereduceerde 30% data), vier multiplicatieratio's (1x tot 8x) en drie downstream ML-learners (Random Forest, MLP, SVM). Prestaties werden gemeten met behulp van Balanced Accuracy (BAC) voor classificatie en Root Mean Squared Error (RMSE) voor regressie.

Belangrijkste Resultaten

• Superieure Prestaties: TCSDG was de enige methode die consistent de ML-prestaties verbeterde over beide taken op het geaggregeerde niveau. Het verbeterde de prestaties in 89% van de gewastype classificatie-experimenten en in 74% van de gewasopbrengst voorspellings-experimenten wanneer synthetische data werd samengevoegd met echte data.
• Synthetische-Alleen Bekwaamheid: In de "synthetic-only" regime (waarbij de echte trainingsdata werd verwijderd), presteerde TCSDG beter dan alle andere methoden. Het overtrof de baseline in 91% van de classificatievergelijkingen, terwijl andere methoden grotendeels faalden in het herstellen van de relevante taakstructuur zonder echte data.
• Robuustheid tegenover Multiplicatieratio: In tegenstelling tot benchmarkmethoden, waarvan de prestaties verslechterden naarmate de synthetische-naar-echte ratio toenam (door de verdunning van echte data door kwalitatief slechte synthetische samples), behield TCSDG stabiele of verbeterde prestaties tot een ratio van 4x, waarna het verzadigde in plaats van instortte.
• Learner Afhankelijkheid: De voordelen van TCSDG waren het meest uitgesproken voor Random Forest en SVM, die de kwaliteitsbewuste monstergewichten konden gebruiken. De Multi-Layer Perceptron (MLP) vertoonde meer bescheiden winsten, waarschijnlijk door het onvermogen om deze gewichten te benutten en de hogere gevoeligheid voor imperfecte kalibratie.
• Data-Schaarste versus Overvloed: In tegenstelling tot de verwachting dat SDG alleen nuttig is in scenario's met weinig data, behield TCSDG zijn voordeel zelfs wanneer de fractie echte trainingsdata toenam van 30% naar 70%, wat suggereert dat het complementaire, niet-redundante informatie biedt.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage van TCSDG de verschuiving is van distributionele getrouwheid naar taakutiliteit. De auteurs stellen dat synthetische data voor landbouwvoorspellingen alleen waardevol is als het de conditionele structuur behoudt die vereist is door de downstream classifier of regressor.

De studie demonstreert dat:

1. Taakconditionering is cruciaal: Het simpelweg genereren van realistische data is onvoldoende; het generatieproces moet worden gestuurd door een taakbewuste criticus om te garanderen dat de synthetische monsters informatief zijn voor het specifieke voorspellingsdoel.
2. Een verenigde pipeline is noodzakelijk: De integratie van budgetallocatie, teacher-gestuurde filtering en monsterweging in één enkele pipeline is essentieel voor succes, zoals blijkt uit de slechte prestaties van de op zichzelf staande Bayesian Network generator die binnen TCSDG werd gebruikt wanneer deze als baseline werd getest.
3. Praktisch Framework: TCSDG biedt een praktisch, uitbreidbaar framework voor precisielandbouw dat kan worden toegepast op diverse datasets en taken, waardoor de robuustheid van modellen wordt verbeterd zonder dat er kostbare nieuwe dataverwerving nodig is.

De auteurs concluderen dat zorgvuldig ontworpen, taakgeconditioneerde synthetische data de beperkingen van data in de landbouw effectief kan aanpakken, mits het generatieproces prioriteit geeft aan downstream utiliteit boven louter statistische nabootsing.