⚡ electrical engineering

From Big Data to Fast Data: Towards High-Quality Datasets for Machine Learning Applications from Closed-Loop Data Collection

Dit paper introduceert het concept 'Fast Data' voor de automobielindustrie, waarbij data-selectie en -opname in real-time op het voertuig plaatsvinden om via een gesloten lus hoogwaardige, relevante datasets te genereren die de ontwikkeling van machine learning-systemen efficiënter en kosteneffectiever maken.

Oorspronkelijke auteurs: Philipp Reis, Jacqueline Henle, Stefan Otten, Eric Sax

Gepubliceerd 2026-04-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Philipp Reis, Jacqueline Henle, Stefan Otten, Eric Sax

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme hoeveelheid video's maakt van je dagelijkse rit met de auto. Je hebt een camera die 24/7 aan staat.

Het oude probleem: "Big Data" (De overvolle koffer)
Vroeger dachten auto-merken: "Laten we gewoon alles opnemen!" Ze zetten enorme harde schijven in de auto's en verzamelden miljarden kilometers aan data.

Het nadeel: Je krijgt 99% saaie beelden (leeg wegdek, dezelfde verkeerslichten, dezelfde regen). Maar de 1% die echt belangrijk is (een kind dat plotseling de weg op rent, een rare auto die uit het niets komt), zit verstopt tussen die bergen saaie beelden.
De kosten: Het kost een fortuin om al die saaie beelden op te slaan, over te sturen naar een server en later weer te zoeken naar die ene interessante scène. Het is alsof je een hele berg zand doorzoekt om één goudklompje te vinden.

De tussenstap: "Smart Data" (De slimme filter)
Daarna probeerden ze het slimmer: "Laten we alleen de interessante dingen opslaan." Ze gebruikten software om te zeggen: "Oh, hier is een ongelukje gebeurd, sla dat op!"

Het nadeel: Dit gebeurt vaak nog steeds na het rijden. De auto rijdt, slaat alles op, en later op de server wordt gekeken wat interessant was. Of de auto kijkt naar een statische lijst van regels (bijv. "als de rem hard wordt ingetrapt, sla op").
Het probleem: De auto weet niet wat hij al heeft opgeslagen. Misschien slaat hij 100 keer hetzelfde soort ongeluk op, terwijl hij nog nooit een auto heeft gezien die achteruit rijdt op de snelweg. Hij vult zijn koffer nog steeds met herhalingen.

De oplossing in dit paper: "Fast Data" (De slimme kok)
De auteurs van dit paper introduceren het concept Fast Data. Dit is een radicale verschuiving. In plaats van een passieve opname, wordt de auto een actieve kok die direct in de auto kookt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Kok in de Keuken (De Auto)

Stel je voor dat je een kok bent die een gerecht moet bereiden voor een jury (het machine learning-model).

Big Data: Je koopt 100 kilo groenten, brengt ze allemaal naar de jury, en laat hen later zoeken wat ze lekker vinden.
Fast Data: De kok (de auto) staat in de keuken. Hij heeft een lijst met wat de jury nog mist.
- "De jury heeft al 50 keer aardappels gezien, maar nog nooit een courgette." -> De kok pakt de courgette en doet die in de pan.
- "De jury heeft al 10 keer aardappels gezien, maar we hebben er nog maar 1 nodig." -> De kok gooit de aardappel weg, hij is niet nodig.

De auto neemt direct een beslissing: "Is dit beeld al genoeg in mijn collectie? Zo ja, gooi het weg. Zo nee, sla het op."

2. De Levende Lijst (De Gesloten Lus)

Het geheim van Fast Data is dat de auto een levende lijst bijhoudt van wat hij al heeft.

Stel, de auto rijdt door de regen. Hij ziet een natte weg. Hij kijkt op zijn lijst: "Oh, ik heb al 1000 beelden van natte wegen. Ik heb genoeg." -> Niet opslaan.
Dan ziet hij een auto die slippen op een ijslaagje. Hij kijkt op zijn lijst: "Wacht, ik heb nog nooit een ijslaagje gezien! Dit is uniek!" -> Direct opslaan en doorsturen.

Dit heet een gesloten lus (closed-loop). De auto weet direct wat hij heeft, wat hij mist, en past zijn opname daar direct op aan. Hij hoeft niet te wachten tot iemand anders later zegt wat belangrijk is.

3. Waarom is dit zo belangrijk?

Voor kunstmatige intelligentie (AI) in auto's is kwaliteit belangrijker dan kwantiteit.

Als je een AI wilt leren om veilig te rijden, wil je niet 1 miljoen beelden van een lege weg. Je wilt 100 beelden van alle verschillende situaties die gevaarlijk kunnen zijn.
Met Fast Data wordt de auto een curator. Hij zorgt ervoor dat de dataset die hij maakt perfect gebalanceerd is: genoeg regen, genoeg zon, genoeg slippen, genoeg kinderen op de weg.
Resultaat: De auto wordt veiliger, de ontwikkeling gaat sneller, en je bespaart enorm veel geld en energie omdat je geen "saaie" data meer opslaat of verstuurt.

Samenvattend in één zin:

In plaats van een auto te bouwen die alles opneemt en later hoopt dat er iets interessants tussen zit (Big Data), bouwen we een auto die weet wat hij al heeft en direct besluit wat hij moet opnemen om de perfecte verzameling voor de AI te maken (Fast Data). Het is de overstap van "alles verzamelen" naar "slimmer verzamelen".

Titel: Van Big Data naar Fast Data: Richting Hoogwaardige Datasets voor Machine Learning-toepassingen via Gesloten-Loops Dataverzameling

Auteurs: Philipp Reis, Jacqueline Henle, Stefan Otten en Eric Sax (FZI Research Center for Information Technology, Karlsruhe, Duitsland)

1. Het Probleem

De ontwikkeling van machine learning (ML)-systemen voor de automobielindustrie, zoals vision-language en multimodale modellen, stelt steeds hogere eisen aan de kwaliteit en relevantie van trainingsdata.

Beperkingen van Big Data: Traditionele benaderingen volgen een "Big Data"-paradigma waarbij enorme hoeveelheden data worden opgeslagen en pas later (offline) in een centraal systeem worden verwerkt. Dit leidt tot veel redundantie, hoge opslag- en transmissiekosten, en een vertraagde waarde-extractie.
Beperkingen van Smart Data: "Smart Data"-benaderingen proberen relevante subsets te selecteren, maar doen dit vaak nog steeds op basis van post-hoc (na het feit) analyse. Hierdoor blijven de feedbackcyclussen tussen datageneratie en modelverbetering lang, en moet er nog steeds veel data worden opgeslagen voordat de relevantie kan worden beoordeeld.
Kernuitdaging: Het is onhaalbaar om exhaustief alle rijdata op te slaan. De uitdaging is om tijdens het rijden (in real-time) te beslissen welke data essentieel is voor het trainen van ML-modellen, zonder de kwaliteit van het uiteindelijke dataset te compromitteren.

2. Methodologie en Conceptueel Kader

De auteurs introduceren het concept van Fast Data voor de automotive system engineering. Dit verschuift de controle over dataselectie en opname van de backend naar de "edge" (het voertuig zelf).

A. Het Fast Data Paradigma

In tegenstelling tot Big Data (backend, post-hoc) en Smart Data (backend, post-hoc maar gefilterd), is Fast Data:

Locatie: Voertuig (Edge).
Timing: Real-time.
Relatie: Dataset-specifiek (de beslissing hangt af van de huidige staat van het dataset).
Adaptiviteit: Adaptief en gesloten-loop.

B. Dataset Kwaliteitsmodel

Om hoogwaardige datasets te genereren, definiëren de auteurs een kwaliteitsmodel gebaseerd op ISO-normen (ISO 5259, ISO 25012). Ze filteren de vele mogelijke kwaliteitskenmerken naar vier cruciale dimensies die direct beïnvloed kunnen worden door de verzamelstrategie:

Relevantie: Geschiktheid voor het specifieke doelprobleem.
Balans: Verdeling van entiteiten of attributen (voorkomen van onder- of oververtegenwoordiging).
Diversiteit: Verschil tussen samples op feature-niveau (voorkomen van overfitting).
Similariteit: Mate van overeenkomst tussen datapunten (te veel gelijke data leidt tot overfitting).

C. Analyse van Verzamelstrategieën

De auteurs onderscheiden twee soorten triggers voor dataselectie:

Data-intrinsieke triggers: Beslissingen gebaseerd op lokale eigenschappen van het huidige datapunt (bijv. drempelwaarden, semantische detectie, of fouten in shadow mode). Deze zijn vaak statisch en niet afhankelijk van de totale dataset.
Dataset-specifieke triggers: Beslissingen gebaseerd op de relatie tussen een nieuw datapunt en de bestaande dataset (bijv. anomaliedetectie, diversiteit).
- Kritiek op huidige methoden: Veel bestaande methoden zijn slechts "dataset-geconditioneerd" (gebaseerd op een statisch, offline getraind model) en niet echt "dataset-specifiek" tijdens de runtime. Ze kunnen zich niet aanpassen aan de evoluerende staat van het dataset.

D. Gesloten-Loop (Closed-Loop) Formulier

De kern van de voorgestelde methode is de formalisering van dataverzameling als een gesloten feedbacklus:

Doelstaat ( $\theta^*$ ): De gewenste eigenschappen van het dataset (bijv. hoge diversiteit, specifieke balans).
Schatting van datasetstaat ( $\hat{\theta}[k]$ ): Een compacte, online bijgewerkte schatting van de huidige eigenschappen van het verzamelde dataset.
Waarde-evaluatie ( $\psi[k]$ ): De waarde van een nieuw datapunt wordt bepaald door de mismatch tussen de huidige staat en de doelstaat.
Beleid ( $F$ ): Een controller die bepaalt of een sample wordt opgeslagen ( $u[k]=1$ ) of verworpen ( $u[k]=0$ ).
Feedback: De opname van een sample update direct de schatting van de datasetstaat, waardoor toekomstige beslissingen adaptief zijn.

3. Belangrijkste Bijdragen

Het paper levert vier concrete bijdragen:

Dataset Kwaliteitsmodel: Afleiding van een model dat de sleutelkwaliteitskenmerken (relevantie, balans, diversiteit, similariteit) identificeert die essentieel zijn voor Fast Data-toepassingen.
Analyse van Dataset-generatiepaden: Een vergelijking van real-world data, simulatie, generatieve AI en open datasets. De conclusie is dat real-world data onmisbaar blijft voor validatie en "ground truth", maar dat selectieve opname nodig is vanwege de "long-tail" aard van rijdata.
Taxonomie van Verzamelstrategieën: Een onderscheid tussen data-intrinsieke en dataset-specifieke triggers, met een analyse van hun beperkingen ten opzichte van kwaliteitsdoelstellingen.
Gesloten-Loop Architectuur: Formulering van Fast Data-verzameling als een state-aware en requirement-aware proces, inclusief de afleiding van de kernvereisten voor een dergelijke architectuur (bijv. online schatting van de datasetstaat en real-time feedback).

4. Resultaten en Conclusies

Shift in Paradigma: De paper toont aan dat de overgang van Big Data naar Fast Data niet alleen een tijdsverschuiving is (snellere beslissingen), maar een structurele verschuiving. Dataverzameling wordt van een passieve logging-taak een actief, gestuurd proces.
Efficiëntie: Door data alleen op te nemen wanneer deze de kloof tussen de huidige dataset en de doelstellingen verkleint, wordt irrelevante data (redundantie) geminimaliseerd. Dit verlaagt opslag-, transmissie- en verwerkingskosten aanzienlijk.
Kwaliteit: De methode garandeert datasets met hogere relevantie, betere dekking van kritieke scenario's (long-tail events) en een hogere informatiedichtheid.
Beperkingen van bestaande systemen: Bestaande "Smart Data"-oplossingen zijn onvoldoende omdat ze vaak statische regels of offline getrainde modellen gebruiken en geen continue feedback hebben over de staat van het dataset tijdens de runtime.

5. Betekenis en Toekomstperspectief

De significance van dit werk ligt in het bieden van een gestructureerde basis voor het ontwerpen van dataverzamelstrategieën die aansluiten bij de behoeften van moderne ML-algoritmen.

Voor de Automotive Industrie: Het stelt ontwikkelaars in staat om schaalbare en kosteneffectieve ML-ontwikkelingsprocessen te creëren, waarbij de focus ligt op kwaliteit in plaats van kwantiteit.
Toekomstig Werk: De auteurs benadrukken dat de volgende stap de implementatie en validatie van de benodigde componenten van dit gesloten-loop paradigma in echte rijomgevingen is. Dit omvat het ontwikkelen van efficiënte algoritmen voor online dataset-state schatting en het beheren van bron-zijde (edge) resource constraints (rekenkracht, bandbreedte).

Kortom, het paper pleit voor een fundamentele verschuiving naar Fast Data: een adaptief, gesloten-loop systeem dat real-time beslissingen neemt om hoogwaardige, doelgerichte datasets te genereren direct aan de bron.