💻 computer science

A Domain-Specific Language for LLM-Driven Trigger Generation in Multimodal Data Collection

Dit paper introduceert een declaratief framework dat natuurlijke taal en een domeinspecifieke taal (DSL) combineert om via LLM's selectieve, intent-gedreven triggers voor multimodale dataverzameling te genereren, wat leidt tot lagere opslagkosten en betere prestaties op randapparatuur vergeleken met passieve logging.

Oorspronkelijke auteurs: Philipp Reis, Philipp Rigoll, Martin Zehetner, Jacqueline Henle, Stefan Otten, Eric Sax

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Philipp Reis, Philipp Rigoll, Martin Zehetner, Jacqueline Henle, Stefan Otten, Eric Sax

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto hebt die continu video's maakt van de weg, geluiden opneemt en alle bewegingen van de auto vastlegt. Dit is heel handig om de auto slimmer te maken, maar er zit een groot probleem aan: het is een enorme rommel.

De auto slaat alles op: wanneer je rustig door een leeg veld rijdt, maar ook wanneer er iets spannends gebeurt, zoals een hond die plotseling de weg oversteekt. Het opslaan van die uren aan saaie beelden kost veel geld (opslagruimte) en tijd om te bekijken. Je wilt eigenlijk alleen die specifieke momenten bewaren.

Dit artikel beschrijft een slimme nieuwe manier om dat probleem op te lossen. Hier is de uitleg, vertaald naar alledaags taal:

1. Het Probleem: De "Alles-opnemen" Camera

Vroeger (en nu nog vaak) deed de auto alsof het een bewakingscamera was die 24/7 aanstaat.

De analogie: Stel je voor dat je een videobewakingscamera hebt in je huis. Als je die 24 uur per dag laat opnemen, heb je duizenden uren video. Als je later wilt weten of de postbode langskwam, moet je urenlang door die saaie beelden scrollen. Dat is inefficiënt.

2. De Oplossing: Een Slimme "Regisseur"

De auteurs van dit paper hebben een systeem bedacht dat werkt als een slimme regisseur in plaats van een passieve camera.

Hoe het werkt: In plaats van dat een ingenieur duizenden regels complexe programmeercode moet schrijven om te zeggen "als er een rode auto is, sla op", kunnen mensen nu gewoon in gewone taal zeggen wat ze willen.
Voorbeeld: "Ik wil beelden van sneeuwval met voetgangers."

3. De Magische Tussenstap: De "Talenvertaler" (LLM)

Het systeem gebruikt een kunstmatige intelligentie (een Large Language Model, of LLM) als vertaler.

De analogie: Stel je voor dat je een opdracht geeft aan een vertaler. Jij zegt in het Nederlands: "Ik wil een foto van een hond in de regen." De vertaler (de AI) weet dat de camera alleen "Duits" spreekt (een speciale programmeertaal). De AI vertaalt jouw zin direct naar de perfecte, foutloze instructie in het Duits, zonder dat jij het Duits hoeft te kennen.
Waarom is dit slim? Omdat de AI niet zomaar willekeurige code maakt, gebruikt het een speciale taal (DSL). Denk aan een bouwset met Lego. Je mag niet zomaar alles aan elkaar plakken (dat zou instabiel zijn), maar je bouwt met de juiste blokken die precies passen. Dit zorgt ervoor dat de instructies altijd veilig en correct werken in de auto.

4. Het Resultaat: Alleen het Belangrijke Opslaan

Zodra de AI de instructie heeft vertaald naar die speciale taal, gaat de auto aan de slag:

De auto kijkt continu naar de wereld (via camera's, sensoren, etc.).
De "regisseur" (het systeem) checkt constant: "Is het nu sneeuwen? Is er een voetganger?"
Alleen als het antwoord 'JA' is, wordt er een knopje gedrukt en wordt dat specifieke moment opgeslagen.
Alles wat saai is (lege weg, geen regen), wordt genegeerd en niet opgeslagen.

Waarom is dit een doorbraak?

Snelheid: Omdat het systeem zo slim is gedefinieerd, werkt het razendsnel. Het hoeft niet te wachten op zware berekeningen.
Betrouwbaarheid: Omdat de AI gebruik maakt van de "Lego-blokken" (de speciale taal), maakt hij minder fouten dan als hij vrijuit code zou schrijven.
Makkelijk: Je hoeft geen programmeur te zijn. Je kunt gewoon zeggen wat je nodig hebt, en het systeem regelt de rest.

Kortom: Dit paper beschrijft een systeem dat de "rommel" van data-opname weghaalt door de auto een slimme regisseur te geven die luistert naar wat jij in gewone taal zegt, en dan alleen de interessante momenten vastlegt. Het is alsof je van een camera die alles opneemt, overschakelt naar een camera die begrijpt wat belangrijk is.

1. Probleemstelling

Data-gedreven systemen, zoals die voor autonoom rijden en robotica, zijn afhankelijk van hoogwaardige, taakrelevante data. Huidige dataverzamelpijplijnen zijn echter vaak passief en indiscriminatie: ze loggen continu multimodale sensorstromen (camera's, LiDAR, telemetrie). Dit leidt tot:

Hoge kosten: Opslag- en transmissiekosten schalen lineair met het datavolume.
Irrelevante data: Een groot deel van de opgeslagen data is niet nuttig voor de downstream-taken (zoals het trainen van specifieke perceptiemodellen).
Expertise-afhankelijkheid: Bestaande methoden voor selectieve opname vereisen handmatig geschreven, laag-niveau code. Dit is moeilijk te auditen, te hergebruiken en te onderhouden.
Schaalbaarheidsproblemen: De kloof tussen semantische eisen van stakeholders (bijv. "verzamel data bij regenachtige situaties met voetgangers") en de implementatie van triggers in de voertuigsoftware is groot, wat leidt tot trage iteratiecycli.

Er is behoefte aan een methode die selectieve dataverzameling omzet van handmatige heuristieken naar een declaratieve, verifieerbare en schaalbare specificatie, waarbij de relevantie van data afhankelijk is van de specifieke gebruiker en taak.

2. Methodologie

Het paper stelt een raamwerk voor dat natuurlijke taalinteractie combineert met een formeel gespecificeerde Domain-Specific Language (DSL) voor het genereren van triggers.

A. Formele Definitie en DSL

De auteurs definiëren een formele structuur voor "triggers" (voorwaarden waaronder data moet worden opgeslagen):

Scene ( $S$ ) en Voertuigstatus ( $V$ ): Een situatie wordt gedefinieerd als een verzameling van elementen (objecten, ruimtelijke eigenschappen) en interne voertuigsignalen.
Predicaten ( $P$ ): Booleaanse functies die specifieke voorwaarden evalueren op waarden of attributen binnen een situatie.
Trigger ( $T$ ): Een logische combinatie van predicaten via operatoren zoals AND, OR en NOT.

De DSL wordt gedefinieerd met behulp van Extended Backus-Naur Form (EBNF). De syntax maakt het mogelijk om triggers te specificeren met keywords zoals TRIGGER, PREDICATE, en AS (voor aliasing). Voorbeelden van predicaten zijn objectdetectie (class="person"), afstandsberekening, of kleurherkenning.

B. Integratie van Large Language Models (LLM)

Om de kloof tussen natuurlijke taal en de strikte DSL-syntax te overbruggen, wordt een Retrieval-Augmented Generation (RAG) aanpak gebruikt:

Input: Stakeholders geven data-eisen in natuurlijke taal op (bijv. "Ik wil data van rode auto's in de sneeuw").
Translatie: Een gespecialiseerd LLM (in dit geval gpt-oss-120b) vertaalt deze vraag naar een gestructureerde JSON-representatie die strikt voldoet aan de EBNF-grammatica van de DSL.
Context: Het model heeft toegang tot systeemkennis (zoals signaallijsten en sensor-mappings) via RAG om de generatie accuraat te houden.
Output: De gegenereerde JSON wordt door het voertuigstelsel verwerkt als een uitvoerbare trigger-configuratie.

C. Voertuigarchitectuur

Het systeem draait op een ROS-omgeving (Robot Operating System) en bestaat uit drie hoofdcomponenten:

Data Manager: Verzorgt data-provisioning, filtering en caching van de huidige voertuigsituatie.
Trigger Engine: Voert de gegenereerde logica in real-time uit. Het evalueert predicaten alleen wanneer nieuwe data beschikbaar is of op een specifieke frequentie.
Trigger Manager: Beheert de uitvoeringsschema's van alle actieve triggers en zorgt voor resource-beheer.

3. Belangrijkste Bijdragen

Een DSL voor multimodale triggers: Een taal die conditionele logica en compositie ondersteunt, wat formele verificatie en efficiënte uitvoering op het apparaat mogelijk maakt.
Een LLM-gedreven framework: Een systeem dat gebruikersvragen vertaalt naar controleerbare, herbruikbare opnameprogramma's, waardoor de afhankelijkheid van specialistische programmeerkennis wordt verminderd.
Empirische validatie: Een evaluatie op voertuig- en robotplatforms die aantoont dat de DSL-aanpak betere consistentie en lagere latentie biedt dan onbeperkte code-generatie, met vergelijkbare detectieprestaties.

4. Resultaten

De auteurs vergeleken hun DSL-aanpak met twee benchmarks:

Plain Code: LLM genereert direct Python/Code zonder DSL-beperkingen.
VLM (Vision-Language Model): Een model (Gemma3) dat direct een beslissing neemt per afbeelding zonder tussenliggende trigger-generatie.

De resultaten tonen het volgende:

Detectieprestaties: De prestaties (F1-score, precisie, recall) zijn vergelijkbaar tussen de DSL-aanpak, de code-aanpak en de VLM. De VLM scoorde iets hoger op F1 (0.67), maar de DSL (0.62-0.76 afhankelijk van de query) bleef concurrerend.
Generatie-Consistentie: Dit is het sterkste punt van de DSL.
- Bij het genereren van dezelfde trigger meerdere keren (met verschillende random seeds) toonde de DSL aanzienlijk hogere consistentie (Levenshtein-similairiteit: 0.966 vs 0.392 voor code).
- De code-aanpak produceerde veel variatie in de syntaxis, wat leidt tot onvoorspelbaar gedrag en onderhoudsproblemen.
Runtime Performance:
- De DSL-aanpak had de laagste uitvoeringstijd. Door de gestructureerde logica en geoptimaliseerde integratie met de data-cache was het zeer efficiënt.
- De Code-aanpak was trager door redundante checks en inefficiënte logica.
- De VLM-aanpak had de hoogste kosten per query, omdat elke afbeelding een volledige inferentie vereist, wat niet schaalbaar is voor real-time systemen.

5. Betekenis en Conclusie

Dit paper introduceert een paradigmaverschuiving in dataverzameling voor autonome systemen: van passieve logging naar intent-gedreven, selectieve opname.

Schaalbaarheid: Door triggers te definiëren via een DSL, kunnen nieuwe triggers onafhankelijk worden toegevoegd of aangepast zonder de hele pijplijn te herontwerpen.
Efficiëntie: Het framework is geschikt voor resource-beperkte edge-platforms (zoals voertuigen) omdat het de rekenlast minimaliseert en alleen relevante data opslaat.
Toekomstperspectief: Hoewel de detectieprestaties nog afhankelijk zijn van de onderliggende perceptiemodellen (zoals YOLO of CLIP), biedt de architectuur een robuuste basis voor de toekomst. De combinatie van de structuur en consistentie van een DSL met de flexibiliteit van LLM's biedt een praktische route naar schaalbare, data-centric AI.

Kortom, het paper bewijst dat het beperken van LLM-generatie tot een strikte, domeinspecifieke taal de betrouwbaarheid en efficiëntie van dataverzameling in real-time systemen aanzienlijk verbetert zonder in te leveren op de kwaliteit van de gegenereerde data.