Engineering Systems for Data Analysis Using Interactive Structured Inductive Programming

Dit paper introduceert iProg, een tool die interactieve gestructureerde induktieve programmering toepast om via een samenwerkingsprotocol tussen mens en LLM betrouwbare en onderhoudbare data-analysesystemen te genereren, wat leidt tot een significante verbetering in kwaliteit en ontwikkelingstijd ten opzichte van bestaande Low Code/No Code-methoden.

De kern

Stel je voor dat je een enorm, complex bouwwerk moet neerzetten, zoals een futuristische stad of een supergeavanceerde machine. Vroeger deden ingenieurs dit handmatig: ze tekenden elke steen, elke kabel en elk raamwerk zelf. Dit was betrouwbaar, maar het duurde eeuwen.

Vandaag de dag hebben we een nieuwe, krachtige assistent: een AI die kan programmeren (zoals ChatGPT). Je kunt haar zeggen: "Bouw die stad voor me," en ze schrijft in een seconde een heel plan. Maar hier zit een addertje onder het gras: de AI is vaak slordig. Ze bouwt muren zonder deuren, legt kabels door elkaar en maakt een stad die er mooi uitziet, maar niet werkt. Dit noemen ze "No Code" of "Low Code" oplossingen: snel, maar onbetrouwbaar.

De auteurs van dit paper, Shraddha, Ashwin en Michael, hebben een slimme oplossing bedacht genaamd iProg. Ze noemen het "Interactieve Gestructureerde Inductieve Programmering". Dat klinkt als een tongbreker, maar het is eigenlijk heel simpel.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Architect en de Bouwmeester (Het Twee-Fasen Plan)

In plaats van de AI direct te laten bouwen, gebruiken ze een slimme tweestapsaanpak.

• Fase 1: De Blauwdruk (De DFD)
  Stel je voor dat je de AI vraagt: "Hoe bouwen we een stad?" In plaats van direct muren op te trekken, vraagt de AI eerst om een blauwdruk.
  In de wereld van iProg heet dit een Data Flow Diagram (DFD). Dit is een soort plattegrond die laat zien welke onderdelen er nodig zijn (bijvoorbeeld: "water halen", "elektriciteit aanleggen", "huizen bouwen") en hoe die aan elkaar hangen.

  • Het slimme trucje: De mens (de expert) kijkt naar dit voorstel. Als de AI vergeet dat er een brug nodig is tussen twee eilanden, zegt de mens: "Nee, dat klopt niet." De AI past het aan. Ze werken samen tot de blauwdruk perfect is. Dit is als een architect die met een klant overlegt voordat er ook maar één baksteen wordt gelegd.

• Fase 2: Het Bouwen (De Code)
  Als de blauwdruk goed is, gaat de AI aan de slag om de specifieke onderdelen te bouwen. Maar ze doet dit niet in één keer. Ze bouwt één huis, dan de elektriciteit, dan de riolering.
  Na elk stukje code vraagt de AI: "Is dit goed?"
  De mens kijkt en zegt:

  • RATIFY (Akkoord): "Ja, dit huis is perfect."
  • REFUTE (Nee): "Nee, de deur zit op de verkeerde plek."
  • REVISE (Pas aan): "Doe het nog een keer, maar dan anders."

Dit noemen ze het "2-Way Intelligibility Protocol". Het is alsof je een gesprek voert met een zeer snelle, maar soms verwarde bouwvakker. Jij houdt de toezicht, en door steeds te controleren of de volgende stap klopt, voorkom je dat het hele gebouw instort.

2. Waarom is dit zo goed? (De Vergelijking)

De auteurs hebben dit getest op twee echte, moeilijke projecten:

1. Sterrenkunde: Het voorspellen van hoe sterren worden geboren uit enorme hoeveelheden data.
2. Biochemie: Het herkennen van speciale eiwitten in DNA.

Ze hebben iProg vergeleken met:

• Handmatig bouwen: De oude manier (duur, langzaam, maar goed).
• No Code / AI alleen: De snelle manier (snel, maar vaak kapot).

Het resultaat?

• Snelheid: iProg was 10 keer sneller dan handmatig bouwen.
• Kwaliteit: De software die iProg maakte werkte beter dan de "No Code" versies. De "No Code" AI's faalden vaak volledig op de moeilijke biochemie-problemen.
• Betrouwbaarheid: Omdat de mens steeds controleerde (de blauwdruk en de losse onderdelen), was het eindresultaat stevig en foutloos.

3. De Gouden Leerlessen

Wat leren we hieruit voor de toekomst?

• Structuur is koning: Als je een AI vraagt om iets complex te doen, geef haar eerst een plattegrond (de blauwdruk). Zonder plan maakt ze rommel.
• Samenwerking werkt: De AI is niet de baas, en de mens is niet de enige die werkt. Het is een team. De AI doet het zware, snelle werk; de mens zorgt voor de richting en de kwaliteit.
• Geen "Zet het maar op de automatische piloot": Als je de AI alleen laat werken zonder te checken, krijg je een rommel. Maar als je haar gebruikt als een super-snelle assistent die je elke stap laat controleren, kun je in een paar dagen doen wat normaal maanden duurt.

Kortom:
iProg is als het hebben van een meester-bouwkundige (de mens) die samenwerkt met een supersnelle, maar soms verwarde robot (de AI). De robot bouwt razendsnel, maar de meester houdt de blauwdruk in de gaten en zegt "Stop, pas dat aan" als het fout gaat. Het resultaat is een perfect gebouw, in een fractie van de tijd.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Engineering Systems for Data Analysis Using Interactive Structured Inductive Programming" in het Nederlands.

Titel: Engineering Systems for Data Analysis Using Interactive Structured Inductive Programming

Auteurs: Shraddha Surana, Ashwin Srinivasan en Michael Bain.

---

1. Het Probleem

Het ontwikkelen van informatiesystemen voor wetenschappelijke data-analyse is inherent complex. Traditionele manuele ontwikkeling is betrouwbaar maar tijdrovend. Aan de andere kant bieden "No Code"-benaderingen die volledig op Large Language Models (LLMs) vertrouwen snelheid, maar leiden vaak tot onbetrouwbare systemen. Deze LLM-gedreven systemen missen vaak correctheid, structuur en onderhoudbaarheid, vooral bij complexe workflows die data-acquisitie, transformatie, modellering en validatie omvatten.

De centrale bottleneck is het bepalen van een geschikte systeemdecompositie (hoe het probleem in sub-taken wordt opgesplitst) voordat code kan worden gegenereerd. Zonder deze gestructureerde aanpak kunnen LLMs geen complexe, end-to-end systemen bouwen die voldoen aan de eisen van domeinspecialisten.

2. Methodologie: iProg

De auteurs presenteren iProg, een tool die Interactive Structured Inductive Programming (iSIP) implementeert. Dit is een semi-geautomatiseerde aanpak die LLMs combineert met menselijke supervisie via een specifiek communicatieprotocol.

De methologie bestaat uit twee gekoppelde fasen:

Fase 1: Interactieve Structuuridentificatie (iStruc)

• Doel: Het vertalen van een natuurlijke taalbeschrijving van een taak naar een Data Flow Diagram (DFD).
• Proces: Een LLM stelt een initiële DFD voor (een gerichte acyclische graaf met processen, data-opslag en stromen). Elke procesknooppunt bevat een beschrijving, een pre-conditie (vereiste staat) en een post-conditie (garandeerde staat).
• Interactie: De menselijke ingenieur beoordeelt het voorstel via een 2-way Intelligibility-protocol. De mens gebruikt tags zoals RATIFY (goedkeuren), REFUTE (verwerpen met reden) of REJECT.
• Resultaat: Een door de gebruiker goedgekeurd DFD dat de workflow definieert.

Fase 2: Interactieve Codegeneratie (iCode)

• Doel: Het genereren van uitvoerbare code voor elk proces in het goedgekeurde DFD.
• Proces: Voor elk proces in het DFD (in een breedte-first volgorde) start een interactie tussen mens en LLM.
• Protocol: Hetzelfde protocol wordt gebruikt. De LLM genereert code en een uitleg. De mens beoordeelt dit op correctheid en onderhoudbaarheid.
  • Als de code niet voldoet, stuurt de mens een REFUTE tag met een verklaring, waarna de LLM de code moet herzien (REVISE).
  • De mens stuurt nooit REVISE (de mens herwerkt de code niet zelf, maar geeft feedback), en de machine stuurt nooit REJECT.
• Compositie: De gevalideerde sub-programma's worden samengevoegd tot een volledig, uitvoerbaar systeem.

3. Belangrijkste Bijdragen

1. Methodologie voor Semi-geautomatiseerde Software Engineering: Een nieuwe aanpak die LLMs gebruikt om (a) systeemdecomposities uit natuurlijke taal te identificeren en (b) menselijk goedgekeurde code te genereren, waarbij wetenschappelijke data-analyse wordt behandeld als workflow-ontwikkeling.
2. Het iProg Tool: Een implementatie die de overgang van natuurlijke taalbeschrijvingen naar gecertificeerde systeemontwikkeling ondersteunt.
3. Empirische Validatie: Uitgebreide evaluatie op twee echte wetenschappelijke projecten (Astrofysica en Biochemie) die aantoont dat deze methode superieur is aan bestaande Low Code/No Code alternatieven.

4. Resultaten

De tool werd getest op twee publieke wetenschappelijke samenwerkingen:

• Astrofysica (PHY): Voorspelling van sterrenvormingseigenschappen uit astronomische data.
• Biochemie (BIO): Classificatie van eiwitsequenties als antimicrobiële peptiden.

Vergelijking met Baselines:

• Tegenover "No Code" (Directe LLM-generatie): No Code-benaderingen faalden vaak (runtime-fouten, niet-functionele systemen) of produceerden code met hoge foutmarges.
• Tegenover "Low Code" (LLM met vrije menselijke feedback): Zelfs met menselijke feedback zonder DFD-structuur presteerden deze systemen slechter dan iProg, vooral bij complexere taken (BIO).
• Tegenover Manuele Ontwikkeling:
  • Prestatie: iProg-systemen hadden gelijke of betere prestaties (lagere foutmarges) dan de oorspronkelijk handmatig ontwikkelde systemen (bijv. PHY: 0.020-0.030 fout vs. 0.058-0.164 bij handmatige ontwikkeling).
  • Kwaliteit: iProg genereerde modulaire, gestructureerde code met betere logica-scores (6.69/10 vs. ~1.8 voor Low Code) en minder typefouten.
  • Effort: Ontwikkelingstijd werd drastisch verkort. Waar handmatige ontwikkeling 2-6 persoonmaanden vereiste, voldeed iProg met 0.13-0.3 persoonmaanden (één ingenieur in 4-10 dagen).

5. Betekenis en Conclusie

Het paper toont aan dat Interactive Structured Inductive Programming een veelbelovende weg is voor de engineering van informatiesystemen.

• Structuur is cruciaal: Het gebruik van DFDs en expliciete pre/post-condities vermindert ambiguïteit en stelt de mens in staat om gericht feedback te geven.
• Menselijke verificatie is onmisbaar: Zonder menselijke ratificatie blijven fouten en inconsistenties bestaan. LLMs fungeren hier als krachtige assistenten voor voorstellen, maar niet als autonome vervangingen voor ontwerp en validatie.
• Schaalbaarheid: De aanpak is schaalbaar en vereist slechts een beperkt aantal interacties (3-4 voor structuur, 2-3 per proces voor code) om tot een hoogwaardig resultaat te komen.

De auteurs concluderen dat iProg het mogelijk maakt om snel, hoogwaardige en onderhoudbare systemen voor data-analyse te bouwen, wat een grote stap voorwaarts is ten opzichte van zowel traditionele manuele methoden als huidige "No Code" LLM-toepassingen.