Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

Dit artikel stelt een gestructureerd raamwerk voor voor het reguleren van door AI ondersteunde ontwikkeling van wetenschappelijke software binnen strikte kwaliteitsborgingsnormen zoals NQA-1, waarbij de TMAP8 fusie-energiecode wordt gebruikt om aan te tonen hoe transparante, traceerbare en controleerbare verificatie- en validatieprocessen menselijke verantwoordingsplicht en softwarebetrouwbaarheid kunnen waarborgen.

De kern

Stel je voor dat je een kerncentrale bouwt. De software die de besturing regelt, is als het brein van de installatie; als er een klein foutje in zit, kunnen de gevolgen catastrofaal zijn. Decennialang was de regel: "Alleen mensen schrijven deze code, en andere mensen moeten elke regel dubbel controleren." Dit zorgt voor veiligheid, traceerbaarheid en verantwoordingsplicht.

Stel je nu een nieuwe, ongelooflijk snelle en getalenteerde leerling voor: een AI-coderingsagent. Deze kan in seconden code schrijven, tests uitvoeren en documentatie opstellen. Maar hier zit de adder onder het gras: deze leerling "hallucineert" soms. Hij kan code schrijven die er perfect uitziet en zonder crashen draait, maar die wiskundig gezien het verkeerde doet — net als een chef-kok die groenten perfect snijdt, maar per ongeluk zout door suiker vervangt.

Dit artikel, getiteld "De kloof overbruggen bij AI-ondersteunde wetenschappelijke softwareontwikkeling door middel van transparantie en traceerbaarheid", behandelt een grote vraag: Hoe laten we deze AI-leerling ons helpen bij het bouwen van kritieke software, zonder dat hij gevaarlijke fouten sluipend invoert?

De auteurs betogen dat het verbieden van AI geen oplossing is (het zal dan alleen maar naar de ondergrondse wereld gaan en nog gevaarlijker worden). In plaats daarvan hebben we een governancekader nodig — een set strikte regels — om te beheren hoe AI helpt.

Het Kernidee: Het "Proefveld"

Om deze regels te testen, hebben de auteurs niet alleen over theorie gesproken; ze bouwden een "trainingsveld" met behulp van een specifiek wetenschappelijk softwarehulpmiddel genaamd TMAP8.

Stel je TMAP8 voor als een simulator voor tritium (een radioactieve brandstof die wordt gebruikt in kernfusie-energie). De software staat al bekend om zijn uiterst veilige en strikt gereguleerde aard (volgens "NQA-1"-normen, die als de "Gouden Standaard" van nucleaire veiligheid gelden).

De auteurs gebruikten TMAP8 om twee scenario's te testen, fungerend als een vluchtsimulator voor hun nieuwe regels:

1. De "Kopieer-Plak"-Uitdaging: Ze vroegen de AI om een bekend wetenschappelijk experiment uit een gepubliceerd artikel na te maken. De AI moest een door mensen geschreven wiskundemodel vertalen naar code.
   • Het Resultaat: De AI was snel in het saaie werk (bestanden formatteren, grafieken maken). Echter, hij miste een subtiel detail in het originele artikel (een term voor "defectannihilatie"). Als een mens het werk niet had gecontroleerd, zou de simulatie verkeerd zijn geweest. De AI kopieerde trouw de fout in het artikel.
2. De "Uitvinder"-Uitdaging: Ze vroegen de AI een probleem op te lossen waarvoor geen gepubliceerd model bestond. De AI moest de fysica raden, een hypothese opstellen en deze testen tegen echte data.
   • Het Resultaat: De AI was geweldig in brainstormen. Hij probeerde snel verschillende manieren om een dunne laag roest (oxide) op een metalen oppervlak te modelleren, iets waarvoor een mens weken zou nodig hebben voor een prototype. Hij vond een werkende oplossing veel sneller dan een mens alleen zou kunnen.

De Nieuwe Regels: Het "AGENTS.md"-Contract

Het artikel stelt een eenvoudige maar krachtige oplossing voor: een bestand genaamd AGENTS.md.

Stel je dit bestand voor als een contract of een vluchthandleiding dat binnen het softwareproject leeft. Het vertelt de AI precies hoe hij zich moet gedragen. Dit zijn de eisen van het contract:

• Geen Geheimen: Elke keer dat de AI code schrijft, moet hij een "bon" (metadata) achterlaten met de tekst: "Ik heb dit geschreven, en dit was mijn redenering."
• De Mens is de Kapitein: De AI is de copiloot, maar een mens moet altijd degene zijn die het werk goedkeurt. De mens is wettelijk en wetenschappelijk verantwoordelijk voor het eindproduct.
• De "Red Team"-Controle: De AI kan niet gewoon zeggen: "Ik ben klaar." Hij moet een reeks geautomatiseerde tests uitvoeren (zoals een crashtest) om te bewijzen dat zijn code werkt. Als hij faalt, wordt hij teruggestuurd naar het tekentafel.
• Traceerbaarheid: Je moet jaren later naar de code kunnen kijken en precies zien welke AI-tool is gebruikt, welke versie, en wat de mens heeft gedaan om het te repareren.

De Grote Lessen

Door hun experimenten ontdekten de auteurs drie belangrijke dingen:

1. AI is een Snelheidsverhoging, geen Vervanging: De AI kan het zware tillen van typen en formatteren doen, waardoor mensen vrijkomen voor het moeilijke denken. Maar de mens moet het schip nog steeds sturen.
2. De "Stille" Hallucinatie is het Echte Gevaar: De engste AI-fouten zijn niet wanneer hij onzin schrijft; het zijn fouten waarbij hij code schrijft die er goed uitziet, maar wetenschappelijk verkeerd is. De enige manier om dit te vangen, is met een mens die de fysica begrijpt, niet alleen de code.
3. Regels Moeten Hard-Coded Zijn: Je kunt de AI niet gewoon zeggen: "Onthoud alsjeblieft om voorzichtig te zijn." De AI vergeet het. In plaats daarvan moeten de regels in de software zelf zijn ingebouwd (zoals een poort die niet opent tenzij de AI zijn "bon" heeft bevestigd en de tests heeft doorstaan).

De Conclusie

Het artikel concludeert dat we niet hoeven te kiezen tussen "Alleen mens" en "Alleen AI". We kunnen Gereguleerde AI hebben.

Door AI-ondersteunde ontwikkeling te behandelen als een gereguleerd nucleair project — waarbij elke stap wordt gedocumenteerd, elke output wordt getest en een mens de ultieme autoriteit blijft — kunnen we genieten van de snelheid van AI zonder de veiligheid en het vertrouwen te offeren die nodig zijn voor wetenschappelijke ontdekking. Het doel is niet om de AI te stoppen; het is ervoor te zorgen dat de "leerlingperiode" van de AI veilig, transparant en verantwoordelijk is.

Technische samenvatting

Technische Samenvatting: De Kloof Overbruggen bij AI-ondersteunde Ontwikkeling van Wetenschappelijke Software door Transparantie en Traceerbaarheid

Probleemstelling
De gemeenschap van wetenschappelijke software staat voor een systemisch risico dat voortvloeit uit de ad hoc, ongeleide en grotendeels onerkende adoptie van Large Language Models (LLM's) en agentische AI-systemen voor codegeneratie, testen en documentatie. Hoewel deze tools de ontwikkeling versnellen, vormen hun gebruik in veiligheidskritieke domeinen – specifiek die welke worden beheerst door strikte Software Quality Assurance (SQA)-normen zoals Nuclear Quality Assurance Level 1 (NQA-1) – aanzienlijke uitdagingen. Traditionele SQA-kaders veronderstellen menselijke auteurschap en onafhankelijke verificatie. AI introduceert gecorreleerde faalmodi (waarbij hetzelfde model zowel code als tests genereert), verhoogt de codevolume en complexiteit, en produceert "hallucinaties": syntactisch geldige maar semantisch incorrecte implementaties. Huidige workflows missen een gestandaardiseerd kader om AI-betrokkenheid te reguleren, wat de integriteit van voor de veiligheid relevante modellering- en simulatiehulpmiddelen in gevaar brengt, waarbij traceerbaarheid, onafhankelijke verificatie en gedocumenteerde procedures van het grootste belang zijn.

Methodologie
De auteurs stellen een governancekader voor dat is ontworpen om AI-ondersteunde ontwikkeling te integreren in rigoureuze SQA-omgevingen zonder kwaliteit of verantwoordingsplicht te compromitteren. Het kader wordt gedemonstreerd aan de hand van de ontwikkeling van twee nieuwe Validatie- en Verificatie (V&V)-cases voor TMAP8, een open-source, NQA-1-conforme tritiummigratiecode voor fusie-energie.

De methodologie vertrouwt op een lichtgewicht specificatiebestand op repository-niveau (AGENTS.md) dat governance-eisen direct codeert in de ontwikkelingsinfrastructuur. Belangrijke componenten van de methodologie zijn:

• Gestructureerde Openbaarmaking: Alle bijdragen moeten commit-niveau metadata bevatten die de mate en aard van AI-betrokkenheid detaileren, gekoppeld aan ontwikkelingsissues die intentie en ontwerprationaliteit beschrijven.
• Traceerbaarheid: Machineleesbare sessielogs (.jsonl) van AI-interacties worden in versiebeheer opgeslagen, waardoor een stochastische reconstructie van het ontwikkelproces mogelijk is.
• Menselijke Verantwoordingsplicht: Een menselijke ontwikkelaar wordt aangewezen als auteur en draagt volledige verantwoordelijkheid voor de bijdrage. Cruciaal is dat een onafhankelijke menselijke reviewer vereist is voor verificatie; geen enkel agentisch systeem, inclusief adversariale review-agenten, wordt als voldoende beschouwd om aan NQA-1-verificatievereisten te voldoen.
• Geautomatiseerde Handhaving: Pre-commit hooks dwingen niet-onderhandelbare herkomstvereisten af (bijvoorbeeld aanwezigheid van logs, volledigheid van metadata) en zorgen ervoor dat bijdragen de volledige V&V-testreeks doorlopen voordat ze worden beoordeeld.
• Casestudies:
  1. Implementatie-uitdaging: Het reproduceren van een gepubliceerd analytisch model voor tritiumvrijgave uit neutronenbestraald Li₂TiO₃ (Kobayashi et al.). De agent vertaalde een bestaand model naar TMAP8 en voerde Bayesiaanse parameteroptimalisatie uit.
  2. Hypothese-gedreven uitdaging: Het modelleren van deuteriumvrijgave uit zelfbestraald wolfraam met dunne oxidefilms (Kremer et al.) waarvoor geen gepubliceerd model bestond. De agent engageerde zich in hypothese-gedreven modelconstructie, waarbij concurrerende fysische mechanismen werden voorgesteld en getest.

Belangrijkste Bijdragen

1. Governancekader: Een praktisch, inzetbaar kader voor AI-ondersteunde ontwikkeling dat in overeenstemming is met NQA-1-vereisten. Het verschuift het paradigma van "alleen menselijk" naar "gecontroleerde AI-ondersteuning", waarbij ervoor wordt gezorgd dat AI-betrokkenheid zichtbaar, traceerbaar en onderhevig aan kwaliteitscontroles is.
2. AGENTS.md Specificatie: Een concrete implementatie van governance als code, die uitvoering, validatie, documentatie en reviewstandaarden definieert die versiebeheerd worden naast de codebase.
3. Empirische Validatie: De succesvolle ontwikkeling van twee verschillende V&V-cases toont aan dat AI-agenten zowel de implementatie van gevestigde modellen als de verkenning van nieuwe wetenschappelijke hypothesen kunnen versnellen, mits ze binnen strikte grenzen opereren.
4. Identificatie van Faalmodi: De studie documenteert specifieke faalmodi, waaronder de getrouwe reproductie van fouten uit brondocumenten (bijvoorbeeld het weglaten van een defect-annihilatieterm) en het genereren van overmatig complexe of gehallucineerde code, waarmee de noodzaak van menselijk toezicht wordt benadrukt.

Resultaten
De toepassing van het kader leverde de volgende resultaten op:

• Productiviteitswinst: De door een agent ondersteunde workflow verlaagde de ontwikkeltijd voor een validatiecase van ongeveer 4–5 dagen tot ongeveer 6 uur. In de hypothese-gedreven case stelde de agent snelle prototyping van concurrerende modelformuleringen mogelijk die in een puur menselijke workflow kostenprohibitief zouden zijn geweest.
• Juistheid en Fouten:
  • In Case 1 vertaalde de agent het model succesvol en optimaliseerde parameters, waardoor de Root Mean Square Percent Error (RMSPE) werd verlaagd van 23,1% naar 9,2%. Echter, het liet aanvankelijk een kritieke defect-annihilatieterm uit het bronartikel weg, een fout die uitsluitend werd ontdekt door adversariaal menselijk review.
  • In Case 2 construeerde de agent een fenomenologisch model dat de invloed van oxidelagen op deuteriumvrijgave vastlegt. Hoewel het de primaire experimentele trends over verschillende oxide-diktes succesvol reproduceerde, was menselijke interventie vereist om gehallucineerde data-digitalisatie te corrigeren en overgecompliceerde modelstructuren te vereenvoudigen.
• Effectiviteit van Governance: De AGENTS.md-beperkingen en pre-commit hooks hebben traceerbaarheid succesvol afgedwongen en voorkomen dat bijdragen zonder herkomst de reviewfase binnendringen. De studie merkte echter op dat agenten instructies nog steeds kunnen over het hoofd zien als deze buiten hun aandachtvenster vallen, waardoor structurele tegenmaatregelen zoals geautomatiseerde hooks noodzakelijk zijn in plaats van uitsluitend te vertrouwen op agentinstructies.

Betekenis en Claims
Het artikel claimt dat de overgang naar agentische ontwikkeling al een realiteit is, en dat de kritieke keuze voor de wetenschappelijke gemeenschap niet ligt in of AI wordt toegestaan, maar hoe deze verantwoord wordt bestuurd. De auteurs stellen het volgende:

• Compatibiliteit met Normen: Bestaande SQA- en NQA-1-vereisten (traceerbaarheid, onafhankelijke verificatie, verantwoordingsplicht) zijn compatibel met AI-ondersteunde ontwikkeling wanneer deze worden geïnterpreteerd om door mensen geleide AI-workflows te omvatten, mits de mens de verantwoordelijke auteur en verifier blijft.
• Mitigatie van Systemische Risico's: Ongereguleerd AI-gebruik riskeert op lange termijn "modelinstorting", waarbij door AI gegenereerde fouten zich voortplanten via trainingsdata. Het voorgestelde herkomstkader stelt downstream curators in staat synthetische bijdragen te filteren, waardoor de integriteit van het ecosysteem van wetenschappelijke software wordt behouden.
• V&V als Proeftuin: V&V-cases, met hun objectieve juistheidscriteria en afgebakende scope, fungeren als een ideale omgeving voor het vaststellen en itereren van AI-governancepraktijken voordat deze worden uitgebreid naar bredere wetenschappelijke softwareontwikkeling.
• Evolutie van de Menselijke Rol: De rol van de ontwikkelaar verschuift van directe code-auteurschap naar prompt-engineering, outputreview en actief wetenschappelijk toezicht. Hoewel de cognitieve kosten voor individuele taken afnemen, blijft de last van het handhaven van wetenschappelijk toezicht en het waarborgen van modelsimpliciteit een kritieke menselijke verantwoordelijkheid.

Het artikel concludeert dat verantwoord governance van AI-ondersteunde wetenschappelijke software vandaag de dag haalbaar is binnen bestaande kwaliteitsborgingsnormen, zonder afbreuk te doen aan de productiviteitswinsten die de adoptie van AI motiveren.