🤖 AI

Neurosymbolic Auditing of Natural-Language Software Requirements

Dit artikel introduceert VERIMED, een neurosymbolische pijplijn die grote taalmodellen en SMT-oplossers benut om natuurlijke-taal softwarevereisten te auditeren door ambiguïteit te detecteren via stochastische formalisatievariaties en consistentie en veiligheid te verifiëren via tegenvoorbeeldgeleide reparatie, wat resulteert in een aanzienlijke stijging van de nauwkeurigheid bij veiligheidsvereisten voor medische hulpmiddelen.

Oorspronkelijke auteurs: Bethel Hall, William Eiers

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bethel Hall, William Eiers

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de architect bent van een levensreddende machine, zoals een dialyseapparaat dat bloed reinigt voor patiënten. Je schrijft de regels voor hoe deze machine zich moet gedragen in gewoon Engels op: "Als de bloedstroom stopt, laat dan het alarm afgaan."

Het probleem is dat menselijke taal rommelig is. Woorden kunnen vaag zijn, zinnen kunnen elkaar tegenstrijden, of een regel kan onuitvoerbaar zijn zonder dat iemand het merkt. Als een computerprogramma probeert deze machine te bouwen op basis van je rommelige notities, kan het iets bouwen dat er op papier perfect uitziet, maar in het echt gevaarlijk is.

Dit artikel introduceert VERIMED, een nieuw "neurosymbolisch" systeem (een chique term voor een samenwerking tussen een creatieve AI en een stijve logische robot) dat is ontworpen om te fungeren als een super-auditor voor deze veiligheidsregels.

Hier is hoe VERIMED werkt, uitgelegd via alledaagse analogieën:

1. De Vertaler en de Logische Robot

Stel je het systeem voor als bestaande uit twee delen:

De Vertaler (De LLM): Dit is een creatieve AI die je Engelse regels leest en probeert ze te vertalen naar een strikte, wiskundige taal (SMT) die een computer kan verifiëren.
De Logische Robot (De SMT-oplosser): Dit is een stijve, onbuigzame machine die de wiskunde controleert. Het geeft niets om "gevoelens" of "intentie"; het geeft alleen om of de regels logisch kloppen.

2. De "Stress-test" voor Regels

Voordat de machine wordt gebouwd, voert VERIMED vier specifieke tests uit op de vertaalde regels om verborgen gebreken te vinden:

De "Kan het gebeuren?"-test (Vakueisiteit): Stel je een regel voor die zegt: "Als de machine onder water staat, zet dan de stroom uit." Als de machine nooit onder water zou moeten staan, is deze regel nutteloos. De Logische Robot controleert: "Is het daadwerkelijk mogelijk dat de machine onder water staat?" Als het antwoord "Nee" is, markeert de robot de regel als een geest – hij bestaat, maar doet niets.
De "Kan het breken?"-test (Schendbaarheid): De robot probeert de regels te breken. Hij vraagt: "Kan ik de machine iets onveiligs laten doen terwijl ik me nog steeds aan de regels houd?" Als hij een manier vindt om de veiligheid te schenden, toont hij je precies hoe (een "tegenvoorbeeld"), zoals een bewijs dat zegt: "Zie je? Als je de draaiknop op 50 zet, gaat het alarm niet af, terwijl je zei dat het dat wel zou doen."
De "Dubbel-boekhouding"-test (Redundantie): Soms schrijf je twee regels die precies hetzelfde zeggen. De ene kan zijn: "Laat de druk niet boven de 200 komen," en de andere zegt: "Laat de druk niet boven de 200 komen." De robot vindt deze duplicaten en zegt: "Je herhaalt jezelf. Bedoel je dat je beide wilt hebben, of is er eentje verkeerd?"
De "Globale Harmonie"-test (Consistentie): De robot controleert of alle regels met elkaar vechten. Als Regel A zegt "Zet de pomp aan" en Regel B zegt "De pomp moet uit zijn", en beide zouden tegelijkertijd moeten gebeuren, schreeuwt de robot: "Dit is onmogelijk!"

3. De "Vagheidsdetector" (De Magische Truc)

Dit is het meest creatieve idee van het artikel. Soms is een zin zo vaag dat hij op twee verschillende manieren kan worden geïnterpreteerd.

De Analogie: Stel je voor dat je een chef vertelt: "Bak het biefstuk tot het gaar is." De chef denkt misschien dat "gaar" medium-rare betekent, terwijl jij well-done bedoelde.
Hoe VERIMED dit opsport: In plaats van de AI te vragen de regel één keer te vertalen, vraagt hij de AI om dezelfde regel vijf verschillende keren te vertalen, alsof je vijf verschillende chefs vraagt om "gaar" te interpreteren.
- Als alle vijf de chefs exact hetzelfde recept opschrijven, is de regel duidelijk.
- Als één chef "medium-rare" opschrijft en een ander "well-done", ziet het systeem het meningsverschil. Het zegt dan tegen de mens: "Hé, je regel is vaag! Hier zijn twee verschillende manieren waarop je zin kan worden gelezen. Maak het duidelijk."

4. De "Reparatiewerkplaats"

Wanneer de Logische Robot een fout of een vaagheid vindt, zegt hij niet zomaar "Fout". Hij handelt als een behulpzame monteur:

Voor gebroken logica: Hij toont de AI het exacte scenario waarin de regel faalde (het tegenvoorbeeld). De AI herschrijft de regel vervolgens om dat specifieke gat te dichten.
Voor vage taal: Hij toont de mens het specifieke punt van verwarring (bijvoorbeeld: "Is 200 graden inbegrepen of uitgesloten?"). De mens verduidelijkt, en het systeem vertaalt opnieuw tot iedereen het eens is.

Wat Vonden Ze?

De onderzoekers testten dit op een set van 64 veiligheidsregels voor een dialyseapparaat.

De Resultaten: Het systeem vond dat 2 regels redundant waren (duplicaten) en dat 12 regels vaag waren (op meerdere manieren te lezen).
De Oplossing: Toen ze gebruikmaakten van de "tegenvoorbeeld"-feedback (waarbij ze de AI precies lieten zien hoe het misging), steeg het vermogen van de AI om veiligheidsvragen te beantwoorden van ongeveer 55% nauwkeurigheid naar bijna 99%.
De Vagheidsoplossing: Nadat het systeem de vage regels had gemarkeerd en mensen ze hadden verduidelijkt, stopte de AI met het produceren van tegenstrijdige vertalingen. De "vagheid" daalde naar nul.

De Conclusie

VERIMED is een veiligheidsnet. Het gebruikt een creatieve AI om menselijke regels naar wiskunde te vertalen, en een stijve logische robot om te controleren of die wiskunderegels consistent, eenduidig en daadwerkelijk veilig zijn. Het controleert niet alleen of de code werkt; het controleert of de instructies voor de code zinvol zijn voordat de machine ooit wordt gebouwd.

Belangrijke Opmerking: Het artikel stelt expliciet dat dit is getest op eisen voor medische hulpmiddelen (dialyseapparaten) en een pijnbestrijdingspomp. De auteurs waarschuwen dat dit systeem een hulpmiddel is voor experts om eisen te beoordelen, geen vervanging voor menselijke experts, en dat het niet in het echt mag worden gebruikt zonder onafhankelijke menselijke controle.

Technische Samenvatting: Neurosymbolische Audit van Softwarevereisten in Natuurlijke Taal

Probleemstelling

Softwarevereisten in natuurlijke taal, met name in veiligheidskritieke domeinen zoals medische apparaten, lijden vaak aan ambiguïteit, inconsistentie en ondergespecificeerdheid. Deze gebreken zijn gevaarlijk omdat ze zich voortplanten naar formele modellen en implementaties, wat kan leiden tot de verificatie van onjuiste specificaties of de implementatie van onveilig gedrag. Hoewel Large Language Models (LLM's) het veld van autoformalisatie (het vertalen van natuurlijke taal naar machine-verifieerbare specificaties) hebben vooruitgebracht, is syntactische validiteit op zichzelf ontoereikend. Een goed gevormde formele specificatie kan nog steeds globaal inconsistent zijn, onbereikbare triggercondities bevatten (vacuümheid), of meerdere plausibele interpretaties van de brontekst toelaten. Bij gebrek aan een grondwaarheid-formalisatie is er geen orakel om deze semantische fouten te detecteren, aangezien LLM's vaak terugvallen op de statistisch meest voorkomende lezing of impliciete beperkingen weglaten.

Methodologie: Het VERIMED-kader

De auteurs stellen VERIMED voor, een neurosymbolische pijplijn die is ontworpen om vereisten in natuurlijke taal te auditeren door ze te vertalen naar een uniek SMT-model (Satisfiability Modulo Theories) en gebruik te maken van solver-query's om gebreken te detecteren. Het kader werkt met een vast schema van getypeerde statetoestandsvariabelen (Booleaanse besturingstoestanden en reëelwaardige parameters) en domeinbeperkingen.

De pijplijn bestaat uit vier fasen:

Ambiguïteitoplosser: Voordat er een formalisatie plaatsvindt, wordt elke vereiste gecontroleerd op stabiliteit. Het systeem steekt $N$ onafhankelijke formalisaties uit de LLM bij verhoogde temperatuur. Het voert bidirectionele SMT-equivalentiecontroles uit tussen paren van coderingen. Als de coderingen niet equivalent zijn, wordt de vereiste gemarkeerd als gevoelig voor ambiguïteit. De solver genereert concrete "getuigen" (specifieke toestanden waarin de coderingen het oneens zijn), die terug naar de LLM worden gevoerd om de vereiste te herschrijven totdat alle steekproeven convergeren naar één codering.
Autoformalisator: De ontmantelde vereisten worden vertaald naar één SMT-LIB-specificatie. Het systeem maakt gebruik van een gebonden syntactische reparatielus waarbij solver-foutmeldingen de LLM leiden om misvormde code opnieuw te genereren totdat een geldig model is geproduceerd.
Eigenschapverificator: Deze module voert vier specifieke audit-query's uit op het samengestelde model $M$ $M$ :
- Globale consistentie: Controleert of $M$ satisfiable is. Als dit niet het geval is, identificeert een unsat-kern conflicterende vereisten.
- Vacuümheid: Voor conditionele vereisten wordt gecontroleerd of de triggerconditie ooit kan worden voldaan binnen de domeinbeperkingen.
- Schendbaarheid: Controleert of een vereiste binnen het domein kan worden geschonden, en retourneert een concrete schendende toewijzing indien mogelijk.
- Redundantie: Controleert of een vereiste al wordt afgedwongen door de rest van de specificatie.
Queryverificator: Deze fase verifieert scenario-gebaseerde veiligheidsvragen. Het controleert of een voorgesteld antwoord wordt afgeleid uit het model ( $M \land s \land \neg a$ is unsatisfiable). Als een schending wordt gevonden, retourneert de solver een tegenvoorbeeld. Dit tegenvoorbeeld, samen met de geschonden vereisten, dient als feedback voor een reparatielus om het antwoord van de LLM te corrigeren.

Belangrijkste Bijdragen

Het artikel introduceert de volgende bijdragen:

Een Neurosymbolisch Kader: VERIMED operationaliseert de vertaling van vereisten in natuurlijke taal naar één SMT-model, waarbij solver-uitkomsten worden gebruikt als het primaire signaal voor downstream-beoordeling.
SMT-audits op Vereistenniveau: De auteurs formuleren vier audits (consistentie, vacuümheid, schendbaarheid, redundantie) die gevestigde kwaliteitscriteria operationaliseren.
Detectie van Ambiguïteit via Stochasticiteit: Het artikel introduceert een methode voor het detecteren van ambiguïteit door gebruik te maken van het stochastische karakter van LLM's. Door meerdere formalisaties te steekproeven en te controleren op bidirectionele SMT-inequivalentie, markeert het systeem vereisten die meerdere plausibele lezingen toelaten. Door de solver gegenereerde getuigen drijven vervolgens verduidelijking in natuurlijke taal.
Tegenvoorbeeld-Gestuurde Reparatie (CEGR): De studie toont aan dat de granulariteit van symbolische feedback de effectiviteit van reparatie significant beïnvloedt.

Experimentele Resultaten

Het kader werd geëvalueerd op een corpus van 64 vereisten in natuurlijke taal voor veiligheid uit een specificatie voor een hemodialyse-apparaat, met een secundaire evaluatie op een specificatie voor een PCA-pomp.

Autoformalisatie en Audit: Het systeem genereerde succesvol een door de solver controleerbaar SMT-model voor alle 64 vereisten. Het model was globaal consistent en bevatte geen vacuümvereisten. De audit markeerde 2 vereisten (3,1%) als redundant. Round-trip semantische equivalentie (het vertalen van SMT terug naar tekst en opnieuw formaliseren) werd behaald voor 100% van de vereisten, met een gemiddelde cosijn-ähnelijkheid van 96,2% tussen de originele en gereconstrueerde teksten.
Mutatiedetectie: De pijplijn detecteerde 97,3% van de 256 gemuteerde vereisten (die fouten vertegenwoordigen zoals onderdrukking van vals-positieve alarmen en overschrijding van limieten) over vier foutcategorieën heen.
Tegenvoorbeeld-Gestuurde Reparatie: In een vraag-antwoordtafel verhoogde het gebruik van concrete SMT-tegenvoorbeelden als feedback (CEGR) de geverifieerde nauwkeurigheid van een baseline van 55,4% (geen feedback) naar 98,5%. Het verstrekken van alleen de geschonden vereisten (zonder het concrete tegenvoorbeeld) leverde 80,0% nauwkeurigheid op, wat aantoont dat de concrete getuigetoestand de kritische drijver is voor reparatie.
Oplossing van Ambiguïteit: De ambiguïteitoplosser markeerde 12 van de 64 vereisten (18,8%) als het produceren van meerdere distincte coderingen. Na SMT-gestuurde verduidelijking convergeerden alle gemarkeerde vereisten naar één codering (100% overeenstemming per paar), waardoor het gemiddelde aantal distincte coderingen per vereiste daalde van 1,59 naar 1,00.

Betekenis en Beweringen

Het artikel beweert dat VERIMED succesvol de audit van softwarevereisten operationaliseert via SMT-gebaseerde query's, waarmee de "onzichtbare" aard van semantische gebreken in autoformalisatie wordt aangepakt. De auteurs benadrukken dat:

Stochastische variatie een signaal is: Meningsverschil over onafhankelijke formalisaties is een betrouwbare indicator van ambiguïteit in de brontekst.
Granulariteit telt: Het nut van symbolische feedback is sterk afhankelijk van de specificiteit; concrete tegenvoorbeelden zijn aanzienlijk effectiever voor reparatie dan abstracte lijsten met vereisten.
Consistentie is onvoldoende: Interne consistentie van een formeel model garandeert niet de afwezigheid van gebreken; gedragsbehoud en detectie van ambiguïteit zijn noodzakelijke aanvullingen.

De auteurs houden een bescheiden scope aan, met de opmerking dat hun bevindingen specifiek zijn voor infusiegerelateerde medische apparaten en dat de aanpak steunt op proxy-signalen (consistentie, mutatiegevoeligheid, enz.) in plaats van een directe maatstaf voor trouw aan de intentie. Ze stellen expliciet dat de resultaten niet mogen worden gebruikt in veiligheidskritieke toepassingen zonder onafhankelijk deskundig toezicht en dat de huidige implementatie geen volledige temporele logica ondersteunt, waarbij temporele vereisten worden benaderd via huidige statetoestandscondities.