Evidence Constrained Agentic Retrieval Augmented Generation for Substation Civil Engineering Preliminary Design Documents in a Single Project Study
Dit artikel stelt EC-ARAG voor, een bewijs-beperkt agentisch retrieval-augmented generation-framework dat de betrouwbaarheid, consistentie en efficiëntie van het voorlopig ontwerp van civieltechnische werken voor onderstations aanzienlijk verbetert door regelgeving-bewuste retrieval, conflictresolutie en dubbele verificatielussen te integreren om conventionele RAG-systemen te overtreffen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van grootschalige infrastructuur is het voorlopige ontwerpdocument het blauwdruk dat een concept transformeert in een bouwbare realiteit. Voor een onderstation moet dit tekstzware rapport projectspecifieke details, strikte overheidsvoorschriften, standaard ingenieurspraktijken en lessen uit eerdere projecten samenweven tot één samenhangend narratief. Elk getal, van de breedte van een weg tot de diepte van een fundering, moet consistent zijn door het hele document, en elke bewering moet worden onderbouwd door een specifieke, actuele regel. Decennialang hebben ingenieurs deze documenten samengesteld door honderden pagina's aan standaarden en historische rapporten handmatig te kruisverwijzen, een proces dat traag is, gevoelig is voor menselijke fouten en moeilijk perfect consistent te houden is.
De opkomst van kunstmatige intelligentie bood een potentiële afkorting. Large language models, dezelfde technologie achter geavanceerde chatbots, kunnen vloeiende technische proza schrijven en complexe instructies opvolgen. Echter, wanneer ze worden toegepast op engineering, kampen deze modellen met een kritiek gebrek: ze vertrouwen op hun interne geheugen, wat verouderd kan zijn, feiten kan hallucineren of niet in staat is om onderscheid te maken tussen een regel die van toepassing is op een specifiek type gebouw en een regel die dat niet is. Het simpelweg vragen aan een AI om "een ontwerp te schrijven" resulteert vaak in tekst die professioneel klinkt, maar juridisch of fysiek ongeldig is. Om dit op te lossen, hebben onderzoekers systemen ontwikkeld die de AI dwingen informatie op te zoeken voordat het schrijft, een methode die bekend staat als retrieval-augmented generation. Toch worstelen zelfs deze systemen wanneer de gevonden informatie tegenstrijdig, verouderd of irrelevant is voor de specifieke omstandigheden van het project.
Een team van ingenieurs van State Grid Shanghai Electric Power Design Co., Ltd. heeft nu een meer geavanceerde aanpak geïntroduceerd voor dit probleem, specifiek afgestemd op de hoogwaardige omgeving van civieltechnische werken bij onderstations. Ze ontwikkelden een systeem genaamd EC-ARAG, dat minder werkt als een eenvoudige schrijver en meer als een rigoureuze, meerstaps editor. In plaats van alleen tekst op te halen en deze aan de AI door te geven, breekt dit systeem de ontwerptaak af in kleine, verifieerbare claims. Voor elke enkele bewering die het systeem genereert—zoals de vereiste dikte van een betonnen wand of de breedte van een afwateringskanaal—controleert het eerst of het ondersteunende bewijs geldig is voor dat specifieke project, of de bron van de regel gezaghebbend is, en of de regel conflicteert met een ander deel van het document.
De onderzoekers testten hun systeem op een reëel scenario betreffende het voorlopig ontwerp voor een specifiek onderstationproject. Ze voerden het systeem een enorme bibliotheek aan kennis, inclusief zesendertig nationale en industriële standaarden, twaalf bedrijfsspecifieke regels, achttien typische ontwerprichtlijnen en vierenzestig historische ontwerpdocumenten van eerdere projecten. Het systeem probeerde vervolgens het volledige civieltechnische rapport te ontwerpen, sectie voor sectie. In tegenstelling tot standaard AI-tools die wellicht een paragraaf genereren en doorgaan, werkt dit systeem in twee lussen. De eerste lus plant wat er geschreven moet worden en zoekt naar het juiste bewijs, waarbij regels die verouderd zijn of niet van toepassing zijn op de specifieke locatiecondities worden weggefilterd. De tweede lus schrijft de tekst en controleert vervolgens onmiddellijk het eigen werk. Als het systeem vindt dat een bewering onvoldoende onderbouwd is, in strijd is met een vorige sectie of een verouderde standaard gebruikt, stopt het en herstelt het die specifieke zin voordat het verdergaat.
De resultaten van dit experiment waren significant. Het systeem haalde de correcte, toepasbare regelgeving in 94,1% van de gevallen, een opmerkelijke verbetering ten opzichte van andere methoden die vaak irrelevante of verouderde clausules ophaalden. Belangrijker nog was dat het systeem ervoor zorgde dat 95% van de technische claims werd ondersteund door solide bewijs, en het verminderde de frequentie van "onveilige claims"—beweringen die onondersteund of tegenstrijdig waren—tot slechts 3,4%. Misschien wel het meest opvallende was het vermogen van het systeem om consistentie te handhaven. In een lang document waar de naam van een gebouw of de breedte van een weg tien verschillende secties kan verschijnen, hield het systeem deze parameters in 97% van de gevallen consistent, terwijl andere methoden vaak lieten toe dat deze details gingen afwijken of onbedoeld veranderden.
Hoewel het systeem meer computerverwerkingstijd vereiste om deze controles en reparaties uit te voeren, bespaarde het uiteindelijk toch tijd. Omdat de door het systeem geproduceerde conceptversie veel schoner en nauwkeuriger was, besteedden menselijke ingenieurs 31% minder tijd aan het beoordelen en corrigeren van de tekst. De totale tijd om het document te voltooien daalde met 21% vergeleken met de op één na beste geautomatiseerde methode. De studie benadrukte ook waar het systeem nog steeds menselijke hulp nodig heeft. Het had de meeste moeite met secties die zwaar leunen op fysieke geometrie, zoals weghellingen en afwateringsrichtingen, omdat het systeem alleen met tekst werkte en geen toegang had tot de werkelijke kaarten of 3D-modellen van de locatie. In gevallen waar cruciale informatie ontbrak, leerde het systeem te pauzeren en het probleem te markeren voor een menselijke ingenieur in plaats van een oplossing te verzinnen, een gedrag dat veiliger bleek dan het verzinnen van een oplossing.
Dit werk toont aan dat voor complexe, door regelgeving gedomineerde taken het doel van kunstmatige intelligentie niet is om het oordeel van de ingenieur te vervangen, maar om te fungeren als een onvermoeibare, hyper-waakzame assistent. Door het ontwerpproces te behandelen als een reeks kleine, geverifieerde stappen in plaats van een enkele handeling van generatie, lieten de onderzoekers zien dat machines het zware werk van informatieverzameling en consistentiecontrole kunnen overnemen. Het systeem claimt geen autonome ontwerper te zijn die in staat is een gebouw goed te keuren; het dient eerder als een krachtig hulpmiddel dat ervoor zorgt dat het door hen geproduceerde concept traceerbaar, consistent en geworteld is in de juiste regels, waardoor de menselijke expert vrij blijft voor de uiteindelijke beslissingen en de complexe fysieke realiteiten die tekst alleen niet kan vatten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.