Introducing Grounding into the Agentic Design Loop: An Exploratory Review of an Unclaimed Problem
Deze verkennende review identificeert en consolideert het onvervulde probleem van "Design Grounding"—het kritieke gebrek aan mechanismen om te verifiëren dat door LLM gegenereerde ontwerpen overeenkomen met de realiteit van fysieke beperkingen vóór fabricage—door duizenden artikelen te screenen om te onthullen dat slechts een handvol dit structurele probleem aanpakt, dat versnipperd blijft over aangrenzende vakgebieden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet alleen instructies opvolgen, maar ook beginnen met het opstellen van de blauwdrukken voor nieuwe zaken. Ze bewegen zich verder dan eenvoudige taken, zoals het sorteren van e-mails of het spelen van spelletjes, en ontwerpen nu complexe systemen: de architectuur van computerchips, de workflows voor wetenschappelijke experimenten en de structuren van software. Deze verschuiving wordt "agentic design" genoemd. In deze nieuwe rol fungeert de computer als een architect, die niet alleen beslist hoe iets gebouwd moet worden, maar ook wat er in de eerste plaats gebouwd moet worden. Echter, er is een gevaarlijke kloof in dit proces. Wanneer een menselijke architect een huis ontwerpt, bezoekt hij de locatie, meet de grond en controleert het lokale weer. Hij zorgt ervoor dat zijn plan past bij de echte wereld voordat er ook maar één steen wordt gelegd. Wanneer een computer een systeem ontwerpt, werkt deze vaak in een vacuüm. Het creëert een plan dat er op het scherm perfect uitziet, vol interne logica, maar het heeft de realiteit waarin het systeem moet overleven nooit aangeraakt. Als het plan van de computer gebrekkig is, wordt de fout mogelijk pas ontdekt wanneer het systeem is gebouwd, op welk moment het repareren ervan ongelooflijk duur of zelfs onmogelijk kan zijn.
Een team van onderzoekers aan de Tongji Universiteit zette zich in om dit specifieke blinde vlek te onderzoeken. Ze wilden weten of deze computeragents hun ontwerpen controleerden tegen de echte wereld, of dat ze slechts kastelen in de lucht bouwden. Ze bedachten een term voor de ontbrekende schakel: "design grounding". Dit is het proces van het verbinden van een intern plan van een computer met de fysieke of operationele realiteit die het moet vervullen. De onderzoekers stelden een eenvoudige maar diepzinnige vraag: wanneer een agent iets ontwerpt, heeft diegene dan een manier om te weten of dat ding daadwerkelijk zal werken in de echte wereld voordat het gebouwd is? Om het antwoord te vinden, keken ze niet naar slechts één vakgebied; ze scanden duizenden onderzoeksartikelen binnen de informatica, techniek en robotica om te zien hoe vaak deze verbinding daadwerkelijk plaatsvindt.
De onderzoekers bouwden een enorme zoekopdracht om artikelen te vinden waarin een agent een systeem ontwerpt en het vervolgens test tegen de echte wereld. Ze bekeken bijna drieduizend onderzoeksartikelen gepubliceerd tussen 2020 en medio 2026. Ze deelden deze artikelen in vier groepen in: die waarbij agents alleen ontwerpen zonder te testen, die waarbij agents alleen testen zonder te ontwerpen, die waarbij geen van beide gebeurde, en de zeldzame groep waar agents zowel hun werk ontwierpen als testten tegen de echte wereld. De resultaten waren ontnuchterend. De groep waar agents de cirkel succesvol sloten — waar ze iets ontwierpen en het vervolgens controleerden tegen de realiteit — was de kleinste van allemaal en vertewoordigde slechts ongeveer één op de vijftien van de door hen beoordeelde artikelen. Nogzegender was dat toen ze nauwkeurig naar de twintig artikelen keken die erin slaagden deze cirkel te sluiten, ze ontdekten dat negentien van hen hun ontwerpen nog steeds testten tegen simulaties. Ze controleerden hun blauwdrukken tegen een computermodel van de wereld, niet tegen de wereld zelf. Slechts één artikel in de hele groep gebruikte daadwerkelijk realtime metingen om het ontwerp te verifiëren.
De studie suggereert dat de moeilijkheid niet alleen een gebrek aan inspanning is, maar een structureel probleem. Het object dat een agent ontwerpt, bestaat nog niet. Je kunt een brug niet meten voordat deze is gebouwd, en je kunt een nieuwe computerchip niet testen voordat deze is geproduceerd. Omdat het echte object ontbreekt, is de agent gedwongen te vertrouwen op voorspellingen, simulaties of modellen. Deze hulpmiddelen zijn nuttig, maar ze zijn niet hetzelfde als de realiteit. De onderzoekers ontdekten dat wanneer agents proberen hun ontwerpen te testen, ze vaak hulpmiddelen gebruiken die zijzelf of hun makers specifiek voor de test hebben gebouwd. Dit creëert een valstrik waarbij het ontwerp wordt gecontroleerd tegen een wereld die is gemaakt om gemakkelijk te passeren, in plaats van een wereld die onafhankelijk en onvoorspelbaar is. Het is alsoals een student die een oefenexamen maakt dat hij zelf heeft geschreven; hij kan een perfect cijfer halen, maar dat betekent niet dat hij klaar is voor het echte examen.
De gevolgen van deze kloof zijn ernstig. In de techniek bepalen beslissingen in de vroege ontwerpfase het grootste deel van de uiteindelijke kosten van een project. Als er een fout wordt gevonden nadat het systeem is gebouwd, vereist het herstellen ervan het ongedaan maken van werk dat al is verricht, wat tien keer meer kan kosten dan het herstellen ervan tijdens de ontwerpfase. In sommige gevallen, zoals bij het bouwen van een fysieke chip of een medisch apparaat, kan een foutief ontwerp niet meer worden hersteld; het moet worden weggegooid, wat tijd en middelen verspilt. De onderzoekers vonden dat het veld van "agentic design" snel groeit, waarbij het aantal artikelen elk jaar verdubbelt, maar het vermogen om deze ontwerpen te verankeren in de realiteit is niet meegegroeid. De instrumenten die in andere velden bestaan, zoals robotica of softwaretesten, worden niet gecombineerd in een enkel proces dat een agent in staat stelt om te ontwerpen, te testen en te herzien in een continue cyclus.
Het artikel concludeert dat de oplossing niet alleen betere software is, maar een nieuwe manier van het samenvoegen van de instrumenten die we al hebben. We moeten een systeem bouwen waarbij de agent de wereld kan observeren, zijn ideeën kan valideren tegen onafhankelijke feiten, zijn plannen kan herzien op basis van echte feedback, en de resultaten kan meten, allemaal binnen één enkele cyclus. Momenteel bestaan deze onderdelen in aparte velden: robotica heeft manieren om van simulatie naar realiteit te gaan, en hardware-engineers hebben instrumenten om ontwerpen te controleren tegen natuurwetten, maar niemand heeft deze samengevoegd voor de nieuwe generatie design-agents. De onderzoekers betogen dat totdat deze verbinding tot stand komt, de belofte van agents die de toekomst ontwerpen, beperkt zal blijven door het risico op het bouwen van zaken die er op papier goed uitzien, maar falen in de echte wereld. De weg vooruit vereist het bouwen van een brug tussen de digitale geest van de agent en de fysieke beperkingen van de wereld die hij probeert vorm te geven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.