Retrieval-grounded robot program generation and simulation-based correction via Model Context Protocol

In de wereld van de moderne productie is flexibiliteit het ultieme doel. Fabrieken produceren niet langer alleen miljoenen identieke artikelen; ze moeten zich snel kunnen aanpassen om verschillende versies van producten te produceren, van een auto met een zonnedak tot een zonder, of een verpakking met een iets andere afmeting. Om deze veranderingen bij te houden, moeten industriële robots constant worden geprogrammeerd. Traditioneel was dit een traag, moeilijk werk dat voorbehouden was aan specialisten die een complexe, machinespecifieke taal spreken. Zij moeten handmatig code schrijven, deze controleren tegen de fysieke lay-out van de fabrieksvloer en testen om er zeker van te zijn dat de robot niet crasht of een onderdeel laat vallen. Hoewel kunstmatige intelligentie de laatste tijd veelbelovend is gebleken in het vertalen van menselijke ideeën naar computercode, worstelen deze slimme systemen vaak met de specifieke, rigide regels van industriële machines. Ze kunnen code schrijven die er op een scherm correct uitziet, maar die faalt op het moment dat een echte robot probeert te bewegen, simpelweg omdat de AI de fysieke beperkingen van de fabriekscel of het specifieke gedrag van de gereedschappen van de robot niet kan "zien".

Een team onderzoekers aan de Chalmers University of Technology in Zweden heeft een nieuwe manier ontwikkeld om deze kloof te overbruggen, door een systeem te creëren waarmee robots kunnen worden geprogrammeerd met gewone Engelse taal, terwijl automatisch wordt gecontroleerd of de instructies daadwerkelijk zullen werken. Hun aanpak combineert een krachtig taalmodel met een gespecialiseerde simulatieomgeving, waardoor een lus ontstaat waarbij de computer de code schrijft, deze test in een virtuele fabriek, en vervolgens zijn eigen fouten herstelt op basis van de resultaten. De onderzoekers richtten zich op ABB-robots, die wereldwijd veel voorkomen in fabrieken, en gebruikten een 'digital twin' — een perfecte virtuele kopie van de robot en zijn werkruimte — om als vangnet te dienen. In plaats van alleen tekst te genereren, verbindt het systeem zich rechtstreeks met de simulatiesoftware, uploadt de code, kijkt hoe de robot beweegt en analyseert precies waarom een taak faalde, indien dat gebeurt.

De kern van hun methode bestaat uit twee afzonderlijke stappen die samenwerken. Ten eerste gebruikt het systeem een techniek genaamd 'retrieval-augmented generation'. Stel je een student voor die een examen aflegt en de mogelijkheid heeft om een tekstboek en een reeks uitgewerkte voorbeelden te raadplegen voordat hij antwoord geeft. De computer doet iets dergelijks: wanneer een mens vraat om "een doos oppakken en op een pallet plaatsen", zoekt het systeem eerst in een database met officiële technische handleidingen en echte codevoorbeelden van een grote autofabrikant. Dit zorgt ervoor dat de computer de juiste, specifieke commando's voor de robot gebruikt, in plaats van te gokken of regels te verzinnen die niet bestaan. Deze stap vermindert het aantal basisfouten aanzienlijk, zoals het gebruik van het verkeerde type data of het spellen van een commando fout, wat vaak voorkomt wanneer AI probeert code vanaf nul te schrijven.

De onderzoekers realiseerden zich echter dat zelfs code die grammaticaal perfect is en aan alle regels voldoet, nog steeds kan falen in de echte wereld. Een robot kan succesvol een doos oppakken, maar als de doos hoger is dan verwacht, kan de grijper van de robot het onderdeel niet goed loslaten, of de robot kan vast komen te zitten in een positie die hij fysiek niet kan bereiken. Om dit op te lossen, bouwde het team een aangepaste verbinding tussen het taalmodel en de simulatiesoftware. Deze verbinding werkt als een afstandsbediening, waardoor de computer de gegenereerde code naar de virtuele robot kan uploaden, de simulatie kan draaien en vervolgens een gedetailleerd rapport kan uitlezen van wat er is gebeurd. Het systeem controleert niet alleen de code zelf, maar ook het gedrag van de robot: Heeft het onderdeel gedropt? Is de robotarm tegen een muur gestoten? Hebben de sensoren het object gedetecteerd?

In hun tests onderwierpen de onderzoekers dit systeem aan een reeks uitdagingen. Ze vroegen het om taken uit te voeren zoals het verplaatsen van dozen van verschillende maten en het bouwen van piramides van blokken. In één specifiek geval kreeg het systeem de opdracht om een hoge groene doos en een kortere oranje doos te verplaatsen. De initiële code, gegenereerd door de AI, werkte perfect voor de korte oranje doos. Echter, toen dezelfde code werd toegepast op de hoge groene doos, slaagde de robot er niet in het onderdeel los te laten omdat het lospunt te laag was, waardoor de grijper binnenin de doos bleef steken. Een standaard computercontrole van de code zou dit volledig gemist hebben, aangezien de instructies syntactisch correct waren. Maar omdat het systeem de simulatie uitvoerde, zag het dat de grijper niet kon loslaten. Het gebruikte deze feedback vervolgens om de hoogte van het lospunt automatisch aan te passen en probeerde het opnieuw, waarbij het probleem succesvol werd opgelost.

De resultaten toonden aan dat deze feedbacklus essentieel was. Hoewel de eerste stap van het raadplegen van technische handleidingen veel basisfouten verminderde, was het vermogen om de code in de virtuele fabriek uit te voeren degene die de subtiele, fysieke fouten opving die echte wereld-falingen zouden veroorzaken. Het systeem identificeerde succesvol problemen zoals onbereikbare doelen en onhandige robotbewegingen die pas zichtbaar worden wanneer de robot daadwerkelijk probeert de taak uit te voeren. In één instantie kwam de arm van de robot na enkele bewegingen vast te zitten in een moeilijke positie, een probleem dat pas zichtbaar werd nadat de simulatie een tijdje draaide. Het systeem detecteerde dit, herstelde de positie van de robot naar een veiliger startpunt en voltooide de taak.

De onderzoekers benadrukken dat dit systeem de menselijke ingenieurs niet volledig vervangt. De virtuele fabriek, de gereedschappen en de specifieke taken moeten nog steeds vooraf door mensen worden ingesteld. Het systeem ontwerpt ook niet de lay-out van de fabriek of de fysieke hardware van de robot. In plaats daarvan fungeert het als een hooggeschoolde assistent die een menselijk idee neemt en dit razendsnel omzet in een werkend programma, waarbij fouten worden opgevangen die anders uren handmatig debuggen zouden vereisen. De studie suggereert dat door de generatie van code direct te koppelen aan de uitvoering van taken in een gesimuleerde omgeving, fabrieken hun robots veel sneller en met minder fouten kunnen herprogrammeren. Deze aanpak biedt een praktisch pad naar het toegankelijker maken van flexibele productie, waardoor productielijnen zich kunnen aanpassen aan nieuwe producten zonder de lange vertragingen en hoge kosten van traditionele programmering. Het werk toont aan dat de toekomst van robotprogrammering niet alleen ligt in slimmere AI, maar in AI die kan zien, testen en leren van zijn eigen acties in een virtuele wereld voordat het een echte wereld aanraakt.