Test-Driven Agentic Framework for Reliable Robot Controller

Titel: Test-Driven Agentic Framework voor Betrouwbare Robotcontrollers

Auteurs: Shivanshu Tripathi, Reza Akbarian Bafghi, en Maziar Raissi.

1. Probleemstelling

Bewegingsplanning in robotica vereist dat autonome systemen botsingsvrije en dynamisch haalbare trajecten genereren. Echter, de overgang van een theoretisch plan naar een betrouwbare uitvoering (de "execution layer") is vaak de bron van kwetsbaarheid. Traditionele methoden vereisen uitgebreid handmatig parameter-tuning, ad-hoc heuristieken en grondig debuggen, wat tijdrovend is en moeilijk te schalen.

Recente vooruitgang in Large Language Models (LLMs) biedt de mogelijkheid om controllers direct te synthetiseren vanuit hoog niveau instructies. Echter, eenmalige code-generatie (one-shot generation) door LLMs is onbetrouwbaar voor veiligheidskritische toepassingen. De gegenereerde code lijdt vaak aan:

• Syntaxisfouten en runtime-crashes.
• Veiligheidsschendingen (bijv. botsingen).
• Het niet bereiken van het doel.

Deze fouten ontstaan vaak door onvoldoende gespecificeerde prompts die belangrijke details missen, zoals robotdynamiek, eenheidsconversies, tijdsbeperkingen en API-afspraken. Zonder deze grondige details maken LLMs aannames die niet kloppen in specifieke hardware-omgevingen, wat leidt tot broze prestaties.

2. Methodologie

De auteurs introduceren een gesloten-lus, agentiek workflow die LLM-synthese combineert met geautomatiseerde verificatie en herstel. Het doel is om een uitvoerbare controller (controller.py) te genereren die voldoet aan alle veiligheids- en prestatie-eisen voordat deze wordt ingezet.

Het framework werkt volgens een twee-traps "genereren en verbeteren" paradigma:

1. Generatie: Een LLM (de "Learner") genereert een kandidaat-controller op basis van een prompt en omgevingscontext.
2. Validatie en Feedback: De gegenereerde controller wordt automatisch getest met een gestructureerde PyTest-suite. Deze tests evalueren functionele correctheid en veiligheid (bijv. botsingsvrijheid, doelbereiking).
3. Iteratieve Reparatie: Als de controller faalt, wordt diagnostische feedback gebruikt om het proces te verrijken via een dual-tier herstelstrategie:
   • Code-level repair: De LLM (als "Optimizer") past de gegenereerde code direct aan om de specifieke fouten op te lossen. Dit gebeurt tot een bepaalde "geduld-limiet" (edit patience).
   • Prompt-level repair: Als code-aanpassingen niet werken, wordt de basis-prompt zelf bijgewerkt met nieuwe instructies (Auto-Repair Rules) gebaseerd op de testfouten. De LLM genereert vervolgens een nieuwe versie van de controller.

Dit lusje (genereren → testen → repareren/herzien) herhaalt zich totdat de controller alle tests bestaat of een maximum aantal iteraties is bereikt.

Toepassingsgebieden:
Het framework is getest in twee omgevingen:

• 2D Kaart-gebaseerde navigatie: Een ruwe RGB-kaart wordt omgezet in een binaire bezettingsrooster (occupancy grid) via een voorverwerkingspijplijn (grayscale conversie, Otsu-binarisatie, morfologische operaties). De controller gebruikt ultrasonische sensoren (gesimuleerd) voor obstakeldetectie.
• 3D Simulatie (Webots): Een fysiek gebaseerde simulatie met een e-puck robot. De controller wordt direct gegenereerd voor de Webots-simulator, gebruikmakend van infrarood sensoren en een gespecificeerde wereldconfiguratie (envt.wbt).

3. Belangrijkste Bijdragen

• Nieuw Framework: Een agentiek workflow die onvoldoende gespecificeerde hoog-niveau instructies omzet in betrouwbare robotcontrollers via een geautomatiseerde, testgedreven iteratie. Dit contrasteert met de onbetrouwbare "one-shot" prompting.
• Unificatie van Methodologie: Een consistente aanpak voor twee verschillende settings:
  1. 2D navigatie met kaartverwerking en bezettingsroosters.
  2. 3D simulatie met directe interface met een fysieke simulator (Webots).
• Dual-Tier Repair Strategie: Een innovatieve methode die wisselt tussen het direct bewerken van de code en het verfijnen van de prompt, waardoor zowel lokale fouten als fundamentele logische misvattingen kunnen worden opgelost.
• Validatie: Uitgebreide experimenten die aantonen dat deze methode aanzienlijk robuuster is dan traditionele eenmalige generatie.

4. Resultaten

De auteurs hebben het framework getest met verschillende LLM-modellen (GPT-4o, GPT-4.1, GPT-5.2, Claude-Sonnet-4.5, Claude-Opus-4.5) in 5 onafhankelijke runs per model, met een maximum van 20 iteraties per run.

• 2D Navigatie Resultaten:

  • Success Rate (SR): GPT-5.2 en Sonnet-4.5 presteerden het beste met een SR van 45%, gevolgd door Opus-4.5 (33%). GPT-4o had de laagste SR (14%).
  • Cumulatieve Success (CS): Met de iteratieve aanpak bereikten de betere modellen (GPT-5.2, Sonnet-4.5) een CS van 1 (alle runs succesvol) binnen 5 iteraties. GPT-4o had 15 iteraties nodig om te convergeren.
  • Vergelijking: Eenmalige prompting faalde vaak volledig; iteratieve verbetering was noodzakelijk om een inzetbare controller te krijgen.

• 3D Webots Resultaten:

  • Success Rate (SR): Claude-Opus-5.2 (vermoedelijk een typo in het paper voor een specifieke versie, context suggereert een sterke performer) behaalde een SR van 71%, significant beter dan GPT-5.2 (39%) en GPT-4o (21%).
  • Convergentie: Opus-4.5 bereikte CS=1 in slechts 2 iteraties, terwijl GPT-4o 7 iteraties nodig had.
  • Observatie: De prestaties in de 3D-omgeving waren over het algemeen beter dan in de 2D-omgeving, waarschijnlijk omdat de simulator minder onbekende parameters en berekeningscomplexiteit vereist dan de ruwe kaartverwerking.

5. Betekenis en Conclusie

Dit paper markeert een verschuiving in de robotica-engineering: van handmatige implementatie en debugging naar een geautomatiseerde, testgedreven workflow.

• Betrouwbaarheid: Het framework lost het probleem van "hallucinaties" en onbetrouwbare code van LLMs op door een gesloten lus van verificatie en herstel.
• Inzetbaarheid: De gegenereerde controllers zijn standalone en vereisen geen LLM tijdens de runtime, wat latency en stochasticiteit elimineert tijdens de daadwerkelijke robotbesturing.
• Toekomst: De auteurs wijzen op de uitbreiding naar dynamische omgevingen met bewegende obstakels als volgende stap.

Kortom, het paper demonstreert dat door testgedreven feedback te integreren in de synthese-cyclus, LLMs kunnen worden omgezet van onbetrouwbare code-generators in krachtige tools voor het creëren van robuuste, veiligheidsgecertificeerde robotcontrollers.