SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems

Deze paper introduceert SafeGen-LLM, een veiligheidsgeoriënteerd groot taalmodel dat via een tweestaps trainingsframework (SFT en GRPO) robuuste en generaliseerbare veiligheidsplanning voor robotsystemen mogelijk maakt, zelfs in nieuwe domeinen en met complexe veiligheidsconstraints.

De kern

Stel je voor dat je een robot wilt leren om taken uit te voeren, zoals het stapelen van blokken in een magazijn of het besturen van een vrachtwagen. Het probleem is dat robots heel streng moeten zijn: als ze een foutje maken, kan dat leiden tot een ongeluk, een kapotte machine of een gewonde werknemer.

Deze paper introduceert SafeGen-LLM, een slimme manier om kunstmatige intelligentie (AI) te trainen zodat ze niet alleen slim is, maar ook veilig en voorzichtig blijft, zelfs in situaties die ze nog nooit eerder heeft gezien.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Slordige" Robot

Vroeger hadden we twee soorten robots:

• De oude, strenge robot: Deze volgde een exacte handleiding. Hij was veilig, maar als je de handleiding ook maar een beetje veranderde, raakte hij in paniek en kon hij niets meer doen. Hij was te star.
• De nieuwe, creatieve robot (AI): Deze kon praten en denken over nieuwe dingen. Maar hij was vaak slordig. Hij dacht dat hij een plan had bedacht, maar vergeet dat hij een blok op een broos glas moest zetten, waardoor alles kapot ging. Hij was te slordig voor gevaarlijk werk.

De auteurs van dit paper zeggen: "Waarom hebben we geen robot die creatief is, maar ook disciplinair genoeg om nooit een ongeluk te veroorzaken?"

2. De Oplossing: SafeGen-LLM (De "Voorzichtige Meester")

SafeGen-LLM is een trainingsprogramma dat een AI-leerling omtovert tot een meester in veilig plannen. Ze gebruiken een tweestapsmethode, alsof je iemand leert autorijden.

Stap 1: De Theorieles (Supervised Fine-Tuning)

Eerst geven we de AI een dikke stapel boeken met voorbeelden van perfecte, veilige rijroutes.

• De analogie: Stel je voor dat je een leerlingrijder een boek geeft met 1000 voorbeelden van hoe je veilig door een kruispunt rijdt zonder te crashen. De AI leert hieruit de regels: "Niet op een rood licht rijden," "Niet tegen een boom aanrijden."
• Het resultaat: De AI leert de taal van de robot en de basisregels van veiligheid. Maar ze leert nog niet echt waarom iets gevaarlijk is, ze onthoudt het alleen.

Stap 2: De Praktijkles met een Strakke Instructeur (GRPO)

Nu laten we de AI zelf oefenen, maar met een speciale "instructeur" die direct feedback geeft. Dit is het slimme deel van de paper.

• De analogie: Stel je voor dat de leerlingrijder nu op een oefenparcourt rijdt. Er staat een strenge instructeur naast die een rood-wit lint (een veilige zone) heeft.
  • Als de leerling het lint raakt (een veiligheidsfout), krijgt hij direct een flinke straf (een negatief puntje).
  • Als de leerling netjes blijft rijden maar de finish niet haalt, krijgt hij een klein puntje.
  • Als hij veilig én snel de finish haalt, krijgt hij een gouden ster.
• Het geheim: De instructeur kijkt niet alleen of de leerling wint, maar hoe hij rijdt. Als de leerling bijna een boom raakt (een gevaarlijke situatie), krijgt hij al een straf, zelfs als hij niet crasht. Hierdoor leert de AI om ver vooruit te denken en gevaarlijke situaties te vermijden, niet alleen om te winnen.

3. Waarom is dit zo speciaal? (De "Superkracht")

Het echte wonder van SafeGen-LLM is dat de robot generaliseert.

• Standaard AI: Als je een robot leert om in een keuken te koken, kan hij vaak niet meer in een garage werken. Hij is te specifiek getraind.
• SafeGen-LLM: Deze robot heeft geleerd hoe je veilig denkt. Als je hem nu vraagt om in een fabriek te werken (een nieuwe situatie), past hij zijn veiligheidsregels daar automatisch op aan. Hij weet: "Ah, hier zijn ook zware machines, dus ik moet niet te dichtbij komen," net zoals hij dat in de keuken wist.

4. De Resultaten in het Dagelijkse Leven

De auteurs hebben dit getest op echte robots en in simulaties:

• Schaalbaarheid: Oude robots werden langzaam en traag naarmate de taak moeilijker werd. Deze nieuwe AI blijft snel en slim, zelfs bij complexe taken.
• Veiligheid: In tests bleek dat de AI bijna nooit meer onveilige plannen maakte. Zelfs als je de input veranderde (bijvoorbeeld van een technische taal naar gewoon Nederlands), bleef hij veilig.
• Echte Robots: Ze hebben het zelfs op een echte robotarm getest. De oude manier zorgde voor botsingen (de arm stootte tegen een blokje aan). De nieuwe SafeGen-LLM manier zorgde ervoor dat de robotarm soepel en veilig zijn werk deed, zonder iets kapot te maken.

Samenvatting

SafeGen-LLM is als het geven van een onverbrekelijke veiligheidsriem aan een zeer slimme, maar soms slordige AI. Door eerst de regels te leren en daarna te oefenen met een strenge, slimme instructeur die direct feedback geeft op gevaar, wordt de robot niet alleen slimmer, maar ook betrouwbaarder. Hierdoor kunnen we in de toekomst veiligere robots inzetten in fabrieken, ziekenhuizen en op de weg, zonder bang te hoeven zijn dat ze een ongeluk veroorzaken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems" in het Nederlands.

Probleemstelling

Robotische systemen worden steeds vaker ingezet in veiligheidskritieke domeinen zoals autonoom rijden en industriële automatisering. Het plannen van taken (task planning) in deze omgevingen is uitdagend vanwege de noodzaak om niet alleen efficiënt te zijn, maar ook strikte veiligheidsvoorwaarden te garanderen. Bestaande benaderingen hebben fundamentele beperkingen:

• Klassieke planners (gebaseerd op zoekalgoritmen zoals Fast Downward) lijden onder slechte schaalbaarheid bij toenemende complexiteit en vereisen zware, handgemaakte domeinmodellen.
• Versterkingsleer (RL)-methoden generaliseren vaak slecht naar nieuwe taken en vereisen enorme hoeveelheden interactie-gegevens voor training.
• Basis Large Language Models (LLM's) kunnen wel flexibel plannen genereren, maar garanderen geen veiligheid. Zonder specifieke training kunnen ze onveilige acties voorstellen, syntactische fouten maken of veiligheidsbeperkingen negeren, wat in de praktijk tot gevaarlijke situaties kan leiden.

De kernvraag is: Hoe kunnen we LLM's systematisch afstemmen (align) om veilige taakplannen te genereren met sterke veiligheidsgeneralisatie over verschillende domeinen en nieuwe problemen?

Methodologie: SafeGen-LLM

De auteurs stellen SafeGen-LLM voor, een post-training framework dat bestaat uit drie hoofdfasen om LLM's veiligheidsbewust te maken voor robotische planning.

1. Dataset Constructie

Er wordt een unificerend dataset-benchmark ontwikkeld met expliciete veiligheidsbeperkingen, gebaseerd op PDDL3 (Planning Domain Definition Language).

• Domeinen: Vier robotische domeinen worden geselecteerd: Blocksworld, Ferry, Grippers en Spanner.
• Veiligheidsbeperkingen: Voor elk domein worden specifieke veiligheidsregels ontworpen (bijv. "geen overbelasting van de veerboot" of "stabiele stapeling van blokken") en gecodeerd als temporale constraints in PDDL3.
• Validatie: Problemen worden gegenereerd en opgelost met klassieke planners (OPTIC), waarna oplossingen strikt worden geverifieerd met het VAL-tool. Alleen geldige, veilige plannen worden gebruikt.
• Formaat: De data wordt omgezet naar instructie-respons paren (natuurlijke taal prompt + gevalidiseerd plan).

2. Fase I: Supervised Fine-Tuning (SFT)

Een vooraf getraind LLM wordt gefinetuned op de gegenereerde instructie-respons dataset.

• Doel: Het model leert de syntaxis en semantiek van planningsopdrachten (PDDL-achtige structuren) en internaliseert de basisdomeinkennis.
• Resultaat: Het model produceert nu syntactisch correcte plannen, maar is nog niet optimaal op veiligheid afgestemd.

3. Fase II: Group Relative Policy Optimization (GRPO)

Dit is de kern van de veiligheidsafstemming. Het model ondergaat online versterkingsleer met een verifieerbare beloningsfunctie.

• Beloningsontwerp (Reward Machine): Een gedetailleerde, hiërarchische beloning wordt toegekend op basis van validatie door VAL:
  1. Format Error: Laagste beloning.
  2. Safety Violation: Zeer lage beloning (prioriteit boven doelbereiking).
  3. Precondition Violation: Lage beloning.
  4. Goal Not Satisfied: Middelmatige beloning.
  5. Success: Hoogste beloning.
  • Er wordt gebruikgemaakt van progress-based interpolation binnen foutcategorieën om dichte gradiënten te bieden (bijv. hoe lang is het veilige prefix?).
• Curriculum Learning: Training verloopt in fasen van makkelijk naar moeilijk (gebaseerd op probleemcomplexiteit) om stabiliteit te garanderen.
• Doel: Het model leert om veiligheidsbeperkingen te prioriteren boven het simpelweg bereiken van het doel, en generaliseert dit gedrag naar onbekende problemen.

Belangrijkste Bijdragen

1. Unificerend Benchmark: Een nieuwe dataset voor veiligheidsbewuste PDDL-planning die meerdere domeinen en expliciete veiligheidsconstraints omvat.
2. Systematisch Post-Training Framework: Een tweestapsbenadering (SFT + GRPO) die formele verificatie integreert in de beloningsstructuur van een LLM. Dit zorgt voor zowel syntactische correctheid als veiligheidsconformiteit.
3. Superieure Generalisatie: Het bewijs dat getrainde modellen (zelfs kleinere open-source modellen) beter presteren dan geavanceerde, gesloten proprietary modellen (zoals GPT-5 Nano) op veiligheidskritieke taken, en dit doen met sterkere generalisatie over domeinen en inputformaten.

Resultaten

Uitgebreide experimenten tonen de volgende resultaten:

• Schaalbaarheid: In vergelijking met klassieke planners (OPTIC, Fast Downward) behoudt de LLM-benadering een stabiele runtime en hogere succespercentages bij toenemende complexiteit.
• Veiligheidsgeneralisatie (Cross-Problem): Binnen één domein (bijv. Blocksworld) daalt het percentage veiligheidsviolaties van ~10% (na SFT) naar ~4% (na GRPO), terwijl het succespercentage stijgt van 66% naar 82%.
• Domein-Generalisatie (Cross-Domain): Modellen getraind op alle vier domeinen presteren consistent goed op nieuwe taken in elk domein.
  • Qwen3-14B bereikt success rates van 88-100% na GRPO.
  • Llama-8B bereikt 78-94%.
  • Beide modellen overtreffen GPT-5 Nano significant op veiligheidsgebonden taken.
• Input Robuustheid: Het model generaliseert goed naar verschillende inputformaten (PDDL3, Natuurlijke Taal, JSON), hoewel het uitsluitend op PDDL3 is getraind.
• Real-World Validatie:
  • In simulatie voorkomt het model botsingen die klassieke planners veroorzaken door onveilige tussenliggende toestanden.
  • Op een fysieke robotarm (Elephant myCobot 280) voert het model veilig taken uit zonder fysieke botsingen, terwijl een onveilige baseline wel een botsing veroorzaakt.
• Integratie met Agents: Wanneer gecombineerd met een verificatie-framework (SafePilot), stijgt het succespercentage naar 97,5% met zeer weinig retries, wat aantoont dat het model een sterke basis vormt voor agentic workflows.

Betekenis en Impact

SafeGen-LLM adresseert een kritieke kloof in robotica: het vermogen om complexe, langdurige taken te plannen met gegarandeerde veiligheid.

• Verschuiving van "Black Box" naar Verifieerbaar: Door formele verificatie (VAL) te integreren in de training (via GRPO), wordt veiligheid niet meer alleen geleerd uit data, maar expliciet afgedwongen.
• Efficiëntie: Het framework maakt het mogelijk om kleinere, open-source modellen (7B-14B parameters) te gebruiken die beter presteren dan veel grotere, gesloten modellen op specifieke veiligheidsopgaven, wat de kosten en toegankelijkheid verlaagt.
• Toekomstperspectief: De aanpak biedt een pad naar robuuste, veilige AI voor robots in dynamische omgevingen, waarbij het systeem niet alleen "slim" is, maar ook "veilig" door ontwerp. De auteurs suggereren toekomstig werk gericht op nog complexere robotische settings en automatische generatie van veiligheidsconstraints.