A Hazard-Informed Data Pipeline for Robotics Physical Safety

Dit rapport presenteert een gestructureerd kader voor fysieke robotveiligheid dat klassieke risicotechniek koppelt aan moderne machine learning-pipelines door middel van expliciete activa-declaratie, systematische kwetsbaarheidsanalyse en door gevaren gestuurde synthetische data-generatie.

De kern

Titel: Hoe we robots veilig leren spelen in de echte wereld

Stel je voor dat je een robot bouwt die in een kleuterschool moet werken. Hij moet helpen met het opruimen en spullen op tafels zetten. Maar kinderen rennen, vallen en grijpen naar alles. Hoe zorg je dat de robot niemand pijn doet?

Dit rapport van Alexei Odinokov en Rostislav Yavorskiy geeft een slim plan om dat te doen. Het is als een recept voor veiligheid, maar dan voor robots die leren van computers (kunstmatige intelligentie).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: Robots zijn niet meer alleen maar machines

Vroeger waren robots als een strakke machine in een fabriek: ze deden precies wat ze moesten doen, en als ze faalden, was het een duidelijk defect (bijvoorbeeld: een arm die vastliep). Dat noemen ze deterministisch gevaar. Dat is makkelijk op te lossen met goede techniek.

Maar moderne robots zijn slimmer en werken samen met mensen. Ze kunnen soms "slimme" fouten maken die niemand had verwacht. Bijvoorbeeld: honderd robots in een magazijn die allemaal perfect werken, maar samen per ongeluk een blokkade vormen waar niemand meer uit kan. Dat noemen ze emergent gevaar (gevaar dat ontstaat door het gedrag van het hele groepje). Dit is lastig te voorspellen.

2. De oplossing: De "Veiligheids-Simulatie-School"

In plaats van te wachten tot een robot een ongeluk heeft in de echte wereld (en dan pas te leren), willen de auteurs dat robots eerst duizenden ongelukken in een virtuele wereld meemaken.

Ze stellen een 5-stappenplan voor, dat ze een "Hazard-Informed Data Pipeline" noemen. Laten we het vergelijken met het trainen van een jonge piloot:

Stap 1: Wat willen we beschermen? (De "Schatten")

Voordat je begint, moet je weten wat er kostbaar is.

• Vergelijking: Het is alsof je een schatkaart tekent. Wat moet je beschermen? De kinderen? De tafels? De reputatie van de school? Zelfs de lucht en het water.
• In het plan: Je maakt een lijst van alles wat schade kan oplopen. Geen enkel detail mag ontbreken.

Stap 2: Hoe kan het kapot gaan? (De "Kwetsbaarheden")

Nu vraag je je af: hoe kan die schat beschadigd worden?

• Vergelijking: Stel je een glas water voor. Hoe kan het kapot gaan? Door te vallen? Door te heet te worden? Door te worden gestoten?
• In het plan: Je maakt een lijst van alle mogelijke manieren waarop iets fout kan gaan, zonder nog te kijken waarom het gebeurt.

Stap 3: Het verhaal van het ongeluk (De "Scenario's")

Nu maak je van die losse ideeën echte verhalen.

• Vergelijking: "Het glas valt" is saai. Maar: "Het glas staat te dicht bij de rand, het kind rent er langs, en plons..." Dat is een scenario.
• In het plan: Je schrijft precies op hoe een fout leidt tot een gevaar. Bijvoorbeeld: "De robot zet een blik te dicht bij de rand van de tafel (minder dan 10 cm). Een kind rent erlangs, stoot de tafel, en het blik valt."

Stap 4: De virtuele speelplaats (De "Digitale Tweeling")

Hier komt de magie. Je bouwt een perfecte digitale kopie (een "tweeling") van de kleuterschool in de computer.

• Vergelijking: Het is alsof je een videospel maakt waarin je de regels kunt veranderen. Je kunt duizenden keren het spel spelen, maar dan met andere lichten, andere tafels, en andere kinderen.
• In het plan: De computer genereert automatisch duizenden situaties waarin die "blik-van-de-tafel" scenario's gebeuren. De computer weet precies wanneer het fout gaat. Dit is synthetische data: data die niet uit de echte wereld komt, maar uit de computer, speciaal gemaakt om de robot te leren.

Stap 5: De robot leren (De "Training")

Nu leer je de robot met die duizenden virtuele ongelukken.

• Vergelijking: De robot kijkt naar de video's van de virtuele ongelukken en leert: "Oh, als ik iets binnen 10 cm van de rand zet, is dat gevaarlijk!"
• In het plan: De robot wordt getraind om niet alleen zijn taak te doen (blik op tafel), maar ook om de veiligheidsrand te zien. Hij leert een "veiligheidsomhulsel": een onzichtbaar schild dat hem vertelt waar hij niet mag komen.

Waarom is dit zo belangrijk?

1. Je leert van fouten zonder schade: Je hoeft niet te wachten tot een kind valt om te leren dat de robot te dichtbij staat. Je leert dat in de computer.
2. Het is transparant: Oude robots zijn vaak een "zwarte doos": ze doen iets, maar niemand weet waarom. Met dit plan weten we precies welke situaties de robot heeft geoefend. Als een robot veilig is, kunnen we zeggen: "Ja, we hebben hem 10.000 keer getraind op het niet laten vallen van blikjes."
3. Het werkt voor alles: Of het nu een robot in een fabriek is, een zelfrijdende auto in de stad, of een robot in een ziekenhuis. Het principe is hetzelfde: eerst weten wat er kostbaar is, dan bedenken hoe het fout kan gaan, en dan in een virtuele wereld oefenen tot het perfect zit.

Kortom:
Dit rapport zegt: "Laten we stoppen met hopen dat robots vanzelf veilig worden. Laten we ze in een veilige, virtuele wereld laten oefenen met duizenden mogelijke ongelukken, zodat ze in de echte wereld nooit meer een fout maken." Het is als een vliegtraining voor robots, maar dan met een focus op het voorkomen van ongelukken in plaats van het vliegen zelf.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het rapport "A Hazard-Informed Data Pipeline for Robotics Physical Safety" (Maart 2026) van Odinokov en Yavorskiy, in het Nederlands.

Titel: Een Gevaar-Informatieve Data-Pijplijn voor Fysieke Robotveiligheid

Auteurs: Alexei Odinokov, Rostislav Yavorskiy (SafePi.ai, Madrid)

---

1. Het Probleem: Deterministisch versus Emergent Schade

Het rapport identificeert een fundamentele kloof in de huidige robotveiligheid. Traditionele veiligheidsbenaderingen richten zich op deterministische schade: fouten met een duidelijke oorzaak-gevolgketen (bijv. een sensorstoring of een mechanisch defect) die voorspelbaar zijn en kunnen worden opgelost met klassieke engineering (redundantie, formele verificatie).

De uitdaging ligt echter bij emergente schade in "Physical AI"-systemen:

• Complexiteit: Risico's ontstaan niet uit één defect, maar uit complexe, niet-lineaire interacties tussen meerdere agents of tussen robots en een onvoorspelbare omgeving.
• Onvoorspelbaarheid: Zelfs als alle subsystemen perfect werken, kan collectief gedrag leiden tot onveilige situaties (bijv. dode blokkades in magazijnen of verstoring van voetgangersstromen).
• Beperking van ML-modellen: Bestaande foundation-modellen zijn getraind op statische, brede datasets die de unieke beperkingen en zeldzame "long-tail" gebeurtenissen van specifieke deployments missen. Ze zijn niet getraind om deze emergente dynamieken te begrijpen.

2. Methodologie: De Vijf-Stappen Pijplijn

De auteurs stellen een gestructureerde, vijf-stappen pijplijn voor die klassiek risicomanagement koppelt aan moderne machine learning (ML) workflows. Het doel is om veiligheid te "ingebouwd" te maken in zowel simulatie als ML-training.

Stap 1: Activa Declaratie (Beschermingsuniversum)

• Doel: Een exhaustieve en ondubbelzinnige definitie van alles wat moet worden beschermd.
• Aanpak: Geen filtering of prioritering in deze fase. Alle activa worden opgesomd op verschillende granulariteitsniveaus:
  • Menselijke activa: Operatoren, omstanders, cognitieve capaciteit, psychologische veiligheid.
  • Organisatorische activa: Hardware, sensoren, voorraad, reputatie.
  • Omgevingsactiva: Bodemkwaliteit, luchtkwaliteit, water.
• Referentie: Gebaseerd op standaarden zoals ISO 12100 en ISO 10218.

Stap 2: Blootstellingsmodi (Kwetsbaarheidsenumeratie)

• Doel: Definieer hoe elk actief vatbaar kan worden voor schade.
• Aanpak: Een taxonomie van potentiële zwakke plekken, onafhankelijk van een specifieke oorzaak.
  • Voorbeeld: Een menselijke arm is blootgesteld aan een bewegend actuator; batterijen zijn blootgesteld aan oververhitting.

Stap 3: Definitie van Gevaarscenario's

• Doel: Vertaal abstracte kwetsbaarheden naar concrete, testbare scenario's.
• Aanpak: Koppel elke blootstellingsmodus aan causale ketens van gebeurtenissen.
  • Voorbeeld: "Sensor occlusie" (Stap 2) leidt tot "mislukte detectie" (Stap 3), wat resulteert in een botsing.
  • Dit creëert een bibliotheek van expliciete oorzaak-gevolg scenario's geschikt voor FMEA (Failure Mode and Effects Analysis) en simulatie.

Stap 4: Gesimuleerde Scènes en Synthetische Data Generatie

• Doel: Genereren van gerichte synthetische data gebaseerd op het gevarenmodel (geen willekeurige data-augmentatie).
• Aanpak:
  1. Digitale Twin: Bouw een high-fidelity 3D-simulatieomgeving.
  2. Injectie van Fouten: Programmeer de specifieke foutenmodus (bijv. sensorocclusie) in de simulatie.
  3. Gecontroleerde Variatie: Genereer duizenden varianten door parameters te veranderen (licht, camera-hoek, obstakels).
  4. Veiligheidslabeling: Annotatie van de data met "ground-truth" labels voor veiligheidskritieke kenmerken (bijv. "onveilige afstand", "dreigende botsing", "oververhitting").

Stap 5: ML Fine-Tuning en Leren van het Veiligheidspakket (Safety Envelope)

• Doel: Integreer de synthetische data in de ML-lifecycle om modellen te leren de grenzen van veiligheid te herkennen.
• Aanpak: Train modellen niet alleen op taakuitvoering, maar op het herkennen van de overgang van nominale naar gevaarlijke toestanden.
  • Resultaat: Modellen leren een "veiligheidspakket" (safety envelope) en kunnen actief risico's waarnemen en voorkomen, zelfs in emergente situaties.

3. Praktijkvoorbeeld: Mensachtige Robot in een Kleuterschool

Om het kader te illustreren, gebruiken de auteurs een scenario met een robot die kinderen helpt.

• Beleid: Objecten op tafels moeten minimaal 10 cm van de rand verwijderd zijn.
• Toepassing:
  • Stap 1-3: Activa (kinderen) en scenario's (blik valt van tafel als kind tegen tafel stoot) worden gedefinieerd.
  • Stap 4: Een digitale twin van de klas genereert duizenden scènes met variërende afstanden, gewichten en bewegingen. Data wordt gelabeld als "veilig" (>10cm) of "onveilig" (<10cm).
  • Stap 5: Het ML-model wordt getraind om de tafelsrand te detecteren en de taakplanner te overschrijven als de 10cm-regel wordt geschonden, in plaats van alleen te leren "hoe te plaatsen".

4. Belangrijkste Bijdragen

1. Brug tussen Disciplines: De eerste gestructureerde methode die klassieke risicotechniek (FMEA, hazard-ontologie) direct koppelt aan ML-training pipelines.
2. Formele Gevaar-ontologie: Een systeematische manier om "wat moet worden beschermd" en "hoe schade kan ontstaan" formeel te declareren voordat data wordt gegenereerd.
3. Synthetische Data als Testorakel: Het gebruik van synthetische data niet alleen voor training, maar ook als formeel testinstrument voor certificering. Het maakt de "black box" van AI transparant door te laten zien dat het model expliciet is getraind op specifieke, geïdentificeerde faalmodi.
4. Focus op Emergent Schade: Een verschuiving van het voorkomen van enkelvoudige componentfouten naar het modelleren van complexe, systemische risico's in multi-agent systemen.

5. Resultaten en Implicaties

• Verbeterde Veiligheid: Modellen worden getraind op de "lange staart" van gebeurtenissen die zelden in echte data voorkomen, maar wel kritiek zijn voor veiligheid.
• Certificeerbaarheid: Toezichthouders kunnen niet alleen het eindmodel auditeren, maar ook de onderliggende gevarenontologie en de kwaliteit van de simulatie die de trainingdata genereerde. Dit creëert een nieuwe laag van transparantie en verantwoording.
• Scalabiliteit: De pijplijn is reproduceerbaar en schaalbaar voor verschillende industriële toepassingen, van logistiek tot zorg.

6. Significatie

Dit rapport markeert een paradigmaverschuiving in de fysieke AI-veiligheid. Het stelt dat veiligheid niet alleen gaat over het voorkomen van falen, maar over het systematisch modelleren van bescherming, blootstelling en het ontstaan van schade. Door synthetische data te gebruiken om modellen te "imbuëren" met een inductieve bias voor veiligheid in specifieke contexten, biedt het een oplossing voor de beperkingen van huidige foundation-modellen. Dit is essentieel voor de veilige integratie van robots in menselijke omgevingen, waar emergente risico's de norm worden.