Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Dit artikel stelt een nieuwe, geautomatiseerde Safety-by-Design-methode voor die gebruikmaakt van een multidimensionale, op kernen gebaseerde representatie om de Operationele Ontwerpdom (ODD) af te leiden uit verzamelde data, waarmee certificeringsuitdagingen voor veiligheidskritieke AI-systemen worden aangepakt, zoals gevalideerd door Monte Carlo-simulaties en een real-world gebruikgeval voor luchtvaartbotsingsvermijding.

De kern

Stel je voor dat je een robot leert vliegen met een vliegtuig. Je wilt dat de robot veilig is, dus moet je hem precies vertellen waar en wanneer hij mag vliegen. In de wereld van AI-veiligheid wordt dit "toegelaten gebied" de Operationele Ontwerp-Domein (ODD) genoemd.

Traditioneel zouden experts met een whiteboard gaan zitten en proberen dit gebied met de hand te tekenen, door regels op te schrijven zoals "niet vliegen in de regen" of "niet vliegen boven de 30.000 voet". Maar de echte wereld is rommelig. Weer, verkeer en wind interageren op complexe manieren die onmogelijk perfect op een whiteboard te lijsten zijn. Dit leidt vaak tot veiligheidskloven waarbij de robot denkt dat het veilig is, maar zich eigenlijk in een gevaarlijke situatie bevindt waarover hij niets is verteld.

Dit artikel stelt een nieuwe manier voor om dat veiligheidsgebied te tekenen: laat de data het voor je tekenen.

Hier is een eenvoudige uitleg van hoe ze dit deden, met gebruikmaking van alledaagse analogieën:

1. Het Probleem: De "Lege Kaart"

Stel je voor dat je een kaart hebt van een stad, maar de straten zijn verborgen in mist. Je weet dat de stad bestaat, maar je weet niet precies waar de veilige wegen zijn en waar de kliffen liggen.

• Oude manier: Experts gokken waar de wegen zijn op basis van hun ervaring. Ze kunnen een verborgen afgrond missen.
• Nieuwe manier: Je laat duizenden gloeiende marbles (datapunten) op de kaart vallen. Waar de marbles landen, weet je dat het veilig is. Waar ze niet landen, neem je aan dat het misschien gevaarlijk is.

2. De Oplossing: Het "Gloeiende Net"

De auteurs creëerden een methode om die verspreide datapunten om te zetten in een gladde, continue veiligheidskaart. Ze noemen dit een Kern-gebaseerde Representatie.

Denk aan elk datapunt (een veilige vluchtconditie) als een kampvuur.

• Het Vuur: Recht bij het kampvuur is het erg warm (zeer veilig).
• De Warmte: Naarmate je van het vuur afloopt, vervaagt de warmte. Het stopt niet abrupt; het wordt koeler en koeler tot het nauwelijks merkbaar is.
• Het Net: Het AI-systeem creëert een gigantische, onzichtbare "warmtekaart" door de warmte van al deze kampvuren te combineren.
  • Als je staat waar de warmte sterk is, bevind je je binnen het veiligheidsgebied.
  • Als je in een koude plek tussen de vuren staat, bevind je je buiten het veiligheidsgebied.

Dit is beter dan een harde doos om de kampvuren te tekenen, omdat het rekening houdt met de "grijze gebieden" ertussen.

3. Het "Veiligheidsnet" voor Fouten

Wat als je per ongeluk een marble laat vallen op een plek die eigenlijk gevaarlijk is (zoals de rand van een afgrond)? Het systeem moet weten dat het daar geen vuur mag maken.

• De auteurs voegden een regel toe: Als een "gevaarlijk" datapunt te veel warmte krijgt van de nabijgelegen kampvuren, dempt het systeem automatisch de vuren eromheen totdat de gevaarlijke plek weer koud is.
• Dit zorgt ervoor dat het veiligheidsgebied nooit per ongeluk een bekende gevaarlijke plek bedekt.

4. Waarom Dit Belangrijk Is voor Certificering

Om een vliegtuig of auto goedgekeurd te krijgen voor gebruik, moeten regelgevers weten dat de regels stevig zijn.

• Deterministisch: Het artikel beweert dat als je dit proces twee keer uitvoert met dezelfde data, je elke keer exact dezelfde veiligheidskaart krijgt. Het is geen "black box"-gok; het is een wiskundige berekening.
• Onafhankelijk van Volgorde: Het maakt niet uit of je de data 's ochtends of 's middags in de computer invoert, of in een andere volgorde. Het resultaat is altijd hetzelfde.
• Conservatief: Als het systeem niet zeker weet of een plek veilig is (omdat er daar geen datapunten zijn), gaat het ervan uit dat het onveilig is. Dit is een "beter veilig dan spijtig"-benadering, wat cruciaal is voor veiligheidskritieke systemen.

5. Het Bewijs: De "Vluchtsimulator"-Test

De auteurs testten deze methode op twee manieren:

1. Wiskundige Simulatie: Ze creëerden een nep, perfecte veiligheidszone op een computer en probeerden deze vervolgens opnieuw op te bouwen met alleen verspreide datapunten. Hun "gloeiende net"-methode reconstrueerde het oorspronkelijke gebied met meer dan 98% nauwkeurigheid.
2. Wereldwijde Luchtvaart: Ze pasten het toe op een echt luchtvaartprobleem: Kollisie-voorkoming. Ze gebruikten data van een systeem dat is ontworpen om vliegtuigen te laten botsen. De methode slaagde erin de veilige bedrijfsomstandigheden voor dit complexe systeem in kaart te brengen, wat bewijst dat het werkt, zelfs met echte, rommelige data.

Samenvatting

Dit artikel presenteert een tool (genaamd autoSAFE) die ruwe data van een veiligheidskritiek systeem neemt en automatisch een nauwkeurige, wiskundig bewezen "veiligheidszone" eromheen tekent. In plaats van de regels te raden, leert het de grenzen van de data zelf, zodat de AI alleen opereert waar bewezen is dat het veilig is. Dit maakt het veel gemakkelijker om AI-systemen te certificeren voor dingen zoals vliegen met vliegtuigen of autorijden.

Technische samenvatting

Technische Samenvatting: Definiëren van Operationele Voorwaarden voor Veiligheidskritieke AI-Systemen op Basis van Gegevens

1. Probleemstelling

De snelle implementatie van Kunstmatige Intelligentie (KI) in veiligheidskritieke domeinen (bijvoorbeeld luchtvaart, automotive) vereist strenge veiligheidsborging en certificering. Een centrale vereiste voor het certificeren van KI-systemen is de definitie van het Operationeel Ontwerpgebied (ODD)—de specifieke set van omgevings- en operationele voorwaarden waaronder het systeem veilig moet functioneren.

Traditioneel worden ODD's handmatig gedefinieerd door domeinexperts in een vroeg stadium van de ontwikkelingscyclus. Voor complexe real-world systemen stuit deze aanpak echter op aanzienlijke uitdagingen:

• Complexiteit: Het definiëren van onderlinge relaties (ontologie) tussen parameters (bijvoorbeeld hoe weersomstandigheden de landingssnelheid beïnvloeden) is moeilijk en vaak onvolledig.
• Statische Aard: Door experts gedefinieerde ODD's kunnen impliciete parameterafhankelijkheden niet vastleggen of zich niet aanpassen aan nieuwe gegevens.
• Certificeringsgaten: Bestaande datagedreven benaderingen missen vaak deterministische, volgorde-onafhankelijke representaties of formele kaders voor ODD-gelijkheid, die voorwaarden zijn voor formele certificering.

Bestaande wiskundige representaties (bijvoorbeeld convexe polytoepen) falen in het modelleren van niet-lineaire ODD-ontologieën, terwijl op neurale netwerken gebaseerde benaderingen volgorde-afhankelijkheid en onzekerheid introduceren. Er is behoefte aan een methode om ODD's direct af te leiden uit gegevens die deterministisch, volgorde-onafhankelijk, begrensd en interpreteerbaar is.

2. Methodologie

Het artikel stelt een Safety-by-Design-methode voor om ODD's a posteriori te definiëren op basis van verzamelde gegevens, gebruikmakend van een meerdere-dimensionale, op kernels gebaseerde representatie. De kernmethodologie omvat de volgende stappen:

2.1 Wiskundige Formalisering

De auteurs formaliseren de ODD als een wiskundige structuur $O = (X, R^O, f^O, \Omega^O)$, waarbij $X$ de taxonomie (parameterruimte) is, $R^O$ de ontologie (beperkingen) en $f^O$ de interpretatiefunctie. Cruciaal is dat zij ODD-gelijkheid ($O_1 \sim O_2$) definiëren niet op basis van semantische equivalentie, maar op basis van datacentrische equivalentie: twee ODD's zijn gelijk als ze dezelfde dataset $Y$ genereren.

2.2 Op Kernels Gebaseerde Affiniteitsrepresentatie

In plaats van handmatig grenzen te construeren, construeert de methode de ODD direct uit gegevensstalen:

• Ankerpunten: In-distribution (ID) stalen ($D_{ID}$) dienen als ankerpunten ($A$). Out-of-distribution (OOD) stalen ($D_{OOD}$) worden expliciet uitgesloten.
• Lokale Affiniteit: Voor elk ankerpunt $x_i$ wordt een lokale affiniteitsfunctie $\alpha_i(x)$ gedefinieerd met behulp van een positief-definiete kernel (specifiek de Radiale Basisfunctie (RBF)-kernel).
• Globale Affiniteit: Het globale ODD-lidmaatschap wordt bepaald door de superpositie van lokale affiniteiten:
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  Een staal $x$ behoort tot de ODD als $\alpha(x) \geq \zeta$, waarbij $\zeta$ een vooraf gedefinieerde drempelwaarde is.

2.3 Geautomatiseerde Parameterisering

Om te waarborgen dat het proces volledig geautomatiseerd is en handmatige afstelling vermijdt:

• Diagonale Covariantie: De covariantiematrix $\Sigma$ van de kernel wordt verondersteld diagonaal te zijn, gebaseerd op de aanname van lokale onafhankelijkheid en een uniforme verdeling van ankerpunten.
• Afstandsafhankelijke Schaling: De diagonaalelementen van $\Sigma$ worden gedefinieerd als een functie van de afstand tot de dichtstbijzijnde buur ($d^*_i$):
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  Dit reduceert het aantal hyperparameters van $N \times n^2$ tot slechts twee ($\kappa, \eta$) plus een ondergrens $\lambda$.

2.4 OOD-Consistentiebeperking

Om veiligheid te waarborgen, dwingt de methode af dat OOD-stalen niet worden geclassificeerd als onderdeel van de ODD. Als een OOD-staal $x$ de drempelwaarde schendt ($\alpha(x) > \xi$), schaalt het algoritme iteratief de covariantiematrix van de meest invloedrijke kernel voor dat punt naar beneden. Dit proces is volgorde-onafhankelijk en is bewezen te eindigen in een eindig aantal stappen, waarbij wordt gewaarborgd dat $\alpha(x) \leq \xi$ voor alle OOD-stalen.

3. Belangrijkste Bijdragen

1. Deterministisch, Volgorde-Onafhankelijk Kader: Het artikel presenteert de eerste volledig geautomatiseerde pijplijn om ODD's af te leiden uit gegevens met behulp van een op kernels gebaseerde representatie die uniek wordt bepaald door de gegevens en invariant is voor de volgorde van stalen.
2. Formele Definitie van ODD-Gelijkheid: Er wordt een datacentrische definitie van ODD-gelijkheid geïntroduceerd, die de vergelijking van datagedreven ODD's met grondwahrheid of proxies mogelijk maakt zonder semantische uitlijning te vereisen.
3. Implementatie van Safety-by-Design: De resulterende ODD-representatie is begrensd, conservatief (onderbenadert de ware ODD in schaarse regimes) en interpreteerbaar, en voldoet aan sleutelvereisten voor toekomstige KI-certificering.
4. Omgaan met Schaarse Gegevens: De methode is ontworpen om effectief te functioneren zelfs in regimes met schaarse gegevens, waardoor deze toepasbaar is in vroege ontwikkelingsfasen.
5. Open-Source Tool (autoSAFE): De auteurs hebben een tool (autoSAFE) ontwikkeld en open-source gemaakt die dit kader implementeert, met ondersteuning voor diverse gegevensformaten (CSV, JSON/ASAM OpenLABEL) en efficiënte zoekopdrachten naar de dichtstbijzijnde buur.

4. Validatie en Resultaten

De methodologie is gevalideerd via twee primaire experimenten:

4.1 Monte Carlo-simulatie

• Opzet: Een synthetische 2D-ODD werd gegenereerd met een lineaire ongelijkheidsbeperking. Ankerpunten werden bemonsterd uit de ware ODD, en validatiestalen werden gegenereerd over een bredere hyperrechthoek.
• Vondsten: De datagedreven ODD werd vergeleken met de onderliggende ware ODD en de convexe omhulling van ankerpunten.
  • Precisie- en recall-curves toonden een sterke correlatie tussen de datagedreven ODD en de convexe omhulling ($R^2 = 0,9855$ voor precisie, $R^2 = 0,9987$ voor recall).
  • Dit suggereert dat de convexe omhulling kan dienen als een betrouwbare proxy voor het afstellen van affiniteitsdrempels wanneer de grondwahrheid-ODD onbekend is.
  • De resultaten bleven geldig voor dimensies tot 10 en complexe relatiefuncties.

4.2 Real-world Luchtvaartgebruiksgeval (VCAS)

• Context: De methode werd toegepast op het Vertical Collision Avoidance System (VCAS), een component van het ACAS X-systeem van de volgende generatie.
• Gegevens: De dataset bevatte 622.110 ankerpunten die toestandsvectoren vertegenwoordigden (relatieve hoogte, verticale snelheden, tijd tot CPA, vorige aanbeveling).
• Vondsten:
  • De datagedreven ODD werd vergeleken met de bekende grondwahrheid-ODD en de convexe omhulling.
  • Er werden hoge determinatiecoëfficiënten waargenomen ($R^2 = 0,991$ voor precisie, $R^2 = 0,999$ voor recall).
  • De resultaten bevestigden dat de op kernels gebaseerde aanpak goed presteert in een realistisch, hoogdimensionaal veiligheidskritiek scenario, ondanks de lagere dichtheid van ankerpunten in vergelijking met de Monte Carlo-simulatie.

5. Betekenis en Beweringen

Het artikel beweert dat hoewel een "volledig waarheidsgetrouwe" reconstructie van een ODD niet altijd mogelijk is uitsluitend op basis van gegevens, de voorgestelde op kernels gebaseerde aanpak de onderliggende ODD voldoende benadert voor certificeringsdoeleinden.

• Certificeringsklaarheid: De methode biedt een wiskundig rigoureus, deterministisch en verklaarbaar fundament voor het definiëren van operationele grenzen. Dit ondersteunt regelgevende kaders (bijvoorbeeld EASA) die continue veiligheidsbeoordeling en duidelijke operationele limieten vereisen.
• Monitoring tijdens Runtime: In tegenstelling tot stijve geometrische grenzen, maakt de continue affiniteitsfunctie $\alpha(x)$ gegradueerde waarschuwingszones mogelijk. Naarmate de systeemtoestand afwijkt van ankerpunten, neemt de affiniteitsscore soepel af, wat een vroegtijdige detectie van out-of-distribution-omstandigheden mogelijk maakt voordat een harde veiligheidsgrens wordt overschreden.
• Conservatisme: De aanpak is inherent conservatief. In regimes met schaarse gegevens onderbenadert de afgeleide ODD het ware veilige gebied, waardoor wordt gewaarborgd dat het systeem alleen wordt ingezet in gebieden die worden ondersteund door voldoende trainingsgegevens. Dit sluit aan bij het Safety-by-Design-principe.
• Beperkingen: De auteurs erkennen dat de methode afhankelijk is van kernelparameters ($\kappa, \eta$) en dat de aanname van een diagonale covariantie kruisdimensionale afhankelijkheden vereenvoudigt. Zij merken op dat de resulterende ODD in schaarse gebieden mogelijk te conservatief is, waardoor geldige operationele voorwaarden mogelijk worden uitgesloten, maar betogen dat dit een noodzakelijke afweging is voor veiligheidsborging.

Kortom, het werk vestigt een pad voor datagedreven ODD-construktie dat compatibel is met formele veiligheidsargumenten, en overbrugt de kloof tussen empirische gegevens en de strenge vereisten van KI-certificering in veiligheidskritieke systemen.