Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing

1. Probleemstelling

De integratie van Machine Learning (ML), met name Deep Neural Networks (DNN's), in veiligheidskritieke systemen (bijvoorbeeld luchtvaart, autonoom rijden) introduceert aanzienlijke betrouwbaarheidsuitdagingen. DNN's ontberen robuustheid, falen vaak onder onvoorziene invoer en vertonen overmatig vertrouwen in onjuiste voorspellingen. Hoewel er runtime-veiligheidsmonitoren bestaan om deze risico's te mitigeren, is het huidige onderzoek versnipperd over verschillende gemeenschappen (betrouwbaarheid versus machine learning).

• De Kloof: Bestaande monitoringmethoden werken in silo's met verschillende terminologieën en reikwijdten. Sommigen richten zich op operationele beperkingen op systeemniveau, anderen op statistische verschuivingen in data-distributies, en weer anderen op interne toestanden van het model.
• Het Gevolg: Dit gebrek aan eenheid leidt tot partiële veiligheidsdekking, overlappende methodologieën en moeilijkheden bij het vergelijken of combineren van verschillende monitoren met behulp van gemeenschappelijke metrieken. Er bestaat geen unified raamwerk om systematisch bedreigingen te categoriseren en geschikte monitoringstrategieën te selecteren.

2. Methodologie: Het SwMF-raamwerk

De auteurs stellen een unified raamwerk voor genaamd SwMF (Safety-critical ML Monitoring Framework). Dit raamwerk herdefinieert de ML-invoerruimte en categoriseert monitoringbenaderingen op basis van de specifieke "data-bedreigingen" die ze aanpakken.

A. Decompositie van de Invoerruimte

De auteurs projecteren drie kernconcepten op de ML-invoerruimte (bijvoorbeeld afbeeldingen) om onderscheiden domeinen en bedreigingen te definiëren:

1. Operationeel Ontwerp Domein (ODD): De set voorwaarden waaronder het systeem is ontworpen om te opereren (bijvoorbeeld weer, hoogte, zichtbaarheid op de startbaan).
   • Bedreiging: ODD-schendingen. Invoer buiten de beoogde operationele voorwaarden.
2. In-Distributie Domein ($D_{ID}$): Data getrokken uit dezelfde distributie als de trainingsdata.
   • Bedreiging: Out-of-Distributie (OOD) Bedreigingen. Invoer die binnen het ODD valt maar statistisch verschilt van de trainingsdata (bijvoorbeeld covariaatverschuivingen zoals lichtveranderingen, of semantische verschuivingen zoals nieuwe objectklassen).
3. Model Scope ($D_f$): Het subset van invoer waarbij het specifieke ML-model $f$ correcte voorspellingen produceert.
   • Bedreiging: In-Distributie (ID) Fouten. Invoer die binnen $D_{ID}$ valt maar het model toch laat falen (bijvoorbeeld adversarial attacks, subtiele fysieke fouten, of grenzen van modelgeneralisatie).

B. Categorisering van Monitoren

Op basis van deze bedreigingen definieert het raamwerk drie complementaire monitorcategorieën:

1. ODD-monitoren: Op regels gebaseerde monitoren die systeemvariabelen (bijvoorbeeld GPS, IMU, weersensoren) verifiëren tegen vooraf gedefinieerde beperkingen. Ze verwerpen invoer voordat deze het ML-model bereikt als de operationele voorwaarden ongeldig zijn.
2. OOD-monitoren: Datagedreven monitoren die statistische anomalieën in invoergegevens detecteren (bijvoorbeeld helderheid, entropie, randdichtheid) in vergelijking met de trainingsdistributie. Ze verwerpen invoer die afwijkt van de trainingsdistributie maar nog steeds binnen het ODD valt.
3. OMS (Out-of-Model-Scope) monitoren: Post-hoc monitoren die de interne kenmerken (bijvoorbeeld logits, neuronactivaties) of outputs van het ML-model analyseren om abnormaal gedrag te detecteren. Ze richten zich specifiek op invoer waarbij het model waarschijnlijk zal falen, zelfs als de invoer er "normaal" uitziet.

C. Experimentele Opstelling

• Toepassing: Vision-Based Landing (VBL), specifiek de subtaak van Runway Detection (VBRD).
• Dataset: De LARD-dataset (synthetische afbeeldingen gegenereerd via Google Earth Studio).
• Model: YOLOv5-n (een single-stage objectdetector).
• Architectuur: Een seriële monitoringpijplijn waarbij ODD-monitoren eerst draaien, gevolgd door OOD-monitoren, en tot slot OMS-monitoren na de modelvoorspelling.
• Evaluatiemetrieken: Veiligheidsgerichte metrieken voorgesteld door Guerin et al.:
  • Safety Gain (SG): Aandeel van gevaarlijke situaties dat correct wordt gefilterd.
  • Residual Hazard (RH): Aandeel van gevaarlijke situaties dat wordt gemist.
  • Availability Cost (AC): Aandeel van veilige situaties dat ten onrechte wordt verworpen (valse alarmen).

3. Belangrijkste Bijdragen

1. Unified Terminologie: Het artikel verduidelijkt de definities van ODD, OOD en OMS, waardoor de ambiguïteit wordt opgelost waarbij deze termen in de literatuur vaak door elkaar worden gebruikt. Het maakt expliciet onderscheid tussen data-distributieverschuivingen (OOD) en model-falingsgebieden (OMS).
2. Bedreigingsgebaseerde Classificatie: Het introduceert een formele mapping tussen specifieke data-bedreigingen (ODD-schendingen, OOD-verschuivingen, ID-fouten) en de geschikte monitoringcategorie, waardoor een systematisch ontwerpgids voor veiligheidsingenieurs wordt geboden.
3. Demonstratie van Complementariteit: Via experimenten bewijzen de auteurs dat deze drie monitortypes verschillende faalmodi aanpakken en inherent complementair zijn, in plaats van redundant.
4. Unified Evaluatie: Het raamwerk maakt het mogelijk om diverse monitoren te vergelijken met behulp van één set veiligheidsmetrieken (SG, RH, AC).

4. Experimentele Resultaten

Het onderzoek werd uitgevoerd in twee experimenten:

Experiment 1: Nominaal Testset (Synthetische Data)

• Basislijn: Het YOLOv5-n-model had een Residual Hazard (RH) van ~20% (wat betekent dat 20% van de afbeeldingen fouten veroorzaakte).
• Individuele Prestaties:
  • ODD-monitoren detecteerden ~4,6% van de fouten (SG).
  • OOD-monitoren detecteerden ~4,1% van de fouten.
  • OMS-monitoren detecteerden ~4,0% van de fouten.
• Gecombineerde Prestaties: Wanneer alle drie de monitoren sequentieel werden toegepast, steeg de Safety Gain naar 9,7% en daalde de Residual Hazard naar 10,5%.
• Trade-off: De gecombineerde aanpak verhoogde de Availability Cost (AC) tot ~31%, wat betekent dat ongeveer 30% van de veilige afbeeldingen werd verworpen. Dit onderstreept de "veiligheid versus beschikbaarheid"-trade-off.

Experiment 2: Corrupte Data (Robuustheidstest)

• Opstelling: Afbeeldingen werden gecorrumpeerd met helderheidsveranderingen, wazigheid, mist en ruis.
• OOD-monitor: Zeer effectief in het verwerpen van gecorrumpeerde afbeeldingen (hoge SG), fungerend als een "voorzorgsmaatregel"-filter. Dit resulteerde echter in hoge Availability Costs (AC) omdat het data verwierp, zelfs wanneer het model deze mogelijk correct had verwerkt.
• OMS-monitor: Minder effectief op gecorrumpeerde data in vergelijking met OOD. Het presteerde het beste op "schone" maar moeilijke invoer (ID-fouten).
• Conclusie: De resultaten valideren de seriële architectuur. OOD-monitoren moeten eerst voor de hand liggende distributieverschuivingen filteren, waardoor OMS-monitoren zich kunnen richten op subtiele modelfouten binnen de resterende "veilige" distributie.

5. Betekenis en Conclusie

• Systematisch Veiligheidsontwerp: Het SwMF-raamwerk biedt een gestructureerde aanpak voor het ontwerpen van runtime-monitoringsystemen, waarbij wordt gegarandeerd dat alle belangrijke bedreigingsvectoren (operationeel, statistisch en model-specifiek) worden gedekt.
• Overbruggen van Gemeenschappen: Het slaagt erin de kloof te overbruggen tussen de betrouwbaarheidsgemeenschap (veiligheid op systeemniveau) en de ML-gemeenschap (data-distributie en modelgedrag).
• Praktische Implicaties: Het onderzoek bevestigt dat het combineren van monitoren de veiligheid aanzienlijk verbetert (verlaging van residual hazard), maar onvermijdelijk de rate van valse alarmen verhoogt (availability cost). Toekomstig werk moet zich richten op het optimaliseren van deze trade-off en het verbeteren van de data-selectie voor het trainen van deze monitoren om operationele bedreigingen beter te vertegenwoordigen.

Kortom, het artikel betoogt dat een unified, meerlagige monitoringstrategie essentieel is voor de veilige implementatie van ML in kritieke luchtvaartsystemen, en dat men moet overstappen van geïsoleerde oplossingen naar een holistische veiligheidsarchitectuur.