Constrained Scenario Adaptation in Flight Simulator Training using Conceptualized State Spaces

Technische Samenvatting: Beperkte Scenario-adaptatie in Flight Simulator Training middels Geconceptualiseerde Toestandsruimten

Probleemstelling
De luchtvaartsector, geleid door de EASA AI Roadmap 2.0, vereist dat machine learning (ML)-systemen niet alleen accuraat zijn, maar ook deterministisch, interpreteerbaar, herleidbaar naar formeel gedefinieerde concepten, begrensd door expliciete veiligheidsrestricties en achteraf reconstructeerbaar. Huidige benaderingen van adaptieve pilottraining behandelen ML vaak als een onbeperkte voorspeller over latente kenmerkruimten, waarbij restricties pas als post-hoc filters worden toegepast. Dit creëert een methodologische kloof: er is geen formeel gedefinieerde transformatie die heterogene trainingsbewijslast (combinaties van theoretische beoordelingen en simulatortelemetrie) vertaalt naar toelaatbare scenario-adaptaties, terwijl tegelijkertijd determinisme, semantische gronding, naleving van restricties en reconstructeerbaarheid worden gewaarborgd. Bestaande conceptualisatie-benaderingen voor cyber-fysieke systemen (CPS) adresseren niet expliciet hoe dergelijke semantisch gegronde toestandsruimten geïntegreerd kunnen worden in veiligheidskritische ML-architecturen.

Methodologie
Het artikel stelt een formele mapping $\Phi: D_{raw} \rightarrow \Delta_{scenario}$ voor die de transitie van ruwe data naar scenario-adaptatie decomponeert in vier structureel geverifieerde substappen. De architectuur is geïnstantieerd voor stall-herkenning en hersteltraining binnen de Evidence-Based Training (EBT) en Competency-Based Training and Assessment (CBTA) paradigma's.

1. Constructie van de Geconceptualiseerde Toestandsruimte (RQ1):
   Het systeem transformeert heterogene ruwe metingen ($D_{raw}$) naar een deterministische, semantisch gegronde toestandsruimte ($S$) via een driestaps-proces:

• Discretisatie: Continue telemetrie en beoordelingsscores worden omgezet in discrete diagnostische toestanden ($Z$) via event-detectie en drempelwaarden.
• Semantische Toewijzing: Diagnostische toestanden worden gemapt naar een eindige set Deep-Linking Keywords ($K$) die kennis, vaardigheden en attitudes (KSA) vertegenwoordigen. Dit koppelt theoretische kennisarbeid aan simulator-gebaseerde prestaties.
• Aggregatie: Bewijslast wordt geaggregeerd tot een verenigde leerling-toestand ($s_i$) die KSA-scores, manoeuvre-specifieke trace-kenmerken, instructie-progressie en context bevat. Deze toestand dient als input voor de ML-component, wat garandeert dat er geen latente of onbeperkte representaties worden gebruikt.

2. Beperkt Adaptatiemodel (RQ2):
   De adaptatielogica wordt beheerd door een Deterministisch Eindige Automaat (DFA) die de instructiefases onafhankelijk van de ML-laag beheert. Het adaptatiebeleid opereert binnen een strikt gedefinieerde toelaatbare actieruimte ($A_{allowed}$) die wordt begrensd door:

• Fase-gating: Adaptatie is alleen toegestaan in specifieke instructiefases.
• Actiecontracten: Scenario-parameters (bijv. windsnelheid, hoogte, manoeuvre-herhaling) worden begrensd door regelgevende en veiligheidslimieten.
• Regelgebaseerde Baseline: Een deterministisch regelgebaseerd beleid ($\pi_{rule}$) dient als referentie, waarbij focus-keywords worden geselecteerd op basis van KSA-profielen en threshold-gebaseerde adaptatieklassen (sterk, matig, stabiel) worden toegepast.

3. Beperkte Beleidsbenadering (RQ2):
   Een ML-beleid ($\pi_{ML}$) wordt getraind om de regelgebaseerde baseline ($\pi_{rule}$) te benaderen binnen de beperkte ruimte ($\Pi_c$).

• Leerrestricties: Monotoniciteitsrestricties worden tijdens de training afgedwongen (bijv. toenemende vaardigheid mag de waarschijnlijkheid van een remedial adaptatie niet vergroten).
• Inference-restricties: Een deterministische projectie-operator ($P$) knipt de modeloutputs naar de toelaatbare actieruimte en handhaaft fase-gating. Dit zorgt ervoor dat zelfs als het ML-model een ontoelaatbare actie voorspelt, het uitgevoerde beleid ($\pi_{exec}$) constructief compliant blijft.

4. Reconstructeerbaarheid (RQ3):
   Elke beslissing wordt gelogd in een persistent spoor ($\tau$) dat ruwe inputs, tussenliggende toestanden, modeloutputs en projectieresultaten bevat, wat volledige post-hoc auditeerbaarheid mogelijk maakt.

Kernbijdragen

1. Definitie van Formele Mapping: Het artikel definieert de transitie van heterogene trainingsbewijslast naar toelaatbare scenario-adaptatie als een deterministische mapping $\Phi$ met vier structurele eigenschappen: determinisme, semantische gronding, naleving van restricties en reconstructeerbaarheid.
2. Deterministische Toestandsconstructie: Het breidt CPS-conceptualisatie-benaderingen uit door een driestaps toestandsruimte-constructie (discretisatie, semantische toewijzing, aggregatie) te formaliseren, waarmee heuristische keyword-aggregatie wordt verheven tot een formele symbolische representatie geschikt voor diagnose en audit.
3. Architecturaal Beperkte ML: ML is ingebed als een begrensde benadering van een regelgebaseerd beleid. Toelaatbaarheid wordt gegarandeerd door constructie via monotoniciteitsrestricties, deterministische instructiecontrole en een projectie-operator, in plaats van te vertrouwen op post-hoc filtering.
4. Geïntegreerde Interpreteerbaarheid: Interpreteerbaarheid en auditeerbaarheid worden behandeld als architecturale eigenschappen afgeleid van de toestandsruimte-structuur en persistente beslissingssporen, in plaats van als post-hoc toevoegingen.

Resultaten
Het raamwerk werd empirisch gevalideerd als een proof-of-concept met $N=160$ beleidscases afgeleid van stall-training scenario's, waarbij groepsgewijze $k=5$ cross-validatie werd gebruikt om data leakage te voorkomen.

• Prestaties: Het beperkte ML-beleid benaderde de deterministische baseline met een profiel Mean Absolute Error (MAE) van $0.126 \pm 0.024$.
• Classificatie: Het model bereikte een focus-classificatienauwkeurigheid van $0.631 \pm 0.080$, wat een lift is van $+0.344$ ten opzichte van de meerderheidsklasse-baseline ($0.288 \pm 0.042$).
• Semantische Analyse: SHAP-analyse onthulde dat hoewel bepaalde keywords (bijv. "energy-management") zelden als expliciete focusdoelen werden geselecteerd, ze fungeerden als significante beleidsvormende variabelen, wat aangeeft dat het model complexe semantische interacties begrijpt in plaats van eenvoudige regelreplicatie.
• Verificatie: Analytische verificatie bevestigde dat het systeem de vier structurele eigenschappen (P1–P4) voldoet door constructie, onafhankelijk van de datasetgrootte.

Significantie en Claims
Het artikel claimt aan te tonen dat ML-gebaseerde adaptatie structureel compatibel kan zijn met veiligheidskritische cyber-fysieke trainingssystemen zonder determinisme of auditeerbaarheid op te offeren. De significantie ligt niet in onbeperkte adaptiviteit, maar in het definiëren van formeel gespecificeerde condities waaronder ML kan opereren binnen een veiligheidskritisch kader. De auteurs stellen expliciet dat de empirische resultaten een proof-of-concept zijn; de steekproefomvang ($N=160$) is voldoende om operationaliseerbaarheid en restrictie-naleving aan te tonen, maar ondersteunt geen claims van statistische generalisatie over verschillende cohorten of manoeuvre-categorieën. Het werk identificeert multi-cohort generalisatie en de formele karakterisering van correctiecondities voor adaptatiebeslissingen als noodzakelijke vervolgstappen. De voorgestelde architectuur biedt een algemeen methodologisch patroon voor het integreren van beperkte ML in veiligheidskritische CPS, specifiek gericht op de EASA-eis voor betrouwbare, traceerbare en begrensde AI in de luchtvaart.