Technische Samenvatting: Het Epistemische Traps Ontkraken: Actieve Perceptie onder Samengestelde Onzekerheid

1. Probleemdefinitie: Het Epistemische Traps

Het artikel identificeert een kritieke beperking bij het inzetten van Versterkend Leren (RL) in veiligheidskritieke domeinen (bijvoorbeeld autonome voertuigen, medische beslissingsondersteuning). Hoewel de bestaande literatuur dynamische verschuivingen (veranderingen in systeemfysica) en gedeeltelijke waarneembaarheid (onvolledige toestandsinformatie) als afzonderlijke uitdagingen adresseert, betogen de auteurs dat hun gelijktijdige optreden een synergetisch faalmechanisme creëert dat het Epistemische Traps wordt genoemd.

In dit regime staat een agent voor een circulaire afhankelijkheid:

• Het kan zijn toestand niet nauwkeurig schatten zonder de systeemdynamica te kennen.
• Het kan de systeemdynamica niet nauwkeurig leren zonder accurate toestandsinformatie.

Conventionele benaderingen adopteren een passieve epistemische houding, waarbij wordt aangenomen dat deze onzekerheden onafhankelijk zijn, of wordt vertrouwd op worst-case begrenzing. De auteurs tonen aan dat deze aanname leidt tot "super-additieve" storingen, waarbij de gecombineerde prestatiedaling ver de som van individuele dalingen overtreft. De kern van het probleem is dat de agent niet kan onderscheiden of een fout voortkomt uit het verkeerde locatie zijn (toestandsonzekerheid) of gebroken mechanica (dynamische onzekerheid), wat leidt tot verlamming van het redeneren.

2. Methodologie: De Adaptieve Veiligheidsarchitectuur

Om het Epistemische Traps op te lossen, stellen de auteurs voor om veiligheid te herformuleren als een informatieprobleem en introduceren ze een Adaptieve Veiligheidsarchitectuur. Dit kader verschuift het paradigma van passieve robuustheid naar actieve perceptie, waarbij agenten strategisch de omgeving afzoeken om onzekerheid op te lossen.

2.1 Kwantificering van het Traps: De Samengestelde Onzekerheidscoëfficiënt ($\kappa$)

De auteurs introduceren een metriek, $\kappa$, om de koppeling tussen toestands- ($s$) en dynamische ($\theta$) onzekerheid te kwantificeren.

• Theoretische Basis: $\kappa$ wordt gedefinieerd als de conditionele wederzijdse informatie $I(s; \theta | b_t)$, die de informatietheoretische verstrengeling tussen toestand en dynamica binnen de gezamenlijke overtuiging $b_t$ meet.
• Behandelbare Benadering: Aangezien het berekenen van de volledige gezamenlijke overtuiging onhandelbaar is, leiden ze een bovengrensproxy af: $\kappa \approx \sigma_\theta + \sigma_s$.
  • $\sigma_\theta$: Een genormaliseerde voorspelfout van een bevroren ensemble van dynamica-predictoren, die epistemische dynamische onzekerheid vastlegt.
  • $\sigma_s$: Een tekortmetriek die verlies door gedeeltelijke waarneming (gemaskerde sensoren) en actievertragingen combineert, en tekorten in toestandswaarneembaarheid vastlegt.
• Regime-detectie: $\kappa$ partitioneert de operatie in drie regimes:
  1. Laag Tekort ($\kappa < \tau_{low}$): Onzekerheden zijn onafhankelijk; standaard robuuste/POMDP-methoden volstaan.
  2. Overgang: Matige koppeling; de agent balanceert taakvoortgang met onzekerheidsreductie.
  3. Hoog Tekort / Epistemische Traps ($\kappa > \tau_{high}$): Passieve waarneming faalt; het systeem moet overschakelen naar actief informatie zoeken.

2.2 Actieve Oplossing: Dynamica Informatie-zoeken (DIS)

Wanneer $\kappa$ een trap aangeeft, schakelt de agent over van standaard beloningsmaximalisatie naar Dynamica Informatie-zoeken (DIS).

• Onderscheid: In tegenstelling tot klassieke actieve perceptie (die toestandsinformatie zoekt), voert DIS acties uit die specifiek zijn ontworpen om de parameters van verschoven dynamica ($\theta$) te isoleren en te identificeren.
• Doelfunctie: De auteurs stellen de MaxInfoRL-doelfunctie voor, een samengesteld beleid $\pi^*$ dat afwegingen maakt tussen taakbeloning, informatiewinst en veiligheidsrisico:
  $$\pi^* = \arg \max_\pi \mathbb{E}_\pi [R_{task} + \alpha(\kappa) \cdot IG(\theta) - \lambda \cdot R_{risk}]$$
  Hier is de gewicht $\alpha$ een monotoon stijgende functie van $\kappa$, die informatiewinst ($IG$) prioriteit geeft naarmate de koppeling toeneemt.

2.3 Adaptieve Veiligheidsbeperkingen

Veiligheidsbeperkingen zijn geen statische, maar dynamische variabelen die worden gemoduleerd door $\kappa$. Naarmate de epistemische koppeling toeneemt, worden veiligheidsbudgetten ($\delta(\kappa)$) strakker, waardoor de agent gedwongen wordt conservatief te opereren terwijl het diagnostische informatie verzamelt. Dit creëert een gesloten-lus systeem waarbij de Uncertainty Quantification (UQ)-module $\kappa$ continu bijwerkt, waardoor de Regime-selector het gedrag van het beleid aanpast.

3. Belangrijkste Resultaten

De auteurs valideren hun kader via proof-of-concept experimenten met een gesimuleerde bipedale robot (Walker2D-v5) over 120 experimentele configuraties.

• Super-additieve Storing: In een setting met hoge ernst die gedeeltelijke waarneembaarheid (gemaskerde sensoren) en dynamische verschuivingen (actievertragingen) combineert, degradeerde de prestatie met 77%.
  • Individuele effecten: Gedeeltelijke waarneembaarheid veroorzaakte een daling van 19%; dynamische verschuiving veroorzaakte een daling van 27%.
  • Additieve verwachting: ~46% degradatie.
  • Werkelijk resultaat: 77% degradatie (een super-additieve ineenstorting).
• Detectiecapaciteit: De $\kappa$-metriek slaagde erin het begin van deze storingen te detecteren. In het regime van samengestelde onzekerheid (C4) steeg $\kappa$ tot 0,496 (vergeleken met 0,036 in de baseline), aanzienlijk meer dan de som van de individuele stressorwaarden.
• Temporele Sensitiviteit: Het super-additieve effect was het meest uitgesproken onder temporele onzekerheid (actievertragingen), waarbij de faalpercentages bijna verdrievoudigden in vergelijking met statische fysieke verschuivingen. Dit benadrukt de moeilijkheid om toestanden en dynamica te cross-valideren wanneer feedbacklussen vertraagd zijn.

4. Betekenis en Claims

Het artikel claimt een geprincipeerd pad te bieden naar beslissingssystemen die onder onzekerheid kunnen opereren door hun eigen onwetendheid te herkennen en strategisch te handelen om deze op te lossen.

• Paradigmaverschuiving: Het werk gaat verder dan "passieve robuustheid" (het naleven van worst-case grenzen) naar "actieve perceptie", met het argument dat veiligheid in open werelden actief informatiebeheer vereist.
• Structureel Inzicht: Het identificeert het Epistemische Traps als een structureel faalmechanisme dat verschilt van geïsoleerde uitdagingen, en verklaart waarom conventionele robuuste RL- en POMDP-oplossers falen wanneer dynamische en waarneembaarheidsuitdagingen samenvallen.
• Toekomstig Streefpad: De auteurs schetsen een pad naar een behandelbare implementatie die omvat:
  • Dual-ensemble ontwerpen om stabiele priors te behouden terwijl online updates plaatsvinden.
  • Causale structurele priors om de dimensionaliteit van de parameterruimte te verminderen.
  • Funderingsmodellen (FM's) om robuuste initialisatie en wereldmodellering te bieden, waardoor de initiële entropie van de overtuiging van de agent wordt verminderd.
  • Nieuwe Benchmarks: Zij stellen POMDP-Robust-Gym voor, een benchmarksuite die expliciet is ontworpen om samengestelde onzekerheid en super-additieve faalmodi te testen, wat huidige benchmarks (zoals POPGym, Robust-Gymnasium) niet adequaat adresseert.

Het artikel concludeert dat het bereiken van "anytime safety" in veiligheidskritieke domeinen vereist dat informatietheoretische doelen, causale abstractie en funderingsmodel-priors worden geïntegreerd om agenten mogelijk te maken die niet alleen robuust zijn, maar intelligent adaptief.