Technische Samenvatting: TraCeS

Probleemstelling

Het waarborgen van veilig gedrag in Reinforcement Learning (RL) is uitdagend wanneer veiligheidsrestricties impliciet, niet-gemeten of niet beschikbaar zijn tijdens de training. In veel veiligheidskritische domeinen (bijv. robotica, autonoom rijden) zijn hard-coded restricties en handmatig vormgegeven kostenfuncties vaak broos en falen ze bij het generaliseren over contextafhankelijke scenario's. Bovewerendien is dichte supervisie per tijdstap vaak niet beschikbaar; in plaats daarvan is supervisie beperkt tot grove, ijle binaire labels die aangeven of een volledige traject (of een prefix ervan) binnen een onbekende veiligheidsdrempel is gebleven.

De kern van de moeilijkheid ligt bij het credit assignment probleem: een label op trajectniveau (bijv. "afgewezen") geeft aan dat er een schending heeft plaatsgevonden, maar specificeert niet wanneer of welke specifieke gedragingen de oorzaak waren. Standaard Constrained Markov Decision Process (CMDP) methoden gaan uit van toegang tot een bekende per-stap kostenfunctie en een drempelwaarde, wat hier niet het geval is. Het artikel behandelt de situatie waarin de agent een veilig beleid moet leren van ijle trajectniveau acceptatie/afwijzingslabels zonder kennis van de onderliggende kostenfunctie $C$ of de restrictiedrempel $b$.

Methodologie: TraCeS

De auteurs stellen TraCeS voor (Trajectory-based Constraint Estimation for Safety), een framework dat per-tijdstap scheidingscredits leert van ijle trajectniveau labels. De methode werkt via een iteratieve lus bestaande uit drie hoofdonderdelen:

1. Sequentiële Scheidingsestimator

TraCeS traint een sequentiële estimator om ijle binaire feedback te deconstrueren naar dichte, per-tijdstap scheidingscredits.

• Monotone Scheidingsabstractie: De methode gaat uit van een monotone scheidingsstructuur (Aanname 3.1): zodra een traject een restrictie schendt, blijft het daarna geschonden. Dit impliceert dat de waarschijnlijkheid van "nog niet geschonden" niet-toenemend is over de tijd.
• Factorisatie: De estimator voorspelt de waarschijnlijkheid dat een traject-prefix $\tau_{0:t}$ nog niet de restrictie heeft geschonden, aangeduid als $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$. Deze waarschijnlijkheid wordt gefactoriseerd in per-stap multiplicatieve credits:
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  Hier vertegenwoordigt $\hat{P}^\Delta_t$ de verandering in de niet-geschonden waarschijnlijkheid wanneer de prefix met één stap wordt uitgebreid. Een waarde die aanzienlijk kleiner is dan 1 duidt op een stap die een scherpe daling in de veiligheidswaarschijnlijkheid induceert, wat effectief de scheidingscredit lokaliseert.
• Architectuur: De estimator gebruikt een gedeelde encoder $f_w$ om een samenvattingsvector $h_t$ van de prefix te behouden en een decoder $g_w$ om parameters voor een log-normale verdeling te produceren. De gesamplede log-credit wordt beperkt tot niet-positief ($\log \hat{P}^\Delta_t \le 0$), wat garandeert dat de cumulatieve waarschijnlijkheid niet toeneemt.
• Training: De estimator wordt getraind met een Binary Cross-Entropy loss op de ijle binaire labels (accepteren/afwijzen) van trajecten of prefixes, waarbij het probleem wordt behandeld als een maximum-likelihood schatting van de onbekende labelregel $\Psi(\cdot)$.

2. Beperkte Beleidsoptimalisatie

Zodra de estimator de per-stap credits heeft geleerd, integreert TraCeS deze in een standaard CMDP-solver.

• Surrogaatkosten: De geschatte log-credit wordt getransformeerd naar een surrogaatkost: $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$.
• Restrictie Herformulering: De oorspronkelijke kansrestrictie (die vereist dat de waarschijnlijkheid van een acceptabel traject ten minste $d$ is) wordt benaderd. Met behulp van de Jensen-ongelijkheid leiden de auteurs een hanteerbare ondergrens af die de multiplicatieve restrictie omzet in een additieve vorm:
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  Deze herformulering maakt het gebruik van standaard constrained RL-algoritmen (bijv. PPO-Lagrangian) mogelijk met de geleerde surrogaatkosten, ook al is de ware kostenfunctie onbekend.
• Theoretische Garantie: Het artikel biedt een grens aan de benaderingskloof geïntroduceerd door de Jensen-ongelijkheid, waarbij wordt aangetoond dat de kloof kleiner wordt naarmate de estimator stabieler wordt en de variantie van de voorspelde niet-geschonden waarschijnlijkheden afneemt.

3. Actieve Trajectselectie

Om de annotatiebelasting te verminderen, gebruikt TraCeS een onzekerheid-gebaseerde strategie om te selecteren welke trajecten gelabeld moeten worden.

• Variatiecoëfficiënt (CV): De methode berekent de CV van de trajectniveau surrogaatkosten onder de samplingruis van de estimator. Trajecten met een hoge CV (wat wijst op hoge dispersie of onzekerheid in de voorspelling van de estimator) krijgen prioriteit voor labeling. Dit concentreert menselijke of automatische annotatie-inspanningen op rollouts waar de estimator het meest onzeker is, wat de data-efficiëntie verbetert.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formaliseert het probleem van veilig beleid leren van ijle trajectniveau labels onder een monotone scheidingsabstractie, waarmee het gat wordt gedicht waar noch de kostenfunctie noch de drempelwaarde bekend is.
2. Methode (TraCeS): Een nieuwe sequentiële estimator die trajectniveau acceptabiliteit factoriseert in per-tijdstap scheidingscredits. Dit maakt de transformatie mogelijk van grove binaire feedback naar een dicht surrogaatkostsignaal dat compatibel is met standaard CMDP-solvers.
3. Theorie en Evaluatie:
   • Theoretische analyse van de benaderingskloof geïntroduceerd door de Jensen-ongelijkheid ondergrens.
   • Empirische validatie over 12 continue controle-taken (Safety Gymnasium, MuJoCo, Bullet Safety Gym).
   • Demonstratie van robuustheid in scenario's met weinig data, onder ruisige labels en in settings met menselijke feedback.

Experimentele Resultaten

De auteurs evalueren TraCeS tegen verschillende baselines:

• Oracle Methoden: PPO-Lagrangian en CPPO-PID (veronderstellen bekende kosten en drempelwaarde).
• Partiële Kennis: RLSF (leert kosten maar veronderstelt bekende drempelwaarde).
• Zero-Knowledge Baselines: Een Cost-Threshold (C-T) baseline die probeert zowel kosten als drempelwaarde vanaf nul te leren.

Belangrijkste Bevindingen:

• Restrictie-naleving: TraCeS leert betrouwbaar beleid dat de veiligheidsrestricties (kosten $\le$ drempelwaarde) naleeft in de meeste taken, ondanks het feit dat het nul kennis heeft van de kosten of de drempelwaarde.
• Label Efficiëntie: TraCeS is aanzienlijk efficiënter met labels dan de zero-knowledge C-T baseline en heeft veel minder gelabelde trajecten nodig om naar veilige beleidsregels te convergeren.
• Prestaties: TraCeS bereikt competitieve belonings-veiligheid trade-offs vergeleken met methoden met partiële kennis (RLSF) en benadert de prestaties van oracle-methoden op verschillende taken.
• Lokalisatie: Kwalitatieve analyse laat zien dat de geleerde per-stap credits de scheidingsgebeurtenissen accuraat lokaliseren, waarbij ze pieken nabij het tijdstip waar de oracle cumulatieve kosten de drempelwaarde overschrijden, in plaats van de kosten uniform te verspreiden.
• Robuustheid: De methode blijft effectief onder matige labelruis (tot 10-20%) en in scenario's met weinig data (bijv. 1000 gelabelde trajecten). Het presteert ook goed met menselijke feedback in een kleinschalige studie op HalfCheetah.

Betekenis en Claims

Het artikel claimt dat TraCeS een praktisch pad biedt naar het afstemmen van RL-agenten met impliciete en contextafhankelijke restricties wanneer formele specificaties niet beschikbaar zijn. Door grove acceptatie/afwijzing supervisie te transformeren naar per-tijdstap scheidingscredits, maakt TraCeS het gebruik van standaard beperkte optimalisatiemechanismen mogelijk zonder dat handmatig ontworpen kostenfuncties of bekende drempelwaarden vereist zijn.

De auteurs benadrukken dat de geleerde credits dienen als controle-relevante veiligheidssurrogaten in plaats van het identificeerbaar herstellen van verborgen grondwaarheidskosten. De methode is bijzonder significant voor situaties waarin veiligheid wordt gedefinieerd door complexe, dynamische factoren (bijv. het vermijden van een kuil kan een tijdelijke afwijking van de rijbaan vereisen) die moeilijk vast te leggen zijn als vaste kostenfuncties, maar die door een mens of monitor als "acceptabel" of "onacceptabel" voor een traject kunnen worden beoordeeld.

Het werk suggereert dat ijle trajectniveau feedback, wanneer verwerkt door een sequentiële estimator met actieve selectie, effectief de kloof kan overbruggen tussen hoogwaardige veiligheidsoordelen en laag-niveau beleidsoptimalisatie.