TRAM: Test-Time Risk Adaptation with Mixture of Agents

Technische Samenvatting: TRAM (Test-Tijd Risico-adaptatie via Mengsel van Agenten)

1. Probleemformulering

Het artikel adresseert een kritieke kloof in de implementatie van Versterkingsleren (RL): veiligheidspecificaties veranderen vaak na de training. Een agent kan getraind zijn op een reeks bronopgaven, maar worden ingezet in een omgeving met nieuwe gevarenkaarten, herziene risicodrempels of andere gedragsafstemmingsbeperkingen (bijvoorbeeld een nieuw referentiegedrag).

Bestaande risicosensitieve RL-methoden fixeren het risicomodel (bijvoorbeeld variantie, CVaR of een specifieke beperking) doorgaans tijdens de trainingsfase. Deze aanpak is breekbaar omdat:

1. Over-specialisatie: Training met een specifieke risicoproxy (zoals return-variantie) kan de diversiteit van bronbeleid doen instorten, waardoor gedragingen worden geëlimineerd die onder een andere, toekomstige risicospecificatie veilig zouden kunnen zijn.
2. Ondoelmatige Risicorepresentatie: Op variantie gebaseerde risico's slagen er niet in ruimtelijke gevaren (bijvoorbeeld nabijheid van een barrière), gedragsafwijking van een referentie of lokale volatiliteit te vangen, vooral in deterministische omgevingen waar de variantie van de trajectreturn nul is.
3. Kosten van Opnieuw Trainen: Aanpassing aan een nieuwe risicospecificatie vereist doorgaans opnieuw trainen of fijnafstemmen, wat rekenkundig duur is en vaak onuitvoerbaar zodra een model is ingezet.

Het artikel formaliseert het probleem als zero-update aanpassing op het moment van inzet. Het doel is een vaste bibliotheek van risiconeutrale bronbeleid $\{\pi_j\}$ opnieuw te gebruiken om een nieuw gespecificeerde risicofunctionaal $\rho(\pi)$ op testtijd te voldoen, zonder enige bronparameters te wijzigen. Het doel is de verwachte return $J(\pi)$ te maximaliseren, onderworpen aan een risicobeperking $\rho(\pi) \le \delta$, benaderd via een gepenaliseerde surrogate:
$$\max_{\pi} \tilde{J}_c(\pi) = J(\pi) - c \rho(\pi)$$

2. Methodologie: TRAM

De voorgestelde methode, TRAM, ontkoppelt brontraining van risicospecificatie. Het werkt in twee fasen:

Fase 1: Risiconeutrale Brontraining
Bronbeleid wordt getraind op gerelateerde bronopgaven met standaard, risiconeutrale doelen. Dit behoudt een diverse "gedragsomhulling", waardoor wordt gegarandeerd dat de bibliotheek een breed scala aan bezettingsverdelingen (patronen van staten-acties) bevat die later kunnen worden gecombineerd.

Fase 2: Test-Tijd Bronscoren en Samenstellen
Bij inzet traint TRAM niet opnieuw. In plaats daarvan construeert het een ingezet beleid $\pi_T$ door acties te selecteren uit de bronbibliotheek op basis van een bron-gescorede samenstellingsregel.

1. Risicobeoordeling: Voor elk bronbeleid $\pi_j$ berekent TRAM een gecachte, globale op bezetting gebaseerde risicoscore $\rho(d_{\pi_j})$. Dit maakt flexibele risicofunctionalen mogelijk die zijn gedefinieerd over afgekoelde staten-acties bezettingen $d_\pi$, zoals:
   • Blootstelling aan Barrières: Tijd doorgebracht in de buurt van een gevaarzone.
   • Gedragsdivergentie: KL-divergentie van een veilig referentiegedrag.
   • Lokale Volatiliteit: Per-stap fluctuaties in de bezetting.
2. Waarde-inschatting: De waarde voor de doelopgave $Q^{\pi_j}_T(s, a)$ voor elke bron wordt geschat op de huidige staat $s$. Dit kan efficiënt worden gedaan met Successor Features (SF's) via een dot product $Q^{\pi_j}_T(s, a) = \psi_{\pi_j}(s, a)^\top w_T$, of via rollouts/critics.
3. Actiekeuze: De ingezette actie wordt geselecteerd door de risicogecorrigeerde bronscore te maximaliseren:
   $$S_j(s, a) = Q^{\pi_j}_T(s, a) - c \rho(d_{\pi_j})$$
   $$\pi_T(a|s) \in \arg\max_{b \in A} \max_{j \in [n]} S_j(s, b)$$
   De actieve bron kan veranderen langs het traject, waardoor een "lokaal gestikt" beleid ontstaat dat reageert op de huidige staat en de specifieke risicospecificatie.

Theoretische Garanties:
Het artikel positioneert TRAM expliciet als een hanteerbare bron-gescorede surrogate, niet als een exacte optimizer van het volledige bezettings-controlprobleem van het gestikte beleid.

• Lokale Grenzen: Theoretische analyse (Stelling 4.1) biedt grenzen voor de suboptimaliteit van het TRAM-beleid ten opzichte van het optimale risiconeutrale beleid. De grens hangt af van het lokale reward-mismatch tussen de doelopgave en de best passende bron, plus een term evenredig aan het risicopenaliteitsgewicht $c$ en de Lipschitz-constante van de risicofunctionaal.
• Bron-Omhulling Mismatch: Het artikel erkent dat de gerealiseerde bezetting van het gestikte beleid kan verschillen van de convexe omhulling van de bronbezettingsverdelingen. Bijlage C introduceert een meetbare "stitching mismatch"-term ($\epsilon_{stitch}$) die de kloof overbrugt tussen de gecachte bronrisico's en het gerealiseerde risico van het ingezette beleid.

3. Belangrijkste Bijdragen

1. Formalisatie van Zero-Update Aanpassing: Het artikel formaliseert de setting van het aanpassen van vaste bronbeleid aan nieuw gespecificeerde op bezetting gebaseerde risico's zonder parameterupdates.
2. TRAM-algoritme: Introductie van een bron-gescorede samenstellingsregel die diverse risicotypen (barrière, divergentie, volatiliteit) ondersteunt op testtijd, in tegenstelling tot methoden die gebonden zijn aan vaste surrogaten zoals variantie.
3. Theoretische Fundamenten:
   • Bewijs dat risiconeutrale brontraining de worst-case deployment-risk-regret minimaliseert (Stelling 4.3), waardoor de breedste herbruikbare bezettingsomhulling wordt behouden.
   • Lokale transfergaranties die de kwaliteit van reward-overdracht scheiden van de deployment-risk-penalty.
   • Analyse van de "stitching mismatch" tussen gecachte bronrisico's en gerealiseerde beleidsrisico's.
4. Empirische Validatie: Demonstratie over vier distincte domeinen:
   • Gridworlds: Valideren van expressief risicomodelleren (ruimtelijke gevaren, per-stap volatiliteit) waar variantie-gebaseerde methoden falen.
   • MuJoCo Reacher: Verminderen van barrière-overtredingen in continue controle terwijl de doelprestatie behouden blijft.
   • Safety-Gymnasium: Bereiken van lagere barrière-raakwahrscheinlijkheden vergeleken met bevroren veiligheidsproxies en variantie-gebaseerde baselines.
   • LLM-afstemming: Aanpassen van vaste 7B-taalmodellen aan nieuwe gedragsrisicobeperkingen (KL naar een veilig referentiepunt) zonder fijnafstemming, wat een verbeterde afstemming toont ten opzichte van pure reward-maximalisatie.

4. Resultaten

Experimenten tonen aan dat TRAM consistent de inzetveiligheid verbetert (vermindering van gevaarblootstelling of barrière-raken) terwijl de reward-prestatie behouden blijft, zonder opnieuw te hoeven trainen.

• In Gridworlds slaagt TRAM erin ruimtelijke gevaren te vermijden en zich aan te passen aan veranderende risicovoorwaarden, terwijl risicobewuste baselines (zoals RaSF) uniform conservatief blijven of falen om ruimtelijke risico's te detecteren.
• In Reacher verminderde TRAM het faalpercentage van 85% naar 26% toen na de training een nieuwe barrière werd geïntroduceerd, met een minimaal effect op de afstand tot het doel.
• In Safety-Gymnasium behaalde TRAM de laagste barrière-raakwahrscheinlijkheid (0,209 versus 0,502 voor baselines) en een concurrerende genormaliseerde CVaR.
• Bij LLM-afstemming produceerde TRAM antwoorden die bij paarwijze vergelijkingen door GPT-4 werden verkiest boven risicovrije transferbeleid, wat aantoont dat de methode reward-model over-optimisatie in hoogdimensionale tekstruimtes kan voorkomen.

5. Betekenis en Claims

Het artikel beweert dat TRAM een modulaire inzetlaag biedt voor RL-systemen. De primaire betekenis ligt in het verschuiven van de risicobeslissing van de trainingsfase naar de inzetfase.

• Modulariteit: Het stelt operators in staat om veiligheidsvereisten (gevaarkaarten, gedragsreferenties) te specificeren nadat de brongedragingen al zijn geleerd.
• Efficiëntie: Het vermijdt de rekenkundige kosten van opnieuw trainen of het oplossen van nieuwe beperkte MDP's op testtijd, en vertrouwt in plaats daarvan op snelle bronscoren.
• Eerlijkheid over Scope: De auteurs zijn bescheiden in hun claims, en stellen expliciet dat TRAM een surrogaat-methode is. Het claimt niet het volledige bezettings-controlprobleem van het gestikte beleid exact op te lossen. In plaats daarvan biedt het een meetbare grens voor de mismatch tussen de bron-omhulling-proxy en het gerealiseerde risico, waardoor het een praktische heuristiek is voor scenario's waarin risicospecificaties dynamisch zijn en opnieuw trainen verboden is.

Het werk suggereert dat voor veel inzetscenario's (robotica, navigatie, LLM's) het behouden van een diverse, risiconeutrale bibliotheek van gedragingen en het samenvoegen daarvan via test-tijd scoren een robuustere strategie is dan het trainen van gespecialiseerde, risicobewuste beleid voor elke potentiële toekomstige beperking.