Technische Samenvatting: Hoe goed begrijpen latente wereldmodellen gedeeltelijk observeerbare veiligheidsrestricties?

Probleemstelling

Latente wereldmodellen (WM's) bieden een veelbelovend alternatief voor handgespecificeerde dynamica voor het leren van staatrepresentaties en controlebeleid direct uit hoogdimensionele observaties (bijv. RGB-beelden). De effectiviteit ervan in veiligheidskritische scenario's hangt echter af van de vraag of de geleerde latente staat alle informatie bevat die nodig is om aan veiligheidsrestricties te voldoen.

Dit artikel onderzoekt de beperkingen van latente WM's onder gedeeltelijke observeerbaarheid, waarbij de trainingsdata onvoldoende informatie bevat om veiligheidskritische grootheden te bepalen. De auteurs identificeren een kritieke foutmodus die verschilt van klassieke staatsschatting: onbekende onbekenden (unknown unknowns). In tegenstelling tot klassieke settings waar de staatruimte goed gedefinieerd is (waardoor onzekerheid gekwantificeerd kan worden via filters zoals Kalman-filters), leiden latente WM's de staatrepresentatie zelf af uit data. Als relevante veiligheidsvariabelen ontbreken in de observaties, kunnen ze volledig afwezig zijn in de geleerde latente ruimte, wat leidt tot onveilige controlegedragingen.

De auteurs definiëren twee specifieke foutmodi:

1. Estimatieschillen (Estimation Gaps): De huidige observaties zijn onvoldoende om te bepalen of een veiligheidsrestrictie momenteel wordt geschonden (bijv. temperatuur afleiden uit alleen RGB-beelden).
2. Voorspellingschillen (Prediction Gaps): Fouten zijn observeerbaar zodra ze optreden, maar kunnen niet betrouwbaar worden voorzien vanuit de huidige observaties vanwege ontbrekende informatie (bijv. het voorspellen van een morsing zonder te weten of een fles gevuld is).

Methodologie

Diagnostiek voor observeerbaarheidschillen

Om deze schillen te kwantificeren, stellen de auteurs twee offline diagnostische metrieken voor:

1. Mutual Information (MI) voor Veiligheidsoobserveerbaarheid: Om estimatieschillen te meten, schatten zij de wederzijdse informatie $I(Y; X)$ tussen observaties $X$ (bijv. RGB-beelden) en veiligheidslabels $Y$. Met behulp van de Barber–Agakov variatiële ondergrens trainen zij een lineaire probe op de latente embeddings om te kwantificeren hoeveel onzekerheid over het veiligheidslabel wordt verminderd door de observatie.
2. Rollout-gebaseerde Voorspellingsnauwkeurigheid: Om voorspellingschillen te meten, evalueren zij het vermogen van het wereldmodel om toekomstige veiligheidsuitkomsten te voorspellen via open-loop rollouts. Zij simuleren 16-staps actiesequenties en meten de classificatienauwkeurigheid van de voorspelde veiligheidslabels, waarbij zij specifenlijk de monsters analyseren waar unimodale en multimodale modellen van elkaar verschillen.

Mitigatiestrategieën

Het artikel stelt voor twee verschillende strategieën voor voor elke foutmodus:

• Voor Estimatieschillen (Geprivilegieerde Multimodale Supervisie): In plaats van te vereisen dat er tijdens de uitvoering multimodale sensoren aanwezig zijn, trainen de auteurs het wereldmodel met RGB-inputs, maar dwingen zij multimodale supervisie af. Het model krijgt de taak om veiligheidsrelevante modaliteiten (bijv. IR-thermische beelden) te reconstrueren vanuit de RGB-input. Deze "geprivilegieerde" supervisie tijdens de training vormt de latente representatie om veiligheidskritische grootheden (zoals temperatuur) te coderen, zelfs als deze tijdens runtime niet direct observeerbaar zijn.
• Voor Voorspellingschillen (Conformal Risk Kalibratie): Wanneer de latente staat toekomstige fouten niet betrouwbaar kan voorspellen, stellen de auteurs voor om de drempelwaarde van de veiligheidscontroller te kalibreren. Met behulp van conformal voorspelling passen zij de interventiedrempel ($\epsilon$) aan op basis van de voorspellingsnauwkeurigheid van het model op een kalibratieset. Dit zorgt ervoor dat de controller een conservatief fallback-beleid aanneemt wanneer de voorspellingsonzekerheid van het model hoog is, waardoor de foutieve acceptatieratio van onveilige acties wordt begrensd.

Experimentele Opzet

De auteurs valideren hun aanpak op een Franka Research 3 manipulator via twee hardwaretaken:

1. Was Smelten (Estimatieschil): Een robot moet was verwarmen zonder de 72°C te overschrijden. De taak berust op het afleiden van de temperatuur. Modellen worden getraind op RGB-alleen versus RGB+IR data.
2. Rijst Inschenken (Voorspellingschil): Een robot moet rijst uit een ondoorzichtige fles schenken zonder te morsen. De fles kan leeg of vol zijn. De taak berust op het voorspellen of een kanteling zal leiden tot een morsing. Modellen worden getraind op RGB-alleen versus RGB+Tactile data.

Belangrijkste Resultaten

Diagnostische Bevindingen

• Estimatieschillen: In de taak "Was Smelten" was de wederzijdse informatie tussen RGB-observaties en het veiligheidslabel (oververhitting) aanzienlijk lager ($I/H \approx 0.22$) vergeleken met de IR-observaties ($I/H \approx 0.80$). Standaard nauwkeurigheidsmetrieken waren minder gevoelig voor deze schil, wat suggereert dat MI een robuustere diagnostiek is voor veiligheidsoobserveerbaarheid.
• Voorspellingschillen: In de taak "Rijst Inschenken" konden beide modellen morsingen identificeren nadat ze waren opgetreden, maar faalde het RGB-alleen model erin om ze betrouwbaar te voorspellen tijdens open-loop rollouts. Het multimodale model behaalde aanzienlijk hogere nauwkeurigheid op monsters waar de twee modellen van elkaar verschilden, wat aangeeft dat de RGB-alleen latente ruimte niet de representatieve capaciteit had om acties te correleren met toekomstige veiligheidsuitkomsten.

Prestaties van de Mitigatie

• Geprivilegieerde Supervisie (Was Smelten): Een wereldmodel getraind met RGB-inputs maar gesuperviseerd door IR-reconstructie (WM_RGB-MM) behaalde een liftpercentage van 100% (het voorkomen van oververhitting), wat overeenkomt met de prestaties van het volledig multimodale model. In contrast hiermee faalde het RGB-alleen model in 85% van de gevallen. Cruciaal is dat het WM_RGB-MM model een conservatief beleid leerde, waarbij het eerder ingreep dan het multimodale model, wat aantoont dat de latente staat de noodzakelijke veiligheidsdynamiek succesvol codeerde ondanks het ontbreken van IR-input tijdens runtime.
• Conformal Kalibratie (Rijst Inschenken): Het toepassen van de conformal kalibratie op de RGB-alleen controller paste de drempelwaarde aan om rekening te houden met het onvermogen om morsingen te voorspellen. Hoewel dit de RGB-controller zeer conservatief maakte (waardoor rijst slechts 18% van de tijd werd ingeschonken voor lege flessen versus 60% voor het multimodale model), slaagde het erin de foutmarge te begrenzen tot het doelniveau ($\alpha = 0.12$). Dit bevestigde dat kalibratie voorspellingsschillen kan mitigeren door controle-autoriteit in te ruilen voor veiligheidsgaranties.

Betekenis en Claims

Het artikel daagt de aanname uit dat latente wereldmodellen inherent voldoende informatie bevatten voor veilige controle onder gedeeltelijke observeerbaarheid. De auteurs claimen:

1. Identificatie van Foutmodi: Zij identificeren en karakteriseren expliciet "estimatieschillen" en "voorspellingschillen" als afzonderlijke oorzaken van onveilig gedrag in latent-ruimte controle.
2. Kwantitatieve Diagnostiek: Zij bieden praktische, offline instrumenten (Mutual Information en rollout classificatie) om deze schillen te detecteren vóór implementatie.
3. Haalbaarheid van Mitigatie: Zij demonstreren dat veiligheid behouden kan blijven, zelfs met beperkte runtime-modaliteiten (bijv. RGB-alleen), door gebruik te maken van rijkere data tijdens de training (geprivilegieerde supervisie) of door de risicotolerantie van de controller statistisch te kalibreren (conformal prediction).
4. Conservatisme als Afruil: De resultaten benadrukken dat het mitigeren van observeerbaarheidschillen vaak meer conservatisme vereist. Wanneer de latente staat onzekerheid niet volledig kan oplossen, vereist veilige controle eerdere interventie of een vermindering van de uitvoering van taken.

Het werk concludeert dat hoewel wereldmodellen krachtig zijn, hun staatrepresentaties expliciet gevalideerd moeten worden op veiligheidsoobserveerbaarheid, en dat mitigatiestrategieën essentieel zijn wanneer de trainingsdata de onderliggende veiligheidskritische staat niet volledig onthult.