Certifying Plans under Model Mismatch: A Trilemma for Reachability from Scarce Data

Technische Samenvatting: Certificering van Plannen onder Modelmismatch: Een Trilemma voor Bereikbaarheid bij Schaarse Data

Probleemstelling
Het artikel behandelt de uitdaging van het certificeren van vaste controle-sequenties (bijv. actie-chunks van geleerde beleidsregels zoals Diffusion Policy of $\pi_0$) voor de implementatie op real-world robotica-systemen waarbij de dynamica verschilt van het nominale simulatiemodel. De kern van de moeilijkheid komt voort uit het feit dat het doelsysteem slechts een schaarse set geïsoleerde één-stap-transities biedt. In deze setting moet een certifier bepalen of een gepland traject veilig zal blijven (het vermijden van een onveilige verzameling $O$) ondanks de onbekende modelafwijking (residue) tussen het nominale model $f_0$ en de werkelijke doel-dynamica $f^\star$.

De auteurs identificeren een fundamentele beperking: weg van de geobserveerde datapunten kan de modelafwijking willekeurig variëren binnen een kleine buurt zonder de observaties te tegenspreken. Als de modelafwijking onbeperkt is, kunnen twee gladde doel-systemen die consistent zijn met dezelfde schaarse data, willekeurig uiteenlopen zodra het plan een ongeobserveerd gebied betreedt. Bijgevolg moet elke deterministische certifier die uniform sound is (garandeert dat het veilig is voor alle consistente systemen), ofwel weigeren te certificeren, ofwel een bereikbare tube teruggeven met een projectiebreedte die willekeurig groot is, waardoor het certificaat oninformatief wordt.

Methodologie: ForeReach
De auteurs stellen ForeReach voor, een pre-executie certifier die deze beperking omzeilt door zij-informatie te incorporeren. De methode werkt onder de volgende raamwerk:

1. Vereiste voor Zij-informatie: ForeReach vereist een geleverde componentgewijze Lipschitz-grens ($L$) op de modelafwijking over een voorgeschreven certificeringsdomein ($Z_{cert}$). Deze grens moet onafhankelijk van de schaarse data worden vastgesteld (bijv. via analytische dynamica met begrensde parameters of een apart gecertificeerd residu-model).
2. Paarsgewijze Consistentietest: Voordat propagatie plaatsvindt, controleert de methode of de geobserveerde residuele paren de geleverde Lipschitz-grens tegenspreken. Als $|e_{r_i, k} - e_{r_j, k}| > \sum L_{k\ell}|z_{i,\ell} - z_{j,\ell}| + 2\sigma_k$, wordt de verklaring afgewezen en onthoudt zich de certifier.
3. Set-Membership Envelope: Voorwaardelijk op het voldoen van de grens, construeert de methode een set-membership envelope voor het residu bij elke gevraagde staat-input verzameling. Deze envelope wordt afgeleid door de observatie-specifieke grenzen uit te breiden via de Lipschitz-constante (McShane-extensie) en de observatie-ruisgrenzen.
4. Zonotopische Propagatie: De onzekerheid wordt voorwaarts gepropageerd met behulp van het nominale model $f_0$. De bereikbare verzameling wordt gerepresenteerd als een zonotoop, waarbij de nominale kaart-enclosure (gebruikmakend van interval-Hessiaan grenzen voor niet-lineaire remainder termen) en de residu-envelope worden opgenomen.
5. Certificeringslogica: De certifier verleent alleen een veiligheidscertificaat als:
   • De propagatie binnen het certificeringsdomein ($Z_{cert}$) blijft.
   • Elke geprojecteerde doorsnede van de bereikbare tube de onveilige verzameling ($O$) vermijdt.
   • De methode onderscheid maakt tussen drie typen onthouding: paarsgewijze contradictie ($\perp_F$), domeinverlating ($\perp_D$) en veiligheidsfalen ($\perp_S$).

Belangrijkste Bijdragen

1. Het Trilemma Theorem: De auteurs bewijzen een "trilemma" voor deterministische certifiers met eindige één-stap-data. Een certifier kan niet tegelijkertijd zijn:
   • Uniform sound over een onbeperkte residu-klasse.
   • $\bar{\rho}$-informatief (een tube teruggeven met een eindige projectiebreedte).
   • Onbeperkt buiten de observaties.
     Ze leiden verder een eindige, plan-afhankelijke ondergrens af voor de geprojecteerde breedte voor begrensde gladde klassen van modelafwijking, waarmee wordt aangetoond dat zelfs met strengheid-beperkingen (smoothness constraints), een niet-nul breedte wordt afgedwongen door de data-vrije kloof.
2. ForeReach Algoritme: Een praktische methode die geleverde Lipschitz-grenzen, paarsgewijze consistentiecontroles en zonotopische propagatie combineert om traject-containment te bieden, onder conditie van de geldigheid van de geleverde verklaring.
3. Empirische Validatie: Experimenten op twee benchmark-systemen (een affien puntmassa-systeem en een zes-toestands dynamische fiets) laten zien dat ForeReach correct onthoudt wanneer plannen onondersteunde regio's betreden (wat soundness garandeert), terwijl het certificering herstelt wanneer relevante doel-data beschikbaar is.

Experimentele Resultaten

• Puntmassa-systeem: Globale kalibratie-baselines certificeerden onondersteunde plannen maar bevatten de doel-trajecten niet (0% dekking), wat resulteerde in hoge false-safe ratio's. ForeReach bereikte 100% complete-tube dekking op onondersteunde plannen door zich te onthouden, en 99,8% gecertificeerde recall op ondersteunde corridors.
• Dynamische-Fiets Systeem: Vergelijkbare trends werden waargenomen. Globale kalibratie en andere baselines (Gaussiaanse processen, conformal methoden) produceerden ofwel oninformatieve tubes, of faalden in het bevatten van trajecten in onondersteunde regio's. ForeReach behield 100% dekking op onondersteunde plannen (door onthouding) en bereikte 98,3% gecertificeerde recall op ondersteunde corridors met $N=400$ monsters.
• Geleerde Actie-chunks: Wanneer toegepast op plannen gegenereerd door een geleerd beleid, correleerde het onthoudingspercentage sterk (Spearman $\rho=0.697$) met de afstand van de nominale rollout van het plan tot de dichtstbijzijnde observatie, waardoor effectief de "support" van de data werd gevolgd.
• Incorrecte Verklaringen: De studie toonde aan dat als de geleverde Lipschitz-grens te klein is (onderschatting van de regulariteit), de paarsgewijze test kan slagen (indien er geen lokale contradictie is), maar de resulterende tube te smal kan zijn om het werkelijke traject te bevatten, wat leidt tot valse certificaten. Dit benadrukt dat de soundness van de methode conditioneel is aan de correctheid van de externe verklaring.

Betekenis en Claims
De paper claimt dat de primaire beperking bij het certificeren van plannen uit schaarse data niet de hoeveelheid data is, maar het gebrek aan restricties op de modelafwijking in ongeobserveerde regio's. De auteurs argumenteren dat een bruikbaar certificaat structurele informatie vereist (zoals Lipschitz-grenzen) die van buiten de data wordt geleverd. Hoewel de data een incorrecte verklaring kan weerleggen, kan het een correcte verklaring in ongeobserveerde regio's niet bevestigen.

De betekenis van het werk ligt in:

• Het formaliseren van de theoretische limieten (het trilemma) van data-gedreven bereikbaarheid met schaarse, geïsoleerde transities.
• Het bieden van een methode die expliciet afweegt tussen soundness en informatieve waarde op basis van de geldigheid van zij-informatie, in plaats van uit te gaan van globale eigenschappen van de datadistributie.
• Het demonstreren dat "onthouding" (abstention) een noodzakelijke en informatieve uitkomst is wanneer een plan de datasupport verlaat, in contrast met baselines die mogelijk smalle maar onsound certificaten produceren.

De auteurs benadrukken dat hun garantie conditioneel is: het certificaat is alleen geldig als de geleverde Lipschitz-grens standhoudt gedurende het gehele certificeringsdomein. De methode leert de grens niet uit de schaarse data, maar gebruikt deze om een sound envelope te construeren.