Technische Samenvatting: Gecertificeerde Possschatting via Bereikbaarheidsanalyse

Probleemstelling

In veiligheidskritieke cyber-fysische systemen (bijvoorbeeld autonoom rijden) hebben agenten een nauwkeurige lokalisatie nodig om veiligheid te garanderen. Bestaande lokalisatietechnieken, die vaak vertrouwen op deep learning of externe diensten zoals GPS, leveren slechts ruwe schattingen op of zijn vatbaar voor adversariale aanvallen, ruis en interferentie. Deze methoden missen de formele garanties die nodig zijn om veiligheid in extreme scenario's te waarborgen. Bovendien kunnen standaard deep learning-benaderingen geen garanties voor globale correctheid bieden vanwege hun black-box-aard. Het kernprobleem dat wordt aangepakt, is hoe een gecertificeerde possschatting (een wiskundig gegarandeerde grens voor de positie en oriëntatie van de agent) uitsluitend uit één cameraafbeelding en een bekende doelgeometrie kan worden verkregen, zonder vertrouwen te stellen in onbetrouwbare externe diensten.

Methodologie

De voorgestelde aanpak maakt gebruik van bereikbaarheidsanalyse en technieken voor formele verificatie van neurale netwerken om gecertificeerde grenzen voor de pose van de camera te berekenen. Het systeem werkt op een op gebeurtenissen gebaseerd cameramodel en een doelobject dat is gedefinieerd als een verzameling convexe polygonen.

1. Systeemmodellering

• Doelrepresentatie: Het doel wordt gemodelleerd als een set convexe polygonen in een Doelcoördinatenstelsel (TCF).
• Cameramodel: Er wordt een naaldkijkercameramodel gebruikt dat de 3D-doelstelling via intrinsieke en extrinsieke parameters afbeeldt op een 2D-binaire afbeelding (Pixelcoördinatenstelsel, PCF). Het proces omvat rotatie, translatie en projectie.
• Ruisbeheer: Er wordt een "ruisbudget" gedefinieerd, waardoor een begrensd aantal verstoord pixels in de waargenomen afbeelding mogelijk is, terwijl er vanuit wordt gegaan dat op gebeurtenissen gebaseerde camera's randen betrouwbaar detecteren.

2. Kader voor Gecertificeerde Possschatting

De methode verloopt in twee hoofdfasen:

Fase A: Geluidse Afbeeldingseinsluiting (Offline Voorberekening)
Gegeven een onzeker poseset (een kandidaatgebied in de 6D-ruimte van de pose $\Xi$), berekent het algoritme een buitenbenaderende afbeelding ($\hat{I}_E$).

• Berekening op basis van verzamelingen: De auteurs gebruiken matrixpolynoomzonotopen om onzekerheden in de pose, cameraparameters en doelgeometrie weer te geven. Dit maakt exacte en efficiënte berekening van Minkowski-sommen en -vermenigvuldigingen mogelijk.
• Bereikbaarheidsanalyse: Het algoritme verspreidt de pose-onzekerheid door het cameramodel (rotatie, translatie, projectie) om de mogelijke locaties van de hoekpunten van het doel in het beeldvlak te begrenzen.
• Afbeeldingsgeneratie: Voor elke pixel in de afbeelding controleert het algoritme of het buitenbenaderende polygon van het doel die pixel snijdt. Het resultaat is een binaire afbeelding waarbij een pixel "aan" staat als deze kan worden verlicht door het doel onder elke pose binnen de kandidaatset.
• Garantie: Als een concrete pose $\xi$ binnen de kandidaatset $E$ valt, is de door $\xi$ geproduceerde afbeelding $I_\xi$ gegarandeerd een deelverzameling van de berekende buitenbenaderende afbeelding $\hat{I}_E$.

Fase B: Gecertificeerde Possschatting (Online Inferentie)
Gegeven een concrete, potentieel ruizige afbeelding $I^*$, verfijnt het algoritme de possschatting:

1. Kandidaatfiltering: Het systeem berekent vooraf een partitie van de pose-ruimte in kandidaatboxen ($E_c$). Het filtert elke kandidaat $E_c$ uit waarbij de waargenomen afbeelding $I^*$ niet is opgenomen in de vooraf berekende buitenbenaderende afbeelding $\hat{I}_{E_c}$.
2. Opleggen van Beperkingen (Verfijning): Voor de overgebleven kandidaten exploiteert het algoritme de gedeelde latente ruimte tussen de pose-kandidaat en de berekende verzamelingen van hoekpunten.
   • Het identificeert "getuige-pixels" in $I^*$ die overeenkomen met de hoekpunten van het doel.
   • Met behulp van technieken voor omgekeerde afbeeldingseinsluiting (aangepast van formele verificatie) worden beperkingen opgelegd aan de latente ruimte (de hyperkubus die de pose-kandidaat definieert) zodat de resulterende beperkte set alleen poses bevat die de waargenomen getuige-pixels kunnen produceren.
   • Dit proces versmalt de possschatting $E^*$ iteratief door beperkingen van alle hoekpunten te snijden.

Belangrijkste Bijdragen

1. Op Bereikbaarheid Gebaseerde Afbeeldingseinsluiting: De auteurs presenteren een methode om alle mogelijke afbeeldingen van een doel vanuit een onzekere pose in te sluiten met behulp van bereikbaarheidsanalyse, waarbij geldigheid wordt gewaarborgd (geen geldige pose wordt uitgesloten).
2. Gecertificeerde Possherwinning: Zij tonen aan hoe dit proces kan worden omgekeerd: gegeven een afbeelding kan een gecertificeerde possschatting worden opgehaald die gegarandeerd de ware pose bevat.
3. Integratie van Onzekerheid: De aanpak integreert op natuurlijke wijze onzekerheid in poses, cameraparameters en doelgeometrie met behulp van matrixpolynoomzonotopen.
4. Experimentele Validatie: De methode levert strakke gecertificeerde possschattingen op in zowel synthetische als real-world experimenten en gaat effectief om met ruizige afbeeldingen.

Experimentele Resultaten

De auteurs evalueerden de aanpak met de MATLAB-toolbox CORA op een Intel i7-processor.

• Synthetische Data (Landingsvlak): Er werd een scenario met een landingsvlak gesimuleerd met een camera met een resolutie van 200x200. De methende slaagde erin ware poses te herstellen uit 100 willekeurige steekproeven. De initiële filterstap elimineerde veel kandidaten, en de daaropvolgende beperkingsverfijning verkleinde het volume van de possschatting aanzienlijk (bijvoorbeeld tot ongeveer 0,16% van het initiële volume voor bepaalde doelen) met minimale extra rekentijd.
• Real-world Data (Tekendetectie): Getest op 138 afbeeldingen van een SilkyEvCam-camera op gebeurtenissen gebaseerd, met ware poses afkomstig van een Vicon-systeem. De aanpak lokaliseerde de ware pose in alle gevallen.
  • Ruisrobustheid: Het systeem verwerkte ruwe, ruizige afbeeldingen en presteerde zelfs beter met gedenoisede afbeeldingen, wat de online rekentijd verminderde door meer kandidaten uit te filteren.
  • Prestaties: Lokalisatie werd bereikt in ongeveer 2–4 seconden online (inclusief filtering en verfijning), wat de haalbaarheid van de aanpak voor toepassingen in de buurt van real-time bevestigt.
• Geldigheidsverificatie: In losstaande experimenten verifieerden de auteurs dat de berekende afbeeldingseinsluitingen de daadwerkelijk getransformeerde hoekpunten van willekeurige steekproeven strak begrenzen, wat de precisie van de buitenbenadering bevestigt.

Betekenis en Beweringen

Het artikel claimt een belangrijke stap te zijn naar de inzet van autonome agenten in veiligheidskritieke domeinen. Door formele garanties te bieden voor possschatting uitsluitend op basis van visuele data en bekende geometrie, adresseert de aanpak de beperkingen van huidige methoden die vertrouwen op probabilistische schattingen of onbetrouwbare externe diensten.

De auteurs benadrukken dat hun werk mogelijk maakt:

• Formele Veiligheidsverificatie: Veiligheidskritieke systemen kunnen nu acties selecteren op basis van een possschatting die wiskundig gegarandeerd correct is binnen een specifieke grens.
• Robustheid: Het systeem blijft functioneel en levert conservatieve grenzen op, zelfs in aanwezigheid van afbeeldingsruis en ongunstige omstandigheden.
• Onafhankelijkheid: Het werkt zonder GPS of andere externe infrastructuur, en vertrouwt uitsluitend op de camera en een bekend doel.

De auteurs erkennen beperkingen, zoals de aanname dat het doel duidelijk zichtbaar is, en de huidige focus op scenario's met één object. Zij suggereren dat toekomstig werk meer complexe strategieën voor de selectie van getuige-pixels en doorsneden van meerdere objecten kan onderzoeken om schattingen verder te verscherpen. Zij merken ook op dat, hoewel geïmplementeerd in MATLAB, het op matrices gebaseerde karakter van de bewerkingen potentieel suggereert voor aanzienlijke snelheidswinst via GPU-versnelling en efficiëntere programmeertalen.