💻 computer science

Perception with Guarantees: Certified Pose Estimation via Reachability Analysis

Dieser Beitrag stellt eine zertifizierte Methode zur 3D-Pose-Schätzung für sicherheitskritische cyber-physische Agenten vor, die Erreichbarkeitsanalyse und formale Verifikation neuronaler Netze nutzt, um Worst-Safety-Garantien ausschließlich auf Basis von Kamerabildern und bekannter Zielgeometrie zu bieten.

Ursprüngliche Autoren: Tobias Ladner, Yasser Shoukry, Matthias Althoff

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tobias Ladner, Yasser Shoukry, Matthias Althoff

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich in einem völlig dunklen Raum zu orientieren, aber Sie haben ein sehr spezifisches, gut bekanntes Objekt vor sich – wie ein Stoppschild oder eine gestrichelte Linie auf einer Start- und Landebahn. Sie können den ganzen Raum nicht sehen, aber Sie können ein Bild dieses Objekts auf einem Bildschirm erkennen. Das Problem lautet: Wo genau stehen Sie im Verhältnis zu diesem Objekt?

Die meisten Computersysteme heute geben eine Antwort als „besten Schätzwert" aus. Sie könnten sagen: „Sie sind wahrscheinlich etwa 3 Meter entfernt." Doch in sicherheitskritischen Situationen (wie beim Landen eines Flugzeugs oder beim Bremsen eines autonomen Fahrzeugs) reicht ein „bester Schätzwert" nicht aus. Sie benötigen eine Garantie. Sie müssen mit 100-prozentiger mathematischer Gewissheit wissen, dass Sie sich irgendwo innerhalb einer bestimmten, sicheren Zone befinden, selbst wenn das Bild etwas unscharf oder verrauscht ist.

Diese Arbeit stellt eine neue Methode vor, um diese Garantie zu erhalten. Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: „Raten" vs. „Wissen"

Normalerweise nutzen Roboter Kameras, um herauszufinden, wo sie sich befinden. Sie verwenden komplexe Mathematik oder KI, um zu sagen: „Ich glaube, ich bin hier." Doch wenn die Kamera verschmutzt ist, das Licht seltsam ist oder jemand versucht, das System zu täuschen, kann dieser „Rat" falsch sein. Wenn ein Flugzeug basierend auf einem falschen Raten landet, könnte es abstürzen.

Die Autoren sagen: „Lassen Sie uns aufhören zu raten. Berechnen wir eine sichere Box, von der wir zu 100 % sicher sind, dass sie unseren wahren Standort enthält."

2. Die Lösung: Die „Schatten"-Analogie

Die Forscher verwenden eine Technik namens Erreichbarkeitsanalyse. Stellen Sie es sich so vor:

Stellen Sie sich vor, Sie haben eine Taschenlampe (die Kamera) und ein Stoppschild (das Zielobjekt).

Der alte Weg: Sie schauen auf den Schatten, den das Schild wirft, und raten, wo das Schild ist.
Der neue Weg: Sie stellen sich jede mögliche Position vor, die das Schild angesichts des seltsamen Lichts und des Kamerarauschens einnehmen könnte. Anschließend berechnen Sie den größtmöglichen Schatten, den irgendeine dieser Positionen werfen könnte.

Wenn der tatsächliche Schatten, den Sie am Boden sehen (das Bild der Kamera), innerhalb dieses größtmöglichen Schattens liegt, dann wissen Sie mit Sicherheit, dass Ihre Position eine der Positionen sein muss, die diesen Schatten erzeugt haben. Sie haben Ihren Standort mathematisch „eingegrenzt".

3. Wie sie es tun (Die „magischen" Schritte)

Die Arbeit beschreibt einen zweistufigen Prozess, um diese Garantie zu erstellen:

Schritt A: Die „Was-wäre-wenn"-Maschine (Offline)
Bevor der Roboter überhaupt beginnt, sich zu bewegen, führt der Computer eine massive Menge an Vorabberechnungen durch. Er fragt: „Wenn sich der Roboter an diesem spezifischen Ort befände, wie würde das Bild aussehen? Was wäre, wenn er an diesem Ort wäre?"
Es wird nicht nur ein Bild berechnet; es wird eine „Wolke" aller möglichen Bilder für einen Bereich von Positionen berechnet. Es wird ein spezielles mathematisches Werkzeug (genannt Polynom-Zonotope) verwendet, um all diese Möglichkeiten im Auge zu behalten, ohne in den Zahlen zu verlieren. Es ist wie das Erstellen einer Bibliothek aller möglichen „Schatten", die das Stoppschild werfen könnte.

Schritt B: Der „Filter" (Online/Echtzeit)
Nun macht der Roboter ein echtes Foto.

Filtern: Er prüft schnell: „Passt dieses echte Bild in die 'Wolke' von Bildern, die wir für diesen spezifischen Bereich vorab berechnet haben?" Wenn das Bild nicht passt, weiß der Roboter: „Ich bin definitiv nicht in diesem Bereich", und verwirft diesen Bereich.
Verfeinern: Für die Bereiche, die passen, schaut der Roboter genauer hin. Er findet spezifische Pixel im echten Bild, die als „Zeugen" fungieren (wie Fußspuren). Er nutzt diese Fußspuren, um die „sichere Box" zu verkleinern, wodurch die Schätzung viel enger und präziser wird.

4. Warum dies besonders ist

Es ist zertifiziert: Die Arbeit behauptet, sie können mathematisch beweisen, dass sich der Roboter innerhalb der berechneten Box befindet. Es gibt kein „Vielleicht".
Es bewältigt Rauschen: Echte Kameras sind unordentlich. Das System geht davon aus, dass das Bild „Rauschen" enthalten könnte (wie statisches Rauschen auf einem alten Fernseher). Es baut ein „Rausch-Budget" in die Mathematik ein. Selbst wenn das Bild etwas verschwommen ist, wird die sichere Box leicht größer, um die Unsicherheit abzudecken, aber sie garantiert dennoch, dass sich der Roboter im Inneren befindet.
Es ist schnell: Sie testeten dies an einem Szenario mit einem landenden Flugzeug und einem Szenario zur Schilderkennung. Das System konnte diese sichere Box in etwas mehr als einer Sekunde berechnen, was schnell genug für Echtzeitentscheidungen ist.

5. Das Fazit

Die Autoren haben erfolgreich gezeigt, dass man aus einem einzigen Bild eines bekannten Objekts (wie einer Markierung auf einer Start- und Landebahn) und unter Verwendung fortgeschrittener Mathematik eine garantierte sichere Zone für den Standort der Kamera berechnen kann.

Sie sagten nicht nur: „Es funktioniert." Sie bewiesen, dass es funktioniert, selbst wenn das Bild verrauscht ist, und sie taten dies, ohne GPS oder andere externe Hilfe zu benötigen – nur die Kamera und die bekannte Form des Objekts. Dies ist ein großer Schritt hin zu wirklich sicheren autonomen Systemen (wie selbstfahrenden Autos oder Drohnen), da es „Ich glaube, ich bin sicher" durch „Ich weiß, dass ich sicher bin" ersetzt.

Technische Zusammenfassung: Zertifizierte Pose-Schätzung durch Erreichbarkeitsanalyse

Problemstellung

In sicherheitskritischen cyber-physischen Systemen (z. B. autonomes Fahren) benötigen Agenten eine präzise Lokalisierung, um Sicherheit zu garantieren. Bestehende Lokalisierungstechniken, die oft auf Deep Learning oder externe Dienste wie GPS zurückgreifen, liefern lediglich grobe Schätzwerte oder sind anfällig für adversarische Angriffe, Rauschen und Störungen. Diese Methoden fehlen die formalen Garantien, die notwendig sind, um Sicherheit in extremen Szenarien zu gewährleisten. Darüber hinaus können Standard-Ansätze des Deep Learning aufgrund ihrer Black-Box-Natur keine globalen Korrektheitsgarantien bieten. Das behandelte Kernproblem besteht darin, wie eine zertifizierte Pose-Schätzung (eine mathematisch garantierte Schranke für die Position und Orientierung des Agenten) ausschließlich aus einem einzelnen Kamerabild und einer bekannten Zielgeometrie gewonnen werden kann, ohne sich auf nicht vertrauenswürdige externe Dienste zu verlassen.

Methodik

Der vorgeschlagene Ansatz nutzt Erreichbarkeitsanalyse und Techniken zur formalen Verifikation neuronaler Netze, um zertifizierte Schranken für die Kamerapose zu berechnen. Das System arbeitet auf einem ereignisbasierten Kameramodell und einem Zielobjekt, das als eine Sammlung konvexer Polygone definiert ist.

1. Systemmodellierung

Zielrepräsentation: Das Ziel wird als eine Menge konvexer Polygone in einem Zielkoordinatensystem (Target Coordinate Frame, TCF) modelliert.
Kameramodell: Ein Lochkameramodell wird verwendet, das das 3D-Ziel über intrinsische und extrinsische Parameter auf ein 2D-Binärbild (Pixel Coordinate Frame, PCF) abbildet. Der Prozess umfasst Rotation, Translation und Projektion.
Umgang mit Rauschen: Ein „Rauschbudget" wird definiert, das eine begrenzte Anzahl gestörter Pixel im beobachteten Bild zulässt, während davon ausgegangen wird, dass ereignisbasierte Kameras Kanten zuverlässig detektieren.

2. Rahmenwerk für zertifizierte Pose-Schätzung

Die Methode verläuft in zwei Hauptphasen:

Phase A: Korrekte Bildumschließung (Offline-Vorverarbeitung)
Gegeben eine unsichere Posenmenge (ein Kandidatenbereich im 6D-Posenraum $\Xi$ ), berechnet der Algorithmus ein äußerlich approximierendes Bild ( $\hat{I}_E$ ).

Mengenbasierte Berechnung: Die Autoren verwenden Matrix-Polynom-Zonotope, um Unsicherheiten in der Pose, den Kameraparametern und der Zielgeometrie darzustellen. Dies ermöglicht eine exakte und effiziente Berechnung von Minkowski-Summen und -Produkten.
Erreichbarkeitsanalyse: Der Algorithmus propagiert die Pose-Unsicherheit durch das Kameramodell (Rotation, Translation, Projektion), um die möglichen Positionen der Zielvertexe in der Bildebene zu begrenzen.
Bildgenerierung: Für jedes Pixel im Bild prüft der Algorithmus, ob das äußerlich approximierende Polygon des Ziels mit diesem Pixel schneidet. Das Ergebnis ist ein Binärbild, bei dem ein Pixel „an" ist, wenn es unter irgendeiner Pose innerhalb des Kandidatensatzes vom Ziel beleuchtet sein könnte.
Garantie: Wenn eine konkrete Pose $\xi$ innerhalb des Kandidatensatzes $E$ liegt, ist das von $\xi$ erzeugte Bild $I_\xi$ garantiert eine Teilmenge des berechneten äußerlich approximierenden Bildes $\hat{I}_E$ .

Phase B: Zertifizierte Pose-Schätzung (Online-Inferenz)
Gegeben ein konkretes, potenziell verrauschtes Bild $I^*$ , verfeinert der Algorithmus die Pose-Schätzung:

Kandidatenfilterung: Das System berechnet vorab eine Partition des Posenraums in Kandidatenboxen ( $E_c$ ). Es filtert jede Kandidatenbox $E_c$ heraus, bei der das beobachtete Bild $I^*$ nicht im vorab berechneten äußerlich approximierenden Bild $\hat{I}_{E_c}$ enthalten ist.
Auferlegung von Einschränkungen (Verfeinerung): Für verbleibende Kandidaten nutzt der Algorithmus den gemeinsamen latenten Raum zwischen dem Pose-Kandidaten und den berechneten Vertexmengen.
- Er identifiziert „Zeugenpixel" in $I^*$ , die den Zielvertexen entsprechen.
- Unter Verwendung von Techniken zur Urbildumschließung (adaptiert aus der formalen Verifikation) werden Einschränkungen auf den latenten Raum (den Hyperkubus, der den Pose-Kandidaten definiert) auferlegt, sodass die resultierende eingeschränkte Menge nur Posen enthält, die die beobachteten Zeugenpixel erzeugen könnten.
- Dieser Prozess verengt die Pose-Schätzung $E^*$ iterativ durch den Schnitt der Einschränkungen aller Vertexe.

Hauptbeiträge

Erreichbarkeitsbasierte Bildumschließung: Die Autoren stellen eine Methode vor, um alle möglichen Bilder eines Ziels aus einer unsicheren Pose mittels Erreichbarkeitsanalyse einzuschließen und dabei Korrektheit sicherzustellen (keine gültige Pose wird ausgeschlossen).
Zertifizierte Pose-Wiedergewinnung: Sie demonstrieren, wie dieser Prozess invertiert werden kann: Gegeben ein Bild kann eine zertifizierte Pose-Schätzung abgerufen werden, die garantiert die wahre Pose enthält.
Integration von Unsicherheit: Der Ansatz integriert Unsicherheiten in Posen, Kameraparametern und Zielgeometrie auf natürliche Weise unter Verwendung von Matrix-Polynom-Zonotopen.
Experimentelle Validierung: Die Methode erzielt enge zertifizierte Pose-Schätzungen sowohl in synthetischen als auch in realen Experimenten und bewältigt verrauschte Bilder effektiv.

Experimentelle Ergebnisse

Die Autoren bewerteten den Ansatz mit dem MATLAB-Toolbox CORA auf einem Intel-i7-Prozessor.

Synthetische Daten (Landefläche): Es wurde ein Szenario einer Landefläche mit einer Kamera mit 200x200 Auflösung simuliert. Die Methode konnte die wahren Posen aus 100 zufälligen Stichproben erfolgreich wiederherstellen. Der anfängliche Filterschritt eliminierte viele Kandidaten, und die nachfolgende Einschränkung-Verfeinerung reduzierte das Volumen der Pose-Schätzung erheblich (z. B. auf ca. 0,16 % des anfänglichen Volumens für bestimmte Ziele) bei minimaler zusätzlicher Rechenzeit.
Reale Daten (Schilderkennung): Getestet an 138 Bildern einer ereignisbasierten SilkyEvCam-Kamera mit wahren Posen aus einem Vicon-System. Der Ansatz lokalisierte die wahre Pose in allen Fällen.
- Rauschrobustheit: Das System bewältigte rohe verrauschte Bilder und performte sogar besser mit entrauschten Bildern, was die Online-Rechenzeit durch das Filtern weiterer Kandidaten reduzierte.
- Leistung: Die Lokalisierung wurde online in etwa 2–4 Sekunden erreicht (einschließlich Filterung und Verfeinerung), was die Machbarkeit des Ansatzes für Anwendungen in Echtzeit-Nähe validiert.
Korrektheitsverifikation: In eigenständigen Experimenten verifizierten die Autoren, dass die berechneten Bildumschließungen die tatsächlichen transformierten Vertexe zufälliger Stichproben eng begrenzen, was die Präzision der äußeren Approximation bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, ein bedeutender Schritt hin zum Einsatz autonomer Agenten in sicherheitskritischen Domänen zu sein. Durch die Bereitstellung formaler Garantien für die Pose-Schätzung ausschließlich aus visuellen Daten und bekannter Geometrie adressiert der Ansatz die Grenzen aktueller Methoden, die auf probabilistischen Schätzungen oder nicht vertrauenswürdigen externen Diensten basieren.

Die Autoren betonen, dass ihre Arbeit Folgendes ermöglicht:

Formale Sicherheitsverifikation: Sicherheitskritische Systeme können nun Aktionen basierend auf einer Pose-Schätzung auswählen, die mathematisch garantiert innerhalb einer spezifischen Schranke korrekt ist.
Robustheit: Das System bleibt funktionsfähig und liefert konservative Schranken selbst bei Bildrauschen und widrigen Bedingungen.
Unabhängigkeit: Es arbeitet ohne GPS oder andere externe Infrastruktur und verlässt sich nur auf die Kamera und ein bekanntes Ziel.

Die Autoren räumen Einschränkungen ein, wie die Annahme, dass das Ziel klar sichtbar ist, und den aktuellen Fokus auf Szenarien mit einzelnen Objekten. Sie schlagen vor, dass zukünftige Arbeiten komplexere Strategien zur Auswahl von Zeugenpixeln und Schnitte von mehreren Objekten untersuchen könnten, um Schätzungen weiter zu verengen. Sie weisen zudem darauf hin, dass die Implementierung zwar in MATLAB erfolgte, die matrixbasierte Natur der Operationen jedoch Potenzial für erhebliche Geschwindigkeitssteigerungen durch GPU-Beschleunigung und effizientere Programmiersprachen bietet.