Rolling Shutter Relative Pose Estimation Made Practical
Dieses Paper stellt eine praktische Methode zur relativen Pose-Schätzung bei Rolling-Shutter-Kameras vor, die affine Korrespondenzen und neuartige RS-korrigierte Constraints nutzt, um Pose und Bewegung aus nur sieben Korrespondenzen in 1,2 ms zu lösen und dabei eine State-of-the-Art-Genauigkeit sowohl auf Rolling- als auch auf Global-Shutter-Datensätzen erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie machen ein Foto mit Ihrem Smartphone. Die meisten modernen Kameras machen ein Bild nicht auf einmal, wie etwa ein Blitzlicht. Stattdessen scannen sie das Bild von oben nach unten, Zeile für Zeile, sehr schnell. Dies wird als Rolling Shutter bezeichnet.
Wenn Sie stillstehen, funktioniert das gut. Aber wenn Sie die Kamera schnell bewegen (wie bei einer Drohne oder einer fliegenden Drohne), sieht der obere Teil des Fotos die Welt aus einem anderen Winkel, und bis die Kamera den unteren Teil scannt, haben Sie sich bereits bewegt, sodass der untere Teil die Welt aus einem leicht anderen Winkel sieht. Das führt dazu, dass das Bild „wabbelig“ oder verzerrt aussieht (wie Wackelpudding).
Das Problem: Die „Wackelpudding“-Mathematik ist zu schwer
Um Karten zu erstellen, Drohnen zu navigieren oder Augmented Reality zu erschaffen, müssen Computer genau berechnen, wie sich die Kamera zwischen zwei Fotos bewegt hat. Dies wird als Relative Pose Estimation bezeichnet.
Für Standardkameras (Global Shutter) ist diese Mathematik einfach und schnell. Aber für Rolling-Shutter-Kameras ändert sich die „Regel“ der Geometrie für jede einzelne Zeile des Bildes.
Die bisher beste Methode, um dieses „Wackelpudding“-Problem mathematisch zu lösen, war unglaublich ineffizient. Es war, als würde man versuchen, eine bestimmte Nadel in einem Heuhaufen zu finden, aber der Heuhaufen war so groß wie ein Berg.
- Der alte Weg: Um die Mathematik zu lösen, musste der Computer 20 Übereinstimmungspunkte zwischen zwei Bildern finden.
- Die Konsequenz: Da er so viele Punkte benötigte, musste der Computer Millionen von zufälligen Kombinationen ausprobieren, um die richtige Antwort zu finden. Das dauerte zu lange und war für den realen Einsatz oft zu langsam.
Die Lösung: Dem Punkt eine „Form“ geben
Die Autoren dieser Arbeit fanden eine clevere Abkürzung. Anstatt nur zu schauen, wo ein Punkt ist (wie ein Punkt), betrachteten sie die Form des Bereichs (Patch) um diesen Punkt herum.
Denken Sie an Folgendes:
- Alte Methode (Punkt-Korrespondenz): Sie sehen einen roten Punkt im linken Foto und einen roten Punkt im rechten Foto. Sie verbinden sie. (1 Informationseinheit).
- Neue Methode (Affine Korrespondenz): Sie sehen einen roten Punkt, aber Sie bemerken auch, dass der Bereich um ihn herum gestreckt, gestaucht oder geneigt ist. Sie verbinden den Punkt und die Form der Dehnung/Stauchung. (3 Informationseinheiten).
Durch die Verwendung dieser „formbewussten“ Übereinstimmungen (genannt Affine Correspondences) erhält der Computer aus jedem einzelnen Match wesentlich mehr Informationen.
Der Durchbruch: Mehr erreichen mit weniger
Da jedes neue „formbewusste“ Match drei Mal mehr Informationen liefert, konnten die Autoren einen neuen mathematischen Löser entwickeln, der nur 7 Übereinstimmungen benötigt anstatt 20.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Geheimcode zu erraten.
- Die alte Methode verlangte von Ihnen, 20 Zahlen zu erraten, um den Code richtig zu erhalten. Sie mussten Millionen von Kombinationen ausprobieren.
- Die neue Methode fragt Sie nach nur 7 Zahlen, aber jede Zahl ist eine „Superzahl“, die Ihnen drei Dinge gleichzeitig verrät. Sie müssen nur ein paar hundert Kombinationen ausprobieren.
Was sie erreicht haben
- Geschwindigkeit: Durch die Reduzierung der benötigten Übereinstimmungen von 20 auf 7 muss der Computer nicht mehr Millionen von Versuchen unternehmen. Die Zeit, um die Mathematik zu lösen, sinkt von „ewig dauern“ auf nur 1,2 Millisekunden.
- Genauigkeit: Bei realen Daten (wie dem TUM-Datensatz) war ihre Methode am genauesten darin, die Rotation und Position der Kamera zu bestimmen.
- Geschwindigkeit (Velocity): Ein einziges besonderes Extra ist, dass ihre Methode sehr gut darin ist, wie schnell sich die Kamera bewegt (Translationsgeschwindigkeit) einzuschätzen. Vorherige Methoden waren hierbei schlecht, weil die Mathematik zwischen der Position der Kamera und ihrer Geschwindigkeit „verwirrt“ wurde. Die neue Methode klärt diese Verwirrung auf.
- Vielseitigkeit: Selbst als sie die Methode an Standardkameras testeten, die keinen diesen „Wackelpudding“-Effekt haben (Global Shutter), funktionierte sie perfekt, was beweist, dass sie robust ist.
Zusammenfassung
Die Arbeit stellt eine neue Art vor, Kamerabewegungen in „Wackelpudding“-Bildern zu berechnen. Durch die Nutzung zusätzlicher Informationen über die Form von Bildbereichen haben sie die schwere mathematische Arbeitslast von einem „Berg“ zu einem „Hügel“ reduziert. Dies macht es praktikabel, diese Berechnungen in Echtzeit-Anwendungen wie Drohnen und Smartphones einzusetzen, indem ein Problem gelöst wird, das zuvor zu langsam und zu rechenintensiv war, um zuverlässig genutzt werden zu können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.