Estimating sub-frame time differences in camera image sequences

Dieser Beitrag stellt eine querspektrale Technik vor und validiert diese, die in der Lage ist, subframe-relative Zeitverzögerungen zwischen optischen Intensitätssignalen mit einer Genauigkeit von besser als 50 Mikrosekunden zu schätzen, eine Methode, die für die dynamische Abbildung von Polarlichtern entwickelt wurde, aber auch für verschiedene Aufgaben der Kamerataiming-Kalibrierung und der Messung zeitvariabler Signale anwendbar ist.

Das Wesentliche

Stellen Sie sich vor, Sie schauen sich einen Film auf Ihrem Handy an. Der Film ist eigentlich kein kontinuierlicher Lichtstrom, sondern eine rasche Abfolge von Standbildern (Frames), die 60 Mal pro Sekunde angezeigt werden. Für Ihre Augen sieht es flüssig aus, aber für einen Computer ist die Welt in winzige Zeitscheiben zerhackt.

Normalerweise können Sie, wenn Sie genau wissen wollen, wann zwei Dinge in einem Video passiert sind, nur sicher sein, dass sie innerhalb desselben „Scheibchens" (etwa 16 Millisekunden auseinander) passiert sind. Aber was ist, wenn Sie wissen müssen, ob ein Ereignis nur einen winzigen Bruchteil einer Sekunde vor dem anderen passiert ist, obwohl beide im selben Bildrahmen erscheinen?

Das ist das Problem, das die Arbeit löst. Die Autoren, Forscher der Universität Tromsø, haben einen mathematischen „Super-Sinn" erfunden, der einer Kamera ermöglicht, Zeitunterschiede zu sehen, die viel kleiner sind als die Zeit, die zum Auslösen eines einzelnen Fotos benötigt wird.

Das Problem: Der „flackernde" Himmel

Die Forscher dachten ursprünglich an das Polarlicht (Nordlicht). Manchmal flackern die Lichter am Himmel oder verändern sehr schnell ihre Form. Wissenschaftler glauben, dass diese Veränderungen auftreten, weil sich hochenergetische Elektronen aus dem Weltraum herabstürzen und leicht zu unterschiedlichen Zeitpunkten auf verschiedene Schichten der Atmosphäre treffen.

Wenn Sie zwei Kameras haben, die den Himmel beobachten, oder sogar eine Kamera, die auf zwei verschiedene Teile des Himmels schaut, könnten Sie an einer Stelle ein „Flackern" sehen und dann einige Millisekunden später an einer anderen Stelle ein „Flackern". Standardkameras sind zu langsam, um diese winzige Lücke zu erfassen; sie sehen sie einfach als einen großen Unschärfebereich. Die Forscher wollten eine Möglichkeit finden, diese winzige Lücke zu messen, ohne teure, superschnelle Kameras militärischen Grades zu benötigen.

Die Lösung: Das „kreuzspektrale" Ohr

Anstatt zu versuchen, schneller ein Foto zu machen, nutzten die Autoren einen cleveren Trick, der auf Schallwellen und Musik basiert.

Stellen Sie sich die sich ändernde Helligkeit des Polarlichts (oder eines blinkenden Lichts) wie ein Lied vor. Selbst wenn das Lied spielt, hat es einen Rhythmus und einen Beat.

1. Das Setup: Sie bauten ein einfaches Gerät mit zwei LED-Lichtern. Ein Licht blinkte zufällig, und das andere Licht blinkte im exakt gleichen Muster, jedoch mit einer winzigen, bekannten Verzögerung (wie ein Schlagzeuger, der eine Snare-Trommel eine Split-Sekunde nach dem Hi-Hat schlägt).
2. Die Aufnahme: Sie filmten dies mit einer Standard-Smartphone-Kamera.
3. Die Magie: Sie betrachteten das Video nicht Bild für Bild. Stattdessen nahmen sie das „Lied" der Helligkeit des ersten Lichts und das „Lied" des zweiten Lichts und verglichen sie mathematisch. Dies nennt man ein Kreuzspektrum.

Die Analogie: Stellen Sie sich zwei Personen vor, die in die Hände klatschen. Wenn sie genau zur gleichen Zeit klatschen, stimmen ihre Geräusche perfekt überein. Wenn eine Person ein winziges bisschen später klatscht, ist ihr Geräusch leicht aus dem Takt. Wenn Sie über einen längeren Zeitraum auf das Muster des Klatschens hören, können Sie genau berechnen, um wie viele Mikrosekunden eine Person hinter der anderen zurückliegt, selbst wenn Sie die einzelnen Klatschgeräusche nicht deutlich hören können.

Die Mathematik funktioniert bei Licht genauso. Durch die Analyse des „Rhythmus" der Lichtänderungen über viele Frames hinweg konnten sie den Zeitunterschied zwischen zwei Punkten auf dem Bildschirm mit unglaublicher Präzision berechnen.

Die Ergebnisse: Das Unsichtbare sehen

Sie testeten diese Methode und stellten fest:

• Extreme Präzision: Sie konnten Zeitunterschiede von nur 50 Mikrosekunden messen (das sind 0,00005 Sekunden). Um das einzuordnen: Ein Standard-Video-Frame dauert etwa 16.000 Mikrosekunden. Sie messen Lücken, die 300-mal kleiner sind als ein einzelner Frame.
• Der „Rolling Shutter"-Effekt: Sie nutzten dies auch, um die Kamera selbst zu betrachten. Die meisten Smartphone-Kameras machen nicht gleichzeitig ein Foto der gesamten Szene; sie scannen sie von oben nach unten ab (wie ein Rolltor an einer Garage). Das bedeutet, dass der obere Teil des Fotos ein winziges bisschen früher aufgenommen wird als der untere. Die Forscher nutzten ihre Methode, um genau zu kartieren, wie viel Zeit vergeht, während die Kamera den Bildschirm „abtastet", und bewiesen damit, dass sie die eigenen internen Timing-Sonderheiten der Kamera sehen konnten.

Warum das wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dass diese Technik ein Game-Changer ist für:

1. Die Erforschung des Polarlichts: Sie ermöglicht Wissenschaftlern, die winzigen Verzögerungen im Nordlicht zu messen, die durch Elektronen verursacht werden, die durch die Atmosphäre reisen, was mit Standard-Video zuvor unmöglich war.
2. Kamerakalibrierung: Sie kann verwendet werden, um zu prüfen, ob verschiedene Kameras perfekt synchronisiert sind, oder um die interne Zeitmessung des Sensors einer einzelnen Kamera zu messen.

Die Autoren betonen, dass dies mit billiger, alltäglicher Ausrüstung funktioniert (wie einem Smartphone und einem einfachen Arduino-Mikrocontroller) und keine teure Hardware erfordert. Sie haben erfolgreich bewiesen, dass wir, indem wir auf das Muster der Lichtänderungen statt nur auf die Bilder selbst schauen, das Vergehen der Zeit in Bruchteilen einer Millisekunde „hören" können.

Technische Zusammenfassung

Technisches Fazit: Schätzung von Sub-Frame-Zeitdifferenzen in Kamerabildsequenzen

Problemstellung
Optische Messungen dynamischer Phänomene, wie etwa auroraler Emissionen, erfordern häufig eine relative Zeitgenauigkeit, die deutlich feiner als die Bildperiode der Kamera ist. Jüngste Berechnungen zum Elektronentransport deuten darauf hin, dass prompte aurorale Emissionen aufgrund endlicher Elektronengeschwindigkeiten und Energieabbaueffekte Zeitschiebungen im Millisekundenbereich aufweisen können. Die Auflösung dieser Verschiebungen erfordert eine Synchronisation von besser als 1 ms und idealerweise besser als 100 µs. Traditionelle Synchronisationsmethoden, die GPS-Pulse-per-Second-Signale verwenden, erreichen typischerweise Genauigkeiten von etwa 5 ms, was für hochauflösende, mehrwellenlängige Beobachtungen dynamischer Aurora (z. B. flackernde Aurora, aurorale Wirbel) unzureichend ist. Darüber hinaus stützt sich die bestehende Hochgeschwindigkeitsbildgebung oft auf Beobachtungen mit einem einzigen Instrument, um die Komplexität der Synchronisation zwischen Kameras zu vermeiden; dies schränkt jedoch die Fähigkeit ein, verschiedene Emissionswellenlängen gleichzeitig zu vergleichen.

Methodik
Die Autoren schlagen eine Kreuzspektraltechnik zur Schätzung relativer Zeitverzögerungen ($\tau$) zwischen zwei zeitvariablen optischen Intensitätssignalen, $I_1(t)$ und $I_2(t)$, vor, wobei $I_2(t) = \gamma I_1(t - \tau)$ gilt. Die Methode ist analog zur geodätischen Very Long Baseline Interferometrie, die in der Radioastronomie eingesetzt wird.

1. Theoretische Grundlage: Der Zusammenhang zwischen der Zeitverzögerung und der Phasenverschiebung im Frequenzbereich ist linear ($\phi_{12}(\omega) = \omega\tau$). Durch Berechnung des Kreuzspektrums zweier Signale liefert die Phase des mittleren Kreuzspektrums Informationen über die relative Zeitverzögerung.
2. Schätzprozess:
   • Auf diskrete Zeitreihen der Pixelintensitäten werden Diskrete Fourier-Transformationen (DFT) angewendet.
   • Die Kreuzspektralphase wird über mehrere Frequenzkomponenten hinweg berechnet.
   • Ein lineares Kleinste-Quadrate-Modell (Maximum-Likelihood-Schätzer) wird an die Phasendaten angepasst, um $\tau$ zu bestimmen.
   • Eine Phasenentfaltung wird angewendet, wenn die Verzögerung groß genug ist, um Phaseneinfaltungen zu verursachen, vorausgesetzt, die Messfehler sind gering ($\sigma \ll \pi$).
3. Validierungsaufbau: Zur Validierung der Technik konstruierten die Autoren ein Kalibrierungsgerät mit einem Arduino UNO-Mikrocontroller, der zwei LEDs ansteuert. Die LEDs emittieren pseudorandom gepulstes Licht mit einer benutzerdefinierten relativen Zeitverschiebung. Die Signale werden diffus gestreut, um gleichmäßig beleuchtete Bereiche zu erzeugen.
4. Datenerfassung: Aufnahmen wurden mit einer Huawei P30 Pro-Smartphone-Kamera (60 fps, Auflösung 2336×1080) in einem dunklen Raum durchgeführt. Das Gerät erzeugte Signale mit bekannten Verzögerungen, die aufgezeichnet und analysiert wurden.

Hauptergebnisse

• Genauigkeit: Für getestete Aufnahmen schätzt die Methode relative Verzögerungen zwischen Bildsensorbereichen mit einer Genauigkeit von besser als 50 µs. Bei spezifischen Tests mit 104 Bildrahmen (ca. 167 s Dauer) betrug die absolute Genauigkeit etwa 30 µs.
• Fehlerabhängigkeit: Die Messunsicherheit nimmt mit zunehmender Aufnahmedauer ab. Für eine Verzögerung von 1,05 ms sank die Standardabweichung der Schätzung von 279 µs (5 s Dauer) auf 26 µs (167 s Dauer).
• Sensorcharakterisierung: Die Technik charakterisierte erfolgreich das Rolling-Shutter-Auslesen der Smartphone-Kamera. Durch Analyse eines 200×200-Pixel-Bereichs beobachteten die Autoren einen linearen Anstieg der Zeitverzögerung über die Bildzeilen hinweg. Die durchschnittliche Änderung der Zeitverschiebung zwischen benachbarten Zeilen betrug 6,58 µs, was mit einer plausiblen Zeilen-Auslesezeit übereinstimmt. Die Standardabweichung der relativen Zeitverzögerungsfehler zwischen benachbarten Pixeln wurde als weniger als 10 µs ermittelt.
• Robustheit: Die Methode wurde mit verschiedenen Zeitverzögerungen (1,05 ms, 2,05 ms, 10,05 ms) und verschiedenen Kameras (iPhone X bei 30 fps) getestet und lieferte konsistente Ergebnisse, wobei das iPhone X aufgrund eines verrauschteren Sensors und einer niedrigeren Bildwiederholrate leicht größere Fehler aufwies.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Technik eine praktikable, kostengünstige Lösung zur Messung von Sub-Frame-Zeitverschiebungen in digitalen Videosequenzen bietet.

• Aurorawissenschaft: Die demonstrierte Genauigkeit (<50 µs) ist ausreichend, um Elektronentransporteigenschaften in dynamischer Aurora zu untersuchen, bei denen relative Verzögerungen zwischen prompten Emissionen aus verschiedenen Höhenlagen mehrere Millisekunden betragen dürften. Die Methode ermöglicht die Messung dieser Verzögerungen innerhalb von 100 µs für Ereignisse, die weniger als 20 Sekunden dauern, vorausgesetzt, die Emission verfügt über ausreichende zeitliche Bandbreite (ca. 10 Hz).
• Kamerakalibrierung: Die Technik kann Sub-Frame-Zeitunterschiede über einen Bildsensor hinweg charakterisieren (z. B. Rolling-Shutter-Effekte) und kann für die Zeitkalibrierung zwischen Kameras und Sensoren verwendet werden, wenn Kameras an eine gemeinsame Uhr synchronisiert sind.
• Allgemeine Anwendbarkeit: Obwohl die Technik für die aurorale Bildgebung entwickelt wurde, stellen die Autoren fest, dass sie breitere Anwendungen in jedem Bereich hat, der die Messung zeitvariabler optischer Signale oder die Kalibrierung der Kamerazeit erfordert.

Die Autoren bewahren einen bescheidenen Ton bezüglich zukünftiger Implikationen und stellen fest, dass die Anwendung auf dynamische Aurora und zeitabhängigen Elektronentransport ein Thema für zukünftige Arbeiten ist und dass die spezifischen Genauigkeitswerte von der verwendeten Kamera, dem Kompressionsalgorithmus und dem Setup abhängen. Sie behaupten nicht, dass die Methode die Notwendigkeit gemeinsamer Uhren in Multi-Kamera-Setups eliminiert, sondern vielmehr eine Möglichkeit bietet, Sub-Frame-Zeitverschiebungen zu charakterisieren und zu korrigieren, wenn eine solche Synchronisation besteht.