Estimating sub-frame time differences in camera image sequences

Dit artikel presenteert en valideert een kruisspectrale techniek die in staat is relatieve tijdsvertragingen tussen optische intensiteitssignalen op subframe-niveau te schatten met een nauwkeurigheid van beter dan 50 microseconden, een methode die is ontwikkeld voor dynamische aurorabeeldvorming maar toepasbaar is op diverse taken voor cameratijdsbepalingskalibratie en meting van tijdvariërende signalen.

De kern

Stel je voor dat je een film bekijkt op je telefoon. De film is eigenlijk geen continue stroom licht; het is een snelle reeks stilstaande beelden (frames) die 60 keer per seconde worden getoond. Voor je ogen ziet het er vloeiend uit, maar voor een computer is de wereld opgehakt in tiny tijdschijfjes.

Meestal kun je, als je precies wilt weten wanneer twee dingen in een video zijn gebeurd, alleen zeker zijn dat ze binnen hetzelfde "schijfje" zijn gebeurd (ongeveer 16 milliseconden uit elkaar). Maar wat als je moet weten of één gebeurtenis net een klein fractie van een seconde voor de andere heeft plaatsgevonden, zelfs als ze allebei in hetzelfde beeldframe lijken te verschijnen?

Dit is het probleem dat het artikel oplost. De auteurs, onderzoekers van de Universiteit van Tromsø, hebben een wiskundig "superzintuig" bedacht dat het een camera mogelijk maakt tijdsverschillen waar te nemen die veel kleiner zijn dan de tijd die nodig is om één foto te maken.

Het probleem: De "flikkerende" lucht

De onderzoekers dachten oorspronkelijk na over het Noorderlicht (Aurora Borealis). Soms flikkeren de lichten aan de hemel of veranderen ze heel snel van vorm. Wetenschappers geloven dat deze veranderingen ontstaan omdat hoogenergetische elektronen vanuit de ruimte neerregenen en op licht verschillende momenten verschillende lagen van de atmosfeer raken.

Als je twee camera's hebt die naar de lucht kijken, of zelfs één camera die naar twee verschillende delen van de lucht kijkt, kun je een "flikkering" op de ene plek zien en een paar milliseconden later een "flikkering" op een andere plek. Standaardcamera's zijn te traag om dit tiny gat te vangen; ze zien het gewoon als één grote onscherpte. De onderzoekers wilden een manier om dat tiny gat te meten zonder dure, supersnelle camera's van militair niveau nodig te hebben.

De oplossing: Het "cross-spectrale" oor

In plaats van te proberen sneller een foto te maken, gebruikten de auteurs een slimme truc gebaseerd op geluidsgolven en muziek.

Stel je de veranderende helderheid van het noorderlicht (of een flitsend licht) voor als een liedje. Zelfs als het liedje speelt, heeft het een ritme en een beat.

1. De opzet: Ze bouwden een simpel apparaat met twee LED-lampjes. Eén lampje knipperde willekeurig, en het andere lampje knipperde in exact hetzelfde patroon, maar met een tiny, bekende vertraging (zoals een drummer die een snare drum een fractie van een seconde na de hi-hat aanslaat).
2. De opname: Ze filmden dit met een standaard smartphone-camera.
3. De magie: Ze keken niet frame-voor-frame naar de video. In plaats daarvan namen ze het "liedje" van de helderheid van het eerste lampje en het "liedje" van het tweede lampje en vergeleken ze deze wiskundig. Dit heet een cross-spectrum.

De analogie: Stel je twee mensen voor die op hun handen klappen. Als ze op exact hetzelfde moment klappen, passen hun geluiden perfect bij elkaar. Als één persoon een tiny beetje later klapt, is hun geluid lichtjes uit sync. Door naar het patroon van het geklap over een lange tijd te luisteren, kun je precies berekenen hoeveel microseconden de ene persoon achterloopt op de andere, zelfs als je de individuele klappen niet duidelijk kunt horen.

De wiskunde werkt op dezelfde manier met licht. Door het "ritme" van de lichtveranderingen over veel frames te analyseren, konden ze het tijdsverschil tussen twee punten op het scherm berekenen met ongelooflijke precisie.

De resultaten: Het onzichtbare zien

Ze testten deze methode en ontdekten:

• Extreme precisie: Ze konden tijdsverschillen meten zo klein als 50 microseconden (dat is 0,00005 seconde). Om dat in perspectief te plaatsen: een standaard videoframe duurt ongeveer 16.000 microseconden. Ze meten gaten die 300 keer kleiner zijn dan één frame.
• Het "rolling shutter"-effect: Ze gebruikten dit ook om naar de camera zelf te kijken. De meeste smartphone-camera's maken niet in één keer een foto van het hele tafereel; ze scannen het van boven naar beneden (zoals een rolluik op een garagedeur). Dit betekent dat de bovenkant van de foto een tiny beetje eerder wordt gemaakt dan de onderkant. De onderzoekers gebruikten hun methode om precies in kaart te brengen hoeveel tijd er verstrijkt terwijl de camera over het scherm "scant", wat bewees dat ze de eigen interne timing-kinkels van de camera konden zien.

Waarom dit belangrijk is (volgens het artikel)

Het artikel beweert dat deze techniek een game-changer is voor:

1. Het bestuderen van het noorderlicht: Het stelt wetenschappers in staat de tiny vertragingen in het noorderlicht te meten die worden veroorzaakt door elektronen die door de atmosfeer reizen, wat voorheen onmogelijk was met standaardvideo.
2. Camera-calibratie: Het kan worden gebruikt om te controleren of verschillende camera's perfect gesynchroniseerd zijn, of om de interne timing van de sensor van één camera te meten.

De auteurs benadrukken dat dit werkt met goedkope, alledaagse apparatuur (zoals een smartphone en een eenvoudige Arduino-microcontroller) en geen dure hardware vereist. Ze hebben succesvol bewezen dat we door naar het patroon van lichtveranderingen te kijken in plaats van alleen naar de foto's zelf, tijd kunnen "horen" verstrijken in fracties van een milliseconde.

Technische samenvatting

Technische Samenvatting: Schatting van Sub-frame Tijdsverschillen in Camera-Beeldreeksen

Probleemstelling
Optische metingen van dynamische verschijnselen, zoals aurorale emissies, vereisen vaak een relatieve tijdsnauwkeurigheid die aanzienlijk fijner is dan het frame-periode van de camera. Recente berekeningen van elektronentransport suggereren dat snelle aurorale emissies milliseconde-grote tijdsverschuivingen kunnen vertonen als gevolg van eindige elektronensnelheden en energie-degradatie-effecten. Het oplossen van deze verschuivingen vereist synchronisatie beter dan 1 ms, en bij voorkeur beter dan 100 µs. Traditionele synchronisatiemethoden met behulp van GPS-pulse-per-second-signalen bereiken doorgaans nauwkeurigheden rond de 5 ms, wat onvoldoende is voor hoogwaardige, multi-golflengte waarnemingen van dynamische aurora's (bijvoorbeeld flakkerende aurora, aurorale krullen). Bovendien vertrouwen bestaande hoogwaardige beeldopnames vaak op waarnemingen met één instrument, waardoor de complexiteit van inter-camera synchronisatie wordt vermeden, maar dit beperkt de mogelijkheid om verschillende emissiegolflengten gelijktijdig te vergelijken.

Methodologie
De auteurs stellen een cross-spectrale techniek voor om relatieve tijdsvertragingen ($\tau$) te schatten tussen twee tijdvariërende optische intensiteitssignalen, $I_1(t)$ en $I_2(t)$, waarbij $I_2(t) = \gamma I_1(t - \tau)$. De methode is analoog aan geodetische very long baseline interferometrie die wordt gebruikt in de radioastronomie.

1. Theoretische Basis: Het verband tussen de tijdsvertraging en de faseverschuiving in het frequentiedomein is lineair ($\phi_{12}(\omega) = \omega\tau$). Door het cross-spectrum van twee signalen te berekenen, biedt de fase van het gemiddelde cross-spectrum informatie over de relatieve tijdsvertraging.
2. Schattingsproces:
   • Discrete Fourier-transformaties (DFT) worden toegepast op tijdreeksen van pixelintensiteiten.
   • De cross-spectrale fase wordt berekend over meerdere frequentiecomponenten.
   • Een lineair kleinste-kwadratenmodel (maximum-likelihood schatting) wordt aangepast aan de fasegegevens om $\tau$ op te lossen.
   • Fase-ontwikkeling wordt toegepast als de vertraging groot genoeg is om fase-wrapping te veroorzaken, mits meetfouten klein zijn ($\sigma \ll \pi$).
3. Validatie-opstelling: Om de techniek te valideren, construeerden de auteurs een kalibratieapparaat met behulp van een Arduino UNO microcontroller om twee LED's aan te sturen. De LED's geven pseudorandom gepulseerd licht af met een door de gebruiker gedefinieerde relatieve tijdsverschuiving. De signalen worden gediffuseerd om uniforme verlichte gebieden te creëren.
4. Dataverzameling: Opnames werden gemaakt met een Huawei P30 Pro-smartphonecamera (60 fps, resolutie 2336×1080) in een donkere kamer. Het apparaat genereerde signalen met bekende vertragingen, die werden opgenomen en geanalyseerd.

Belangrijkste Resultaten

• Nauwkeurigheid: Voor geteste opnames schat de methode relatieve vertragingen tussen beeldsensor-gebieden met een nauwkeurigheid beter dan 50 µs. Bij specifieke tests met 104 beeldframes (duur ongeveer 167 s) was de absolute nauwkeurigheid ongeveer 30 µs.
• Foutafhankelijkheid: De meetonzekerheid neemt af naarmate de opnameduur toeneemt. Voor een vertraging van 1,05 ms daalde de standaardafwijking van de schatting van 279 µs (duur 5 s) naar 26 µs (duur 167 s).
• Sensorkarakterisering: De techniek karakteriseerde succesvol de rolling-shutter uitlezing van de smartphonecamera. Door een gebied van 200×200 pixels te analyseren, observeerden de auteurs een lineaire toename van de tijdsvertraging over beeldrijen. De gemiddelde verandering in tijdsverschuiving tussen aangrenzende rijen bedroeg 6,58 µs, wat overeenkomt met een plausibele rij-uitleestijd. De standaardafwijking van relatieve tijdsvertraging-fouten tussen aangrenzende pixels bleek kleiner dan 10 µs.
• Robuustheid: De methode werd getest met verschillende tijdsvertragingen (1,05 ms, 2,05 ms, 10,05 ms) en verschillende camera's (iPhone X met 30 fps), wat consistente resultaten opleverde, hoewel de iPhone X iets grotere fouten produceerde als gevolg van een ruizigere sensor en een lagere frame-rate.

Betekenis en Beweringen
Het artikel stelt dat deze techniek een haalbare, kosteneffectieve oplossing biedt voor het meten van sub-frame tijdsverschuivingen in digitale videoreeksen.

• Aurorawetenschap: De aangetoonde nauwkeurigheid (<50 µs) is voldoende om elektronentransport-effecten in dynamische aurora's te bestuderen, waarbij relatieve vertragingen tussen snelle emissies vanuit verschillende hoogtes worden verwacht op de orde van enkele milliseconden. De methode maakt het mogelijk om deze vertragingen binnen 100 µs te meten voor gebeurtenissen die korter dan 20 seconden duren, mits de emissie voldoende tijdsbandbreedte heeft (ongeveer 10 Hz).
• Camera-kalibratie: De techniek kan sub-frame tijdsverschillen over een beeldsensor karakteriseren (bijvoorbeeld rolling-shutter-effecten) en kan worden gebruikt voor inter-camera en inter-sensor tijdskalibratie wanneer camera's zijn gesynchroniseerd met een gedeelde klok.
• Algemene Toepasbaarheid: Hoewel ontwikkeld voor aurorale beeldvorming, merken de auteurs op dat de techniek bredere toepassingen heeft in elk vakgebied waar meting van tijdvariërende optische signalen of camera-tijdskalibratie vereist is.

De auteurs houden een bescheiden toon wat betreft toekomstige implicaties, met de opmerking dat toepassing op dynamische aurora en tijd-afhankelijk elektronentransport een onderwerp is voor toekomstig werk, en dat de specifieke nauwkeurigheidswaarden afhangen van de gebruikte camera, compressie-algoritme en opstelling. Zij beweren niet dat de methode de behoefte aan gedeelde klokken in multi-camera-opstellingen elimineert, maar bieden eerder een manier om sub-frame tijdsverschillen te karakteriseren en te corrigeren wanneer dergelijke synchronisatie bestaat.