Estimating sub-frame time differences in camera image sequences

Este artículo presenta y valida una técnica de espectro cruzado capaz de estimar retardos de tiempo relativos entre señales de intensidad óptica con una precisión superior a 50 microsegundos, un método desarrollado para la imagen dinámica de auroras pero aplicable a diversas tareas de calibración de temporización de cámaras y medición de señales variables en el tiempo.

Lo esencial

Imagina que estás viendo una película en tu teléfono. La película no es realmente un flujo continuo de luz; es una serie rápida de imágenes estáticas (cuadros) mostradas 60 veces cada segundo. Para tus ojos, parece fluida, pero para una computadora, el mundo está cortado en pequeñas rebanadas de tiempo.

Por lo general, si quieres saber exactamente cuándo ocurrieron dos cosas en un video, solo puedes estar seguro de que ocurrieron dentro de la misma "rebanada" (aproximadamente 16 milisegundos de diferencia). Pero, ¿qué pasa si necesitas saber si un evento ocurrió una fracción diminuta de segundo antes que el otro, incluso aunque ambos aparezcan en el mismo cuadro de imagen?

Este es el problema que resuelve el artículo. Los autores, investigadores de la Universidad de Tromsø, han inventado un "super-sentido" matemático que permite a una cámara ver diferencias de tiempo mucho más pequeñas que el tiempo que tarda en tomar una sola fotografía.

El Problema: El Cielo "Parpadeante"

Los investigadores originalmente estaban pensando en la Aurora Boreal (Luces del Norte). A veces, las luces en el cielo parpadean o cambian de forma muy rápidamente. Los científicos creen que estos cambios ocurren porque electrones de alta velocidad caen desde el espacio, golpeando diferentes capas de la atmósfera en momentos ligeramente diferentes.

Si tienes dos cámaras observando el cielo, o incluso una cámara mirando dos partes diferentes del cielo, podrías ver un "parpadeo" en un punto y luego un "parpadeo" en otro punto unos pocos milisegundos después. Las cámaras estándar son demasiado lentas para capturar esta pequeña brecha; simplemente lo ven como una gran borrosidad. Los investigadores querían una forma de medir esa pequeña brecha sin necesidad de cámaras militares super rápidas y costosas.

La Solución: El Oído "Espectral Cruzado"

En lugar de intentar tomar una fotografía más rápido, los autores utilizaron un truco inteligente basado en ondas sonoras y música.

Piensa en el cambio de brillo de la aurora (o una luz parpadeante) como una canción. Incluso si la canción está sonando, tiene un ritmo y un compás.

1. La Configuración: Construyeron un dispositivo simple con dos luces LED. Una luz parpadeaba aleatoriamente, y la otra luz parpadeaba en el mismo patrón exacto, pero con un pequeño retraso conocido (como un baterista golpeando un bombo un instante después del platillo hi-hat).
2. La Grabación: Grabaron esto con una cámara estándar de teléfono inteligente.
3. La Magia: No miraron el video cuadro por cuadro. En su lugar, tomaron la "canción" del brillo de la primera luz y la "canción" de la segunda luz y las compararon matemáticamente. Esto se llama espectro cruzado.

La Analogía: Imagina a dos personas aplaudiendo. Si aplauden exactamente al mismo tiempo, sus sonidos coinciden perfectamente. Si una persona aplaude un poco más tarde, su sonido está ligeramente desincronizado. Al escuchar el patrón de los aplausos durante mucho tiempo, puedes calcular exactamente cuántos microsegundos una persona se retrasa respecto a la otra, incluso si no puedes escuchar los aplausos individuales claramente.

Las matemáticas funcionan de la misma manera con la luz. Al analizar el "ritmo" de los cambios de luz a través de muchos cuadros, pudieron calcular la diferencia de tiempo entre dos puntos en la pantalla con una precisión increíble.

Los Resultados: Ver lo Invisible

Probaron este método y descubrieron:

• Precisión Extrema: Podían medir diferencias de tiempo tan pequeñas como 50 microsegundos (eso es 0,00005 segundos). Para ponerlo en perspectiva, un cuadro de video estándar dura unos 16.000 microsegundos. Están midiendo brechas que son 300 veces más pequeñas que un solo cuadro.
• El Efecto de "Obturador Rodante": También usaron esto para observar la propia cámara. La mayoría de las cámaras de teléfonos inteligentes no toman una fotografía de toda la escena a la vez; la escanean de arriba a abajo (como un obturador rodante en una puerta de garaje). Esto significa que la parte superior de la foto se toma un poco antes que la parte inferior. Los investigadores usaron su método para mapear exactamente cuánto tiempo pasa mientras la cámara "escanea" hacia abajo en la pantalla, demostrando que podían ver las peculiaridades de tiempo internas de la propia cámara.

Por Qué Esto Importa (Según el Artículo)

El artículo afirma que esta técnica es un cambio de juego para:

1. Estudiar la Aurora: Permite a los científicos medir los pequeños retrasos en las Luces del Norte causados por electrones viajando a través de la atmósfera, algo que antes era imposible con video estándar.
2. Calibración de Cámaras: Se puede usar para verificar si diferentes cámaras están perfectamente sincronizadas o para medir el tiempo interno del sensor de una sola cámara.

Los autores enfatizan que esto funciona con equipo barato y cotidiano (como un teléfono inteligente y un simple microcontrolador Arduino) y no requiere hardware costoso. Demostraron con éxito que al observar el patrón de cambios de luz en lugar de solo las imágenes en sí mismas, podemos "oír" el paso del tiempo en fracciones de milisegundo.

Resumen técnico

Resumen Técnico: Estimación de Diferencias de Tiempo Subcuadro en Secuencias de Imágenes de Cámara

Enunciado del Problema
Las mediciones ópticas de fenómenos dinámicos, como las emisiones aurorales, a menudo requieren una precisión de temporización relativa significativamente más fina que el periodo de cuadro de la cámara. Cálculos recientes de transporte de electrones sugieren que las emisiones aurorales rápidas pueden exhibir desplazamientos temporales de escala milisegundo debido a velocidades finitas de los electrones y efectos de degradación de energía. Resolver estos desplazamientos requiere una sincronización mejor que 1 ms, e idealmente mejor que 100 µs. Los métodos de sincronización tradicionales que utilizan señales de pulso por segundo de GPS típicamente alcanzan precisiones alrededor de 5 ms, lo cual es insuficiente para observaciones de alta velocidad y multiespectrales de auroras dinámicas (por ejemplo, auroras centelleantes, rizos aurorales). Además, la imagen de alta velocidad existente a menudo depende de observaciones de un solo instrumento, evitando la complejidad de la sincronización intercámara, pero esto limita la capacidad de comparar diferentes longitudes de onda de emisión simultáneamente.

Metodología
Los autores proponen una técnica cruzada espectral para estimar los retrasos temporales relativos ($\tau$) entre dos señales de intensidad óptica que varían en el tiempo, $I_1(t)$ y $I_2(t)$, donde $I_2(t) = \gamma I_1(t - \tau)$. El método es análogo a la interferometría de muy larga base geodésica utilizada en radioastronomía.

1. Base Teórica: La relación entre el retraso temporal y el desplazamiento de fase en el dominio de la frecuencia es lineal ($\phi_{12}(\omega) = \omega\tau$). Al calcular el espectro cruzado de dos señales, la fase del espectro cruzado medio proporciona información sobre el retraso temporal relativo.
2. Proceso de Estimación:
   • Se aplican Transformadas Discretas de Fourier (DFT) a series temporales de intensidad de píxeles.
   • Se calcula la fase espectral cruzada a través de múltiples componentes de frecuencia.
   • Se ajusta un modelo de mínimos cuadrados lineales (estimación de máxima verosimilitud) a los datos de fase para resolver $\tau$.
   • Se aplica desenrollado de fase si el retraso es lo suficientemente grande como para causar envoltura de fase, siempre que los errores de medición sean pequeños ($\sigma \ll \pi$).
3. Configuración de Validación: Para validar la técnica, los autores construyeron un dispositivo de calibración utilizando un microcontrolador Arduino UNO para accionar dos LED. Los LED emiten luz pulsada pseudorrandommente con un desplazamiento temporal relativo definido por el usuario. Las señales se difunden para crear regiones iluminadas uniformes.
4. Adquisición de Datos: Las grabaciones se realizaron utilizando una cámara de teléfono inteligente Huawei P30 Pro (60 fps, resolución 2336×1080) en una habitación oscura. El dispositivo generó señales con retrasos conocidos, que fueron grabadas y analizadas.

Resultados Clave

• Precisión: Para las grabaciones probadas, el método estima retrasos relativos entre regiones del sensor de imagen con una precisión mejor que 50 µs. En pruebas específicas con 104 cuadros de imagen (duración aproximada de 167 s), la precisión absoluta fue de aproximadamente 30 µs.
• Dependencia del Error: La incertidumbre de medición disminuye a medida que aumenta la duración de la grabación. Para un retraso de 1,05 ms, la desviación estándar de la estimación disminuyó de 279 µs (duración de 5 s) a 26 µs (duración de 167 s).
• Caracterización del Sensor: La técnica caracterizó con éxito la lectura de obturador rodante de la cámara del teléfono inteligente. Al analizar una región de 200×200 píxeles, los autores observaron un aumento lineal en el retraso temporal a través de las filas de la imagen. El cambio promedio de desplazamiento temporal entre filas adyacentes fue de 6,58 µs, consistente con un tiempo de lectura de fila plausible. Se encontró que la desviación estándar de los errores de retraso temporal relativo entre píxeles adyacentes era menor que 10 µs.
• Robustez: El método se probó con diferentes retrasos temporales (1,05 ms, 2,05 ms, 10,05 ms) y diferentes cámaras (iPhone X a 30 fps), obteniendo resultados consistentes, aunque el iPhone X produjo errores ligeramente mayores debido a un sensor más ruidoso y una tasa de cuadros más baja.

Significado y Afirmaciones
El artículo afirma que esta técnica proporciona una solución viable y de bajo costo para medir desplazamientos temporales subcuadro en secuencias de video digital.

• Ciencia Auroral: La precisión demostrada (<50 µs) es suficiente para estudiar efectos de transporte de electrones en auroras dinámicas, donde se esperan retrasos relativos entre emisiones rápidas de diferentes altitudes de varios milisegundos. El método permite medir estos retrasos dentro de 100 µs para eventos que duran menos de 20 segundos, siempre que la emisión tenga un ancho de banda temporal suficiente (aproximadamente 10 Hz).
• Calibración de Cámaras: La técnica puede caracterizar diferencias de temporización subcuadro a través de un sensor de imagen (por ejemplo, efectos de obturador rodante) y puede utilizarse para la calibración temporal intercámara e intersensor cuando las cámaras están sincronizadas a un reloj compartido.
• Aplicabilidad General: Aunque desarrollada para la imagen auroral, los autores señalan que la técnica tiene aplicaciones más amplias en cualquier campo que requiera la medición de señales ópticas que varían en el tiempo o la calibración de temporización de cámaras.

Los autores mantienen un tono modesto con respecto a las implicaciones futuras, señalando que la aplicación a auroras dinámicas y al transporte de electrones dependiente del tiempo es un tema para trabajo futuro, y que los valores de precisión específicos dependen de la cámara, el algoritmo de compresión y la configuración utilizados. No afirman que el método elimine la necesidad de relojes compartidos en configuraciones multicámara, sino que proporciona una forma de caracterizar y corregir los desplazamientos de temporización subcuadro cuando dicha sincronización existe.