Estimating sub-frame time differences in camera image sequences

Ce papier présente et valide une technique cross-spectrale capable d'estimer des délais temporels relatifs sous-trame entre des signaux d'intensité optique avec une précision supérieure à 50 microsecondes, une méthode développée pour l'imagerie dynamique des aurores mais applicable à diverses tâches de calibration temporelle de caméras et de mesure de signaux variant dans le temps.

L'essentiel

Imaginez que vous regardez un film sur votre téléphone. Le film n'est pas réellement un flux continu de lumière ; c'est une série rapide d'images fixes (images clés) affichées 60 fois par seconde. Pour vos yeux, cela semble fluide, mais pour un ordinateur, le monde est découpé en minuscules tranches de temps.

Habituellement, si vous voulez savoir exactement quand deux événements se sont produits dans une vidéo, vous ne pouvez être certain qu'ils se sont produits au sein de la même « tranche » (à environ 16 millisecondes d'intervalle). Mais que se passe-t-il si vous devez savoir si un événement s'est produit juste une infime fraction de seconde avant l'autre, même s'ils apparaissent tous les deux dans la même image ?

C'est le problème que résout l'article. Les auteurs, des chercheurs de l'Université de Tromsø, ont inventé un « super-sens » mathématique qui permet à une caméra de percevoir des différences de temps bien inférieures à la durée nécessaire pour prendre une seule photo.

Le Problème : Le Ciel « Scintillant »

Les chercheurs pensaient à l'origine aux Aurores Boréales. Parfois, les lumières du ciel scintillent ou changent de forme très rapidement. Les scientifiques croient que ces changements se produisent parce que des électrons à haute vitesse tombent de l'espace, frappant différentes couches de l'atmosphère à des moments légèrement différents.

Si vous avez deux caméras observant le ciel, ou même une seule caméra regardant deux parties différentes du ciel, vous pourriez voir un « scintillement » à un endroit, puis un « scintillement » à un autre endroit quelques millisecondes plus tard. Les caméras standard sont trop lentes pour capturer ce minuscule intervalle ; elles ne voient qu'un grand flou. Les chercheurs voulaient un moyen de mesurer cet intervalle minuscule sans avoir besoin de caméras militaires ultra-rapides et coûteuses.

La Solution : L'« Oreille » « Cross-Spectrale »

Au lieu d'essayer de prendre une photo plus vite, les auteurs ont utilisé une astuce ingénieuse basée sur les ondes sonores et la musique.

Imaginez que les variations de luminosité de l'aurore (ou d'une lumière clignotante) sont comme une chanson. Même si la chanson joue, elle a un rythme et une pulsation.

1. Le Montage : Ils ont construit un dispositif simple avec deux lumières LED. L'une clignotait de manière aléatoire, et l'autre clignotait selon le même motif exact, mais avec un délai minuscule et connu (comme un batteur frappant une caisse claire une fraction de seconde après la charleston).
2. L'Enregistrement : Ils ont filmé cela avec un smartphone standard.
3. La Magie : Ils n'ont pas regardé la vidéo image par image. Au lieu de cela, ils ont pris la « chanson » de la luminosité de la première lumière et la « chanson » de la deuxième lumière et les ont comparées mathématiquement. C'est ce qu'on appelle un cross-spectre.

L'Analogie : Imaginez deux personnes qui applaudissent. Si elles applaudissent exactement en même temps, leurs sons correspondent parfaitement. Si l'une applaudit un tout petit peu plus tard, son son est légèrement désynchronisé. En écoutant le motif des applaudissements sur une longue période, vous pouvez calculer exactement de combien de microsecondes une personne est en retard par rapport à l'autre, même si vous ne pouvez pas entendre clairement les applaudissements individuels.

Les mathématiques fonctionnent de la même manière avec la lumière. En analysant le « rythme » des changements de lumière à travers de nombreuses images, ils ont pu calculer la différence de temps entre deux points de l'écran avec une précision incroyable.

Les Résultats : Voir l'Invisible

Ils ont testé cette méthode et ont constaté :

• Une Précision Extrême : Ils pouvaient mesurer des différences de temps aussi petites que 50 microsecondes (soit 0,00005 seconde). Pour mettre cela en perspective, une image vidéo standard dure environ 16 000 microsecondes. Ils mesurent des intervalles 300 fois plus petits qu'une seule image.
• L'Effet « Obturateur Déroulant » : Ils ont également utilisé cela pour examiner la caméra elle-même. La plupart des caméras de smartphones ne prennent pas une photo de toute la scène en une fois ; elles la balayent de haut en bas (comme un volet roulant de garage). Cela signifie que le haut de la photo est pris un tout petit peu avant le bas. Les chercheurs ont utilisé leur méthode pour cartographier exactement combien de temps s'écoule pendant que la caméra « balaye » l'écran, prouvant ainsi qu'ils pouvaient voir les particularités de synchronisation internes de la caméra.

Pourquoi Cela Compte (Selon l'Article)

L'article affirme que cette technique est un changement de donne pour :

1. L'Étude de l'Aurore : Elle permet aux scientifiques de mesurer les minuscules retards dans les aurores boréales causés par les électrons traversant l'atmosphère, ce qui était auparavant impossible avec la vidéo standard.
2. L'Étalonnage des Caméras : Elle peut être utilisée pour vérifier si différentes caméras sont parfaitement synchronisées ou pour mesurer la synchronisation interne du capteur d'une seule caméra.

Les auteurs soulignent que cela fonctionne avec du matériel bon marché et quotidien (comme un smartphone et un simple microcontrôleur Arduino) et ne nécessite pas de matériel coûteux. Ils ont prouvé avec succès qu'en observant le motif des changements de lumière plutôt que simplement les images elles-mêmes, nous pouvons « entendre » le temps passer en fractions de milliseconde.

Résumé technique

Résumé technique : Estimation des différences de temps sous-image dans les séquences d'images caméra

Énoncé du problème
Les mesures optiques de phénomènes dynamiques, tels que les émissions aurorales, nécessitent souvent une précision de synchronisation relative nettement supérieure à la période d'image de la caméra. Des calculs récents sur le transport des électrons suggèrent que les émissions aurorales rapides peuvent présenter des décalages temporels de l'ordre de la milliseconde en raison des vitesses finies des électrons et des effets de dégradation de l'énergie. La résolution de ces décalages exige une synchronisation meilleure que 1 ms, et idéalement meilleure que 100 µs. Les méthodes de synchronisation traditionnelles utilisant des signaux GPS d'impulsion par seconde atteignent généralement des précisions d'environ 5 ms, ce qui est insuffisant pour les observations multi-longueurs d'onde à haute vitesse d'aurorales dynamiques (par exemple, l'aurora clignotante, les vrilles aurorales). De plus, l'imagerie à haute vitesse existante repose souvent sur des observations par un seul instrument, évitant ainsi la complexité de la synchronisation inter-caméras, mais cela limite la capacité à comparer simultanément différentes longueurs d'onde d'émission.

Méthodologie
Les auteurs proposent une technique cross-spectrale pour estimer les retards temporels relatifs ($\tau$) entre deux signaux d'intensité optique variant dans le temps, $I_1(t)$ et $I_2(t)$, où $I_2(t) = \gamma I_1(t - \tau)$. La méthode est analogue à l'interférométrie géodésique à très longue base utilisée en radioastronomie.

1. Fondement théorique : La relation entre le retard temporel et le déphasage dans le domaine fréquentiel est linéaire ($\phi_{12}(\omega) = \omega\tau$). En calculant le spectre croisé de deux signaux, la phase du spectre croisé moyen fournit des informations sur le retard temporel relatif.
2. Processus d'estimation :
   • Des Transformées de Fourier Discrètes (DFT) sont appliquées aux séries temporelles d'intensité des pixels.
   • La phase du spectre croisé est calculée sur plusieurs composantes fréquentielles.
   • Un modèle de moindres carrés linéaires (estimation de vraisemblance maximale) est ajusté aux données de phase pour résoudre $\tau$.
   • Un déroulement de phase est appliqué si le retard est suffisamment grand pour provoquer un enroulement de phase, à condition que les erreurs de mesure soient faibles ($\sigma \ll \pi$).
3. Configuration de validation : Pour valider la technique, les auteurs ont construit un dispositif d'étalonnage utilisant un microcontrôleur Arduino UNO pour piloter deux DEL. Les DEL émettent une lumière pulsée de manière pseudo-aléatoire avec un décalage temporel relatif défini par l'utilisateur. Les signaux sont diffusés pour créer des zones éclairées uniformes.
4. Acquisition de données : Des enregistrements ont été réalisés à l'aide d'un appareil photo de smartphone Huawei P30 Pro (60 ips, résolution 2336×1080) dans une pièce sombre. Le dispositif a généré des signaux avec des retards connus, qui ont été enregistrés et analysés.

Résultats clés

• Précision : Pour les enregistrements testés, la méthode estime les retards relatifs entre les régions du capteur d'image avec une précision meilleure que 50 µs. Dans des tests spécifiques avec 104 images (durée d'environ 167 s), la précision absolue était d'environ 30 µs.
• Dépendance de l'erreur : L'incertitude de mesure diminue à mesure que la durée d'enregistrement augmente. Pour un retard de 1,05 ms, l'écart-type de l'estimation est passé de 279 µs (durée de 5 s) à 26 µs (durée de 167 s).
• Caractérisation du capteur : La technique a caractérisé avec succès la lecture à obturation roulante de l'appareil photo du smartphone. En analysant une région de 200×200 pixels, les auteurs ont observé une augmentation linéaire du retard temporel à travers les lignes de l'image. La variation moyenne du décalage temporel entre les lignes adjacentes était de 6,58 µs, cohérente avec un temps de lecture de ligne plausible. L'écart-type des erreurs de retard temporel relatif entre les pixels adjacents s'est révélé inférieur à 10 µs.
• Robustesse : La méthode a été testée avec différents retards temporels (1,05 ms, 2,05 ms, 10,05 ms) et différents appareils photo (iPhone X à 30 ips), donnant des résultats cohérents, bien que l'iPhone X ait produit des erreurs légèrement plus grandes en raison d'un capteur plus bruyant et d'une fréquence d'images plus faible.

Signification et affirmations
L'article affirme que cette technique offre une solution réalisable et peu coûteuse pour mesurer les décalages temporels sous-image dans les séquences vidéo numériques.

• Science aurorale : La précision démontrée (<50 µs) est suffisante pour étudier les effets de transport des électrons dans les aurorales dynamiques, où les retards relatifs entre les émissions rapides provenant de différentes altitudes sont attendus à plusieurs millisecondes. La méthode permet de mesurer ces retards avec une précision de 100 µs pour des événements d'une durée inférieure à 20 secondes, à condition que l'émission possède une bande passante temporelle suffisante (environ 10 Hz).
• Étalonnage des caméras : La technique peut caractériser les différences de synchronisation sous-image à travers un capteur d'image (par exemple, les effets d'obturation roulante) et peut être utilisée pour l'étalonnage temporel inter-caméras et inter-capteurs lorsque les caméras sont synchronisées sur une horloge partagée.
• Applicabilité générale : Bien que développée pour l'imagerie aurorale, les auteurs notent que la technique a des applications plus larges dans tout domaine nécessitant la mesure de signaux optiques variant dans le temps ou l'étalonnage de la synchronisation des caméras.

Les auteurs maintiennent un ton modeste concernant les implications futures, notant que l'application aux aurorales dynamiques et au transport dépendant du temps des électrons est un sujet de travail futur, et que les valeurs de précision spécifiques dépendent de la caméra, de l'algorithme de compression et de la configuration utilisés. Ils ne prétendent pas que la méthode élimine le besoin d'horloges partagées dans les configurations multi-caméras, mais plutôt qu'elle fournit un moyen de caractériser et de corriger les décalages de synchronisation sous-image lorsque cette synchronisation existe.