Resumen Técnico: DynGhost

Enunciado del Problema

La imagen fantasma es una técnica computacional que reconstruye información espacial a partir de un detector de un solo píxel (cubo) correlacionando patrones de iluminación estructurada con mediciones de intensidad escalar. Si bien el aprendizaje profundo ha avanzado en la reconstrucción de escenas estáticas, dos limitaciones críticas obstaculizan la aplicación de la imagen fantasma a escenarios dinámicos del mundo real:

1. Falta de Modelado Temporal: Las arquitecturas existentes (incluidas las CNN y los Transformers estáticos como Ghost-GPT) tratan las escenas como puramente estáticas. No logran aprovechar la coherencia temporal entre fotogramas, lo que resulta en artefactos de movimiento severos o en la necesidad de descartar fotogramas en movimiento.
2. Modelado Inexacto del Ruido: Los enfoques actuales de aprendizaje profundo asumen ruido gaussiano aditivo. Esto contradice la realidad física de los detectores cuánticos de fotones individuales (por ejemplo, SNSPDs, SPADs, SiPMs), que operan bajo estadísticas de Poisson y exhiben artefactos específicos como conteos oscuros, pulsaciones posteriores y diafonía. Este desplazamiento de distribución hace que los modelos entrenados con datos gaussianos fallen bajo restricciones de hardware realistas.

Metodología: Arquitectura DynGhost

Los autores proponen DynGhost (Transformador de Imagen Fantasma Dinámica), un marco diseñado para abordar tanto las brechas de modelado temporal como físico.

1. Arquitectura

DynGhost procesa una secuencia de mediciones de cubo $B \in \mathbb{R}^{T \times M}$ para generar fotogramas reconstruidos $\hat{X} \in \mathbb{R}^{T \times H \times W}$.

• Incrustación de Tokens: Las entradas se forman concatenando proyecciones aprendidas de las máscaras de iluminación ($H_i$) y las mediciones de cubo ($b_i$), aumentadas con codificaciones de posición espaciales y temporales aprendidas.
• Bloques de Atención Alternada: La innovación central es una secuencia de $L$ bloques de transformador que alternan entre dos modos:
  • Atención Espacial: Modela patrones informativos dentro de un solo fotograma (complejidad $O(M^2)$).
  • Atención Temporal: Propaga información entre fotogramas para un patrón específico para aprovechar la coherencia del movimiento (complejidad $O(T^2)$).
• Salida: Una capa de proyección mapea las representaciones finales de los tokens al dominio de la imagen espacial.

2. Objetivo de Entrenamiento

El modelo se optimiza utilizando una función de pérdida compuesta:
$$\mathcal{L} = \mathcal{L}_{MSE} + 0.5 \mathcal{L}_{SSIM} + 0.1 \mathcal{L}_{temp}$$

• $\mathcal{L}_{MSE}$: Error de reconstrucción píxel a píxel.
• $\mathcal{L}_{SSIM}$: Pérdida de similitud estructural perceptual.
• $\mathcal{L}_{temp}$: Una pérdida de consistencia temporal que impone que la diferencia entre fotogramas reconstruidos consecutivos coincida con la diferencia en los fotogramas de referencia, asegurando una propagación suave del movimiento.

3. Marco de Entrenamiento Consciente Cuántico

Para cerrar la brecha entre la simulación y el hardware, los autores introducen un pipeline de simulación de detectores físicamente preciso:

• Simulación de Detectores: La generación de datos de entrenamiento incorpora estadísticas de Poisson para el conteo de fotones, junto con artefactos específicos de hardware (tasa de conteo oscuro, tiempo muerto, pulsaciones posteriores, diafonía) para SNSPDs, SPADs y SiPMs.
• Normalización de Estabilización de Varianza: Reconociendo que el ruido de Poisson es heterocedástico (la varianza escala con la media), los autores aplican la transformada de Anscombe ($f(n) = 2\sqrt{n + 3/8}$) o la transformada de Freeman–Tukey. Estas transformadas convierten los conteos distribuidos según Poisson en variables gaussianas aproximadas de varianza unitaria, alineando la distribución de entrada con los supuestos implícitos de la función de pérdida MSE.

Contribuciones Clave

1. Primer Transformador de Imagen Fantasma Dinámica: DynGhost es la primera arquitectura que explota explícitamente la coherencia del movimiento mediante atención espacio-temporal y pérdidas de consistencia temporal, produciendo predicciones significativamente más suaves para escenas dinámicas.
2. Evaluación de Detectores Cuánticos y Mitigación del Desplazamiento de Distribución: El artículo presenta el primer marco entrenado y evaluado bajo simulaciones reales de detectores cuánticos. Identifica que los modelos entrenados con distribuciones gaussianas sufren desplazamientos de distribución catastróficos en hardware real y resuelve esto mediante un modelado correcto del ruido y estabilización de varianza, logrando una ganancia de +33.4% en SSIM en simulaciones de hardware real.
3. Caracterización del Régimen Operativo: Mediante la comparación de siete estrategias de normalización y varios tipos de detectores, los autores definen el régimen operativo específico donde los modelos cuánticos superan decisivamente a las alternativas clásicas: $\ge$100 fotones/medición, Tasa de Conteo Oscuro (DCR) < 10,000 Hz, y eficiencia > 60%.

Resultados Experimentales

Los experimentos se realizaron en tres puntos de referencia: Moving MNIST, Moving CIFAR-10 y el conjunto de datos Kvasir Endoscopy (video infrarrojo del mundo real).

• Rendimiento vs. Líneas Base: DynGhost supera significativamente a los métodos clásicos (DGI, Inversa Pseudo, FISTA) y a las líneas base contemporáneas de aprendizaje profundo (U-Net, CNN, Ghost-GPT estático).
  • En Moving MNIST, DynGhost logró una reducción del 45% en MSE y una mejora del 16% en SSIM en comparación con Ghost-GPT estático.
  • Opera 130 veces más rápido que los solucionadores iterativos como FISTA.
• Robustez Dinámica: El modelo mantiene una alta fidelidad estructural (SSIM > 0.90) para velocidades de objeto de hasta 10 px/fotograma. El rendimiento decae gradualmente a velocidades extremas (50 px/fotograma) debido al desenfoque de movimiento intra-fotograma, una limitación física y no un fallo algorítmico.
• Robustez al Ruido: DynGhost mantiene una calidad de reconstrucción aceptable (SSIM > 0.5) hasta 15 dB de SNR, superando significativamente a los solucionadores clásicos que fallan catastróficamente a baja SNR.
• Estudios de Ablación:
  • Eliminar los bloques de atención temporal aumentó el MSE en un factor de 2.3, confirmando la coherencia temporal como el principal impulsor del rendimiento.
  • Confiar únicamente en la pérdida MSE causó un colapso severo en el SSIM (de 0.917 a 0.670), destacando la necesidad de pérdidas perceptuales y temporales.
• Impacto de la Normalización: Las transformaciones de estabilización de varianza (Anscombe, Freeman–Tukey) superaron drásticamente a la normalización estándar (Min-max, Z-score) en datos de fotones individuales, mejorando el SSIM de ~0.73 a ~0.84 en simulaciones de SNSPD.

Significado y Afirmaciones

El artículo afirma que DynGhost proporciona una plantilla robusta y fundamentada para desplegar imagen fantasma de alta velocidad en entornos del mundo real con escasez de fotones. Su importancia radica en:

1. Resolver el Cuello de Botella Dinámico: Al tratar la coherencia temporal como un prior implícito de reconstrucción, hace que la imagen fantasma dinámica sea resoluble sin descartar fotogramas en movimiento.
2. Cerrar la Brecha Física: Demuestra que ignorar la naturaleza de Poisson de los detectores de fotones individuales conduce a un rendimiento subóptimo, y que las transformaciones de estabilización de varianza son esenciales para alinear los modelos de aprendizaje profundo con las restricciones del hardware físico.
3. Definir Requisitos de Hardware: El trabajo aclara que la eficiencia del detector es menos crítica que la Tasa de Conteo Oscuro (DCR) para la calidad de reconstrucción, proporcionando umbrales específicos para un despliegue efectivo.

Limitaciones Reconocidas:
Los autores señalan que la evaluación depende en gran medida de conjuntos de datos sintéticos (Moving MNIST/CIFAR), que podrían no capturar completamente la complejidad del mundo real. La escalado cuadrático de la atención temporal limita el modelo a secuencias cortas ($T=8$), y la normalización está calibrada para un flujo de fotones fijo, lo que podría degradarse bajo iluminación variable. La validación en hardware físico en tiempo real sigue siendo un paso pendiente.