Loggia dei Lanzi: AI Thermography Enhancement Comparisons through 3D Photogrammetry

Resumen Técnico: Loggia dei Lanzi: Comparaciones de Mejora de Termografía por IA mediante Fotogrametría 3D

Planteamiento del Problema
La termografía infrarroja (IRT) es una técnica crítica de ensayos no destructivos para la documentación del patrimonio cultural, capaz de revelar características subsuperficiales como aberturas tapiadas y transiciones de materiales. Sin embargo, los sensores térmicos suelen sufrir de una menor resolución espacial y un contraste reducido en comparación con los sensores de luz visible, lo que complica la generación de modelos 3D precisos mediante Structure-from-Motion (SfM). Aunque han surgido técnicas de superresolución (SR) basadas en hardware, como el UltraMax de FLIR, y modelos de SR computacionales basados en IA para abordar esta brecha de resolución, su eficacia en la termografía del patrimonio permanece mayormente sin verificar. Específicamente, existe una falta de estudios independientes revisados por pares que comparen el microescaneo por hardware frente a la SR derivada de IA, y no hay investigaciones previas que hayan evaluado si las imágenes térmicas escaladas mediante IA producen reconstrucciones fotogramétricas 3D significativamente mejoradas para la documentación del patrimonio.

Metodología
Los autores realizaron una campaña de imágenes térmicas en diciembre de 2025 en la Loggia dei Lanzi en Florencia, Italia, utilizando una cámara FLIR T1020 HD. El estudio se centró en la pared posterior y las bóvedas interiores de la logia bajo condiciones invernales para maximizar el contraste térmico.

• Adquisición de Datos: Se capturaron 161 imágenes térmicas en cuatro estaciones. Para acomodar el requisito de microtremores del UltraMax manteniendo la estabilidad de la estación, el cabezal del trípode se aflojó deliberadamente para permitir un desplazamiento subpíxel controlado.
• Niveles de Resolución: Se generaron y compararon seis niveles de resolución distintos:
  1. Nativa: 1024 × 768 (datos radiométricos de 16 bits).
  2. UltraMax: 2048 × 1536 (microescaneo de múltiples fotogramas por hardware).
  3. Bicúbica: 2048 × 1536 (control de interpolación estándar).
  4. SwinIR: 2048 × 1536 (modelo de transformador agnóstico al dominio).
  5. DifIISR: 4096 × 3072 (modelo de difusión optimizado para la calidad perceptual).
  6. TongJi-SR/DRCT: 8192 × 6144 (arquitectura DRCT ganadora de desafíos, ajustada con datos térmicos).
• Preservación Radiométrica: Una decisión metodológica crítica fue preservar la profundidad radiométrica de 16 bits a lo largo de todo el proceso. Los modelos de IA, que típicamente requieren una entrada de 8 bits, se aplicaron mediante un proceso de normalización/reescalado para evitar la pérdida de los datos de temperatura calibrados, esenciales para el análisis subsuperficial.
• Evaluación Fotogramétrica: Todos los niveles fueron procesados a través de un flujo de trabajo SfM idéntico (Agisoft Metashape) utilizando una red de cámaras fija derivada de escaneos LiDAR independientes. Para asegurar una comparación justa, el estudio utilizó un subconjunto común de 149 imágenes que se alinearon exitosamente en todos los niveles.
• Métricas: La evaluación se centró en la densidad de puntos de amarre (tie-points), la incertidumbre de la reconstrucción (una relación de triangulación adimensional), el error de reproyección (normalizado a milímetros físicos mediante la Distancia de Muestra de Suelo o GSD) y la confianza de la nube de puntos densa.

Resultos Clave
El estudio cuantificó el impacto de la mejora de la resolución en la precisión geométrica y la consistencia de las características:

• Precisión Geométrica: Las imágenes de resolución nativa produjeron la reconstrucción más precisa geométricamente (error de reproyección normalizado de 16.2 mm). Entre los niveles mejorados, el UltraMax basado en hardware fue el que mejor se desempeñó (18.7 mm), seguido de cerca por Bicúbica y SwinIR. Los modelos de IA agresivos (DifIISR y TongJi) exhibieron errores significativamente mayores (26.2 mm y 22.1 mm, respectivamente) cuando se normalizaron a unidades físicas.
• Calidad de los Puntos de Amarre: Aunque SwinIR generó el mayor número de puntos de amarre (23,230), un análisis por punto de la incertidumbre de la reconstrucción reveló que casi un tercio de estos puntos estaban mal restringidos (incertidumbre > 100). En contraste, la nube nativa no tenía prácticamente ningún punto mal triangulado. UltraMax fue el único método mejorado en acercarse a la calidad nativa en términos de incertidumbre de reconstrucción (7.8% de puntos de alta incertidumbre frente al 0% de la nativa).
• Consistencia entre Vistas: Las imágenes nativas y UltraMax demostraron la mayor consistencia, con un 45.5% y 42.7% de los puntos observados en tres o más imágenes, respectivamente. Los modelos de IA agresivos mostraron una menor consistencia, indicando que sus detalles generados a menudo fallaban al triangularse consistentemente a través de diferentes puntos de vista.
• Reconstrucción Densa: Las nubes de puntos densas revelaron un modo de fallo cualitativo en los modelos de IA agresivos. Aunque produjeron altas cantidades de puntos, estos se concentraron casi exclusivamente en los bordes estructurales de alto contraste (por ejemplo, nervaduras de bóveda, intradós de arcos) en lugar de distribuirse por la superficie continua. Este "colapso de bordes" dejó las superficies lisas, donde las características subsuperficiales son más relevantes, mayormente sin reconstruir. Por el contrario, las reconstrucciones nativa y UltraMax mantuvieron la completitud de la superficie e incluso la distribución de puntos.

Contribuciones Clave

1. Primera Evaluación Independiente de UltraMax: El artículo proporciona la primera cuantificación independiente y revisada por pares del microescaneo de hardware UltraMax de FLIR, encontrando que produce una nube dispersa con características de calidad que se aproximan a la resolución nativa, aunque con solo mejoras marginales en el rendimiento de puntos de amarre sobre la interpolación simple en este contexto de campo específico.
2. SR de IA en la Fotogrametría Térmica SfM: El estudio establece que los modelos actuales de superresolución por IA de última generación, cuando se aplican a la documentación térmica del patrimonio, no mejoran la calidad de la reconstrucción fotogramétrica. En su lugar, degradan la fidelidad geométrica e introducen detalles inconsistentes y "alucinados" que fallan en la verificación multivista.
3. Integridad Radiométrica vs. Nitidez Perceptual: Los autores demuestran que convertir los datos radiométricos de 16 bits a 8 bits para el procesamiento de IA, o depender de modelos generativos que priorizan la fidelidad perceptual, resulta en una pérdida de datos físicos medibles sin beneficio analítico para la documentación cuantitativa del patrimonio.
4. Conjunto de Datos Abierto: Todos los conjuntos de datos, incluyendo las imágenes radiométricas de 16 bits, las nubes de puntos y los scripts de procesamiento, se ponen a disposición pública para apoyar futuras investigaciones en fotogrametría térmica.

Significado y Reclamaciones
Los autores concluyen que, para la documentación cuantitativa del patrimonio, donde el objetivo es medir las características subsuperficiales en lugar de simplemente representarlas, la integridad radiométrica de la captura nativa es superior a las ganancias de resolución ofrecidas por los modelos actuales de superresolución por IA. El estudio sugiere que el detalle añadido por los modelos de IA está optimizado para la percepción visual humana o redes de detección de objetos, no para representar la realidad térmica de los muros de mampostería. En consecuencia, los autores argumentan que los esfuerzos en la termografía del patrimonio deben dirigirse a optimizar las condiciones de adquisición (por ejemplo, contraste térmico, estabilidad del sensor) en lugar de confiar en la mejora computacional post-hoc. El artículo se posiciona como un referente de precaución, indicando que, si bien la IA puede servir para fines de visualización, actualmente carece de la consistencia geométrica requerida para el modelado térmico 3D métrico del patrimonio cultural.