💻 computer science

Material-Segmented Per-Pixel Emissivity Correction for Thermographic Anomaly Detection in Cultural Heritage Digital Twins

Este artículo presenta un proceso libre de entrenamiento que corrige los artefactos de temperatura termográfica en gemelos digitales del patrimonio cultural mediante la derivación de la emisividad por píxel a partir de la segmentación RGB de vocabulario abierto, revelando que, si bien el método mejora significativamente la precisión para anomalías de baja emisividad, su impacto en las superficies típicas del patrimonio meteorizadas es limitado debido a su emisividad naturalmente alta y uniforme.

Autores originales: Jonathan Klingspon, Scott McAvoy, Maurizio Seracini, Falko Kuester

Publicado 2026-08-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jonathan Klingspon, Scott McAvoy, Maurizio Seracini, Falko Kuester

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio usando un par especial de "gafas térmicas". Estas gafas no muestran colores como una cámara normal; en su lugar, te muestran qué tan caliente o frío está todo. Esto es la termografía, y se usa para encontrar grietas ocultas en estatuas antiguas, detectar humedad dentro de las paredes o incluso ver qué está sucediendo bajo la superficie de una pintura sin tocarla. Pero aquí está la parte complicada: estas gafas no miden la temperatura directamente. Miden la radiancia: cuánta luz infrarroja rebota o sale de un objeto.

Para convertir esa luz en un número de temperatura, el detective tiene que hacer una suposición sobre algo llamado "emisividad". Piensa en la emisividad como un "factor de brillo". Una cuchara de metal pulido y brillante tiene un factor de brillo bajo; refleja el calor de la habitación a su alrededor como un espejo. Un trozo de ladrillo viejo y rugoso tiene un factor de brillo alto; brilla con su propio calor y no refleja mucho. Si tus gafas térmicas asumen que todo es un "ladrillo de alto brillo" (que es la configuración estándar), pero en realidad estás mirando una estatua de metal brillante, las gafas se confundirán. Pensarán que la estatua está congelada porque está reflejando el cielo frío, cuando en realidad podría estar caliente. Esta confusión crea falsos "puntos fríos" que parecen daños pero no lo son, o esconde daños reales que sí están ahí. La gran pregunta para los científicos es: ¿cómo arreglamos estas gafas para que sepan exactamente qué material están mirando, para que puedan distinguir la temperatura real de la reflexión falsa?

Este artículo presenta una nueva y astuta forma de arreglar esas gafas térmicas, específicamente para observar sitios de patrimonio cultural antiguos y preciosos, como museos y monumentos antiguos. Los investigadores, liderados por Jonathan Klingspon y su equipo, se dieron cuenta de que, mientras la cámara térmica está confundida, una cámara de color normal (como la de tu teléfono) no lo está. Una cámara normal puede distinguir fácilmente entre una estatua de mármol, una ventana de vidrio y una puerta de bronce. El equipo construyó un "flujo de trabajo mágico" que utiliza un programa informático inteligente (llamado SAM 3.1) para observar la foto de color normal, identificar cada material en la imagen y luego asignar un "factor de brillo" específico a cada uno basado en un enorme libro de referencia de propiedades de materiales.

En lugar de suponer que toda la imagen es un solo tipo de material, su método crea un mapa personalizado donde cada píxel sabe exactamente de qué está hecho. Luego, introducen este mapa en las matemáticas de la cámara térmica para calcular la temperatura real. Para probar si esto funciona, no pudieron usar sitios históricos reales porque nadie tiene una temperatura de "verdad perfecta" para esas piedras antiguas. Así que construyeron una simulación informática súper precisa—un gemelo digital de una escena donde conocían la temperatura y los materiales exactos. En estas simulaciones, cuando la escena tenía una gran mezcla de materiales (como metal brillante junto a piedra rugosa) y una gran diferencia de temperatura (20 K), su nuevo método redujo el error de casi 2 grados a menos de 1 grado (específicamente de 1.97 K a 0.91 K). Fue mucho mejor que usar simplemente un número de "mejor suposición" para toda la imagen.

Sin embargo, este artículo también ofrece un choque de realidad muy importante. El equipo probó esto en sitios de patrimonio del mundo real, como la famosa Loggia dei Lanzi en Florencia con sus estatuas de bronce. Descubrieron que, si bien el método funciona de maravilla en teoría y en simulaciones con materiales complicados, el mundo real suele ser menos dramático. La mayoría de las superficies exteriores antiguas y desgastadas por la intemperie son en realidad cobertas de suciedad, pátina y vejez, lo que hace que actúen como "ladrillos de alto brillo" de todos modos. En estas superficies típicas, la corrección es mínima, a menudo menos de 0.1 K, porque la suposición estándar ya era bastante cercana. El método solo marca una gran diferencia cuando hay excepciones genuinas de "bajo brillo", como una superficie de metal verdaderamente pulida o una ventana de vidrio, y solo cuando hay una fuerte diferencia de temperatura para empezar.

Los investigadores también descubrieron algunas "zonas de peligro" donde no se debería usar este método. Si la escena tiene la misma temperatura (como una habitación cálida sin corrientes de aire), las matemáticas fallan, y la corrección se vuelve inútil o incluso perjudicial. Además, si la computadora identifica erróneamente un material—pensando que un trozo de madera es metal porque se ven similares en la foto—el cálculo de la temperatura puede desviarse drásticamente, especialmente para materiales brillantes. Demostraron que para que esto funcione, la cámara de color y la cámara térmica deben estar perfectamente alineadas, y la lista de materiales debe ser muy precisa.

Al final, este artículo no pretende haber resuelto todos los misterios de la temperatura. En cambio, proporciona un "manual de instrucciones" detallado sobre cuándo funciona este truco y cuándo no. Demuestra que usar una cámara de color para guiar a la cámara térmica es una herramienta poderosa, pero no es una varita mágica que lo arregla todo. Es un escalpelo especializado que hace maravillas en problemas específicos y complicados (como encontrar grietas ocultas en una mezcla de bronce y mármol), pero ofrece poca ayuda en un muro de piedra uniforme y desgastado por el tiempo. Los autores sugieren que, para los conservadores, el mejor enfoque es usar este método para crear dos mapas separados: uno que muestre la temperatura corregida y otro que muestre el mapa de materiales, para que puedan ver tanto el calor como el "factor de brillo" uno al lado del otro, asegurándose de no pasar por alto un problema real o ser engañados por uno falso.

Resumen Técnico: Corrección de Emisividad por Píxel Segmentada por Material para la Detección de Anomalías Térmicas en Gemelos Digitales de Patrimonio Cultural

Planteamiento del Problema
La termografía cuantitativa en el infrarrojo de onda larga (LWIR) depende de la ley inversa de Planck para recuperar la temperatura del objeto a partir de la radiancia detectada por el sensor. Este proceso requiere el conocimiento de la emisividad de la superficie ( $\varepsilon$ ) y de la temperatura aparente reflejada. En la práctica, los operadores aplican universalmente un valor de emisividad constante global único (típicamente 0.95) a toda una imagen. Esta suposición falla en superficies heterogéneas comunes en el patrimonio cultural, donde coexisten materiales como mármol, bronce patinado, vidrio y metal desnudo con emisividades que van desde <0.1 hasta >0.98. Bajo la suposición de una constante global, los materiales cuyas emisividades se desvían del valor asumido reciben temperaturas sesgadas. Estos sesgos se manifiestan como discontinuidades espaciales alineadas con los límites de los materiales en lugar de características térmicas, creando artefactos que imitan o enmascaran anomalías subsuperficiales genuinas como delaminaciones, humedad y huecos. El problema es subdeterminado para imagers de banda única, ya que una sola medición de radiancia no puede resolver simultáneamente la temperatura y la emisividad sin restricciones adicionales.

Metodología
Los autores proponen un flujo de trabajo libre de entrenamiento que resuelve este problema subdeterminado aprovechando una cámara RGB colocada y co-calibrada para suministrar la restricción de identidad de material faltante. El flujo de trabajo consta de cuatro etapas:

Segmentación de Vocabulario Abierto: El método aplica SAM 3.1 (Segment Anything Model 3.1) a la imagen RGB utilizando prompts de texto libre (p. ej., "estatua de bronce", "escultura de mármol"). Esto genera máscaras de instancia sin requerir datos de entrenamiento específicos para la tarea.
Mapeo de Emisividad: Los segmentos de material resultantes se mapean a una tabla de consulta de emisividad LWIR curada. Esta tabla se ha compilado a partir de literatura de mediciones primarias y consenso técnico, diseñada específicamente para materiales de patrimonio exteriores meteorizados (p. ej., asignando ~0.88 a bronce patinado y ~0.96 a mármol de Carrara meteorizado, en lugar de valores de metal pulido).
Registro: El mapa de emisividad por píxel derivado del cuadro RGB se transfiere a la rejilla térmica. Para sensores rígidamente colocados (p. ej., FLIR T1020), se utiliza una homografía inducida por plano, que tiene en cuenta el paralaje dependiente de la profundidad. Para configuraciones no rígidas (p. ej., FLIR One Pro), se aplica una homografía global.
Recuperación de la Ley Inversa de Planck: El campo de emisividad por píxel se propaga en una resolución de la ley inversa de Planck de número digital (DN) bruto; el modelo radiométrico incluye la transmisión atmosférica, la radiación reflejada y la transmisión de la ventana IR (crítica para el FLIR One Pro), resolviendo la temperatura del objeto en cada píxel.

Contribuciones Clave

Flujo de Trabajo Libre de Entrenamiento: Implementación de un flujo de trabajo completo de extremo a extremo que combina segmentación de vocabulario abierto, una tabla de consulta de emisividad de materiales curada e inversión radiométrica bruta, demostrado in situ en la Loggia dei Lanzi.
Benchmark Sintético Basado en la Física: Construcción de un benchmark sintético exactamente invertible utilizando disposiciones de materiales reales y constantes de calibración del sensor. Esto permite medir la mejora de la precisión frente a una verdad de terreno conocida, abordando la falta de conjuntos de datos públicos que contengan radiometría bruta, referencias de temperatura independientes y datos RGB colocados.
Mapa de Régimen Operativo Cuantificado: Caracterización de las condiciones específicas bajo las cuales la corrección es beneficiosa, inerte o perjudicial. El mapa define las compensaciones entre el contraste térmico de la escena, la diversidad de emisividad, la precisión de la tabla de consulta y la precisión del registro.
Auditoría de Patrimonio Respaldada por Mediciones: Un hallazgo de que las superficies de patrimonio exteriores meteorizadas (bronce, mármol, yeso, madera) se agrupan cerca de la emisividad por defecto de 0.95. Consecuentemente, la magnitud de la corrección es pequeña en superficies típicas y se concentra solo en excepciones de baja emisividad genuinas.

Resultados

Benchmark Sintético: En una paleta diversa que incluye materiales de baja emisividad con un contraste térmico de 20 K, el método redujo el error absoluto medio (MAE) de 1.97 K (línea de base de constante global, B0) a 0.91 K, acercándose al rendimiento del oráculo (0.90 K). La mejora fue significativa (+1.06 K) en comparación con la línea de base B0 y (+0.87 K) en comparación con el mejor escalar global ajustado (B1) a 20 K de contraste con una tabla precisa. Sin embargo, a 10 K de contraste, la mejora sobre B1 fue de solo +0.17 K, lo cual no fue estadísticamente significativo. Además, cuando el error de la tabla de consulta aumentó a 0.05, el margen sobre B1 cayó a +0.14 K con un intervalo de confianza del 95% de [−0.40, 0.69], indicando que la separación de la línea de base no es estadísticamente distinguible de cero. En una paleta realista de patrimonio (emisividades 0.88–0.95), el método no superó a una constante global bien elegida.
Análisis de Sensibilidad: La eficacia del método es altamente sensible a la precisión de la tabla y al registro. A 20 K de contraste, un error de la tabla de consulta de 0.05 redujo el margen de mejora, mientras que un error de 0.10 resultó en un daño neto. Los errores de registro que exceden los ~8 píxeles térmicos erosionaron el beneficio.
Despliegue en el Mundo Real:
- Loggia dei Lanzi: La corrección fue pequeña (percentil 95 ~0.1 K) y se concentró en la estatua de bronce de Perseo (corrección ~0.7 K). La arquitectura circundante de alta emisividad permaneció mayormente inalterada. Los autores señalan que la corrección del bronce es estadísticamente débil debido a las incertidumbres en la temperatura reflejada y la emisividad del material.
- Dataset del Púlpito (Casi Isotérmico): Confirmó el "régimen nulo", donde la corrección fue insignificante (0.033 K) y potencialmente perjudicial bajo ruido debido a la falta de contraste térmico.
- ULB17-VT (Alto Contraste): Mostró que la magnitud de la corrección se correlaciona con la desviación de la emisividad del material respecto al valor por defecto. Sin embargo, los errores de segmentación (p. ej., etiquetar erróneamente madera meteorizada como metal desnudo) provocaron correcciones espurias de gran magnitud amplificadas por la sensibilidad $1/\varepsilon$ .

Significación y Reivindicaciones
El artículo reclama una contribución limitada en lugar de una solución universal. La principal significación reside en el mapo de régimen operativo cuantificado, que convierte la intuición del profesional en una especificación de cuándo vale la pena adquirir el canal RGB adicional. Los autores afirman que:

El método mejora la precisión de la recuperación solo cuando la escena tiene suficiente contraste térmico, contiene materiales con emisividades que se desvían significativamente de la por defecto, y está bien registrado y calibrado.
Fuera de este régimen (p. ej., escenas casi isotérmicas o superficies con emisividad alta uniforme), la corrección es, en el mejor de los casos, inerte y puede introducir errores inducidos por el ruido.
Las superficies de patrimonio meteorizadas son predominantemente de alta emisividad, lo que significa que la corrección es modesta en escenarios de conservación típicos y apunta principalmente a las excepciones de baja emisividad.
El método no es una solución de "caja negra"; requiere un manejo cuidadoso de los fallos de segmentación (que coinciden con la apariencia en lugar del material) y la propagación de la incertidumbre, particularmente para materiales de baja emisividad donde la amplificación $1/\varepsilon$ hace que los errores sean significativos.

Los autores concluyen que, si bien el flujo de trabajo demuestra la viabilidad de la corrección de emisividad por píxel en gemelos digitales de patrimonio, el camino inmediato hacia una afirmación de precisión absoluta cerrada requiere una captura de laboratorio basada en estándares con verdad de terreno por contacto.

Resumen Técnico: Corrección de Emisividad por Píxel Segmentada por Material para la Detección de Anomalías Térmicas en Gemelos Digitales de Patrimonio Cultural

Más como este