Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

Este artículo presenta un autoencoder CNN no supervisado con una función de pérdida de distancia angular espectral ponderada (WSAD) para realizar la desmezcla ciega de imágenes hiperespectrales de micro-FTIR en secciones transversales de pinturas al óleo históricas, mejorando la interpretación de materiales complejos como se demuestra en un análisis del Políptico de la Adoración del Cordero Místico de los hermanos Van Eyck.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia de detectives, pero en lugar de resolver un crimen, están tratando de entender la "receta secreta" de una pintura antigua muy famosa: El Retablo de Gante de los hermanos Van Eyck.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🎨 El Problema: La "Sopa de Letras" Química

Imagina que tienes un pastel de cumpleaños muy antiguo y complejo, hecho con muchas capas de diferentes sabores (chocolate, fresa, vainilla, etc.). Ahora, imagina que tomas un trozo de ese pastel, lo aplastas en una sola capa plana y le pides a alguien que diga exactamente qué ingredientes hay en cada puntito de esa capa.

Eso es lo que hacen los científicos con las pinturas antiguas. Usan una máquina especial (llamada ATR-µFTIR) que escanea la pintura punto por punto. En lugar de ver colores, la máquina ve "huellas dactilares" químicas (espectros).

El problema es que:

1. Es una mezcla: En un solo punto de la pintura, a veces hay tres o cuatro cosas mezcladas (pigmento, barniz, suciedad, grasa). Es como si en un solo bocado de pastel tuvieras un poco de chocolate, un poco de fresa y un poco de harina todo junto.
2. Hay "ruido" molesto: La máquina es tan sensible que también "oye" cosas que no son de la pintura, como el aire que respiramos (dióxido de carbono y vapor de agua). Es como intentar escuchar una canción suave en una habitación donde alguien está estornudando y gritando.
3. Es abrumador: La máquina genera miles de datos por cada punto. Leerlos uno por uno a mano es como intentar leer un libro entero de 10.000 páginas para encontrar tres palabras clave. Es lento, aburrido y propenso a errores humanos.

🤖 La Solución: El "Chef Robot" Inteligente

Los autores del artículo (Shivam, Nicolas, Francisco y Aleksandra) crearon un programa de Inteligencia Artificial (una red neuronal llamada FTIR-unmixer) que actúa como un chef robot muy inteligente.

Su trabajo es hacer "desmezcla ciega". Esto significa que el robot mira la "sopa" de datos y trata de separar los ingredientes originales sin que nadie le diga cuáles son.

¿Cómo funciona el robot?

1. Mira en grupos: En lugar de mirar un solo punto aislado, el robot mira pequeños cuadrados de la pintura (como si mirara un vecindario). Esto le ayuda a entender que si un vecino tiene "azul", es probable que el otro vecino también tenga algo de azul, porque los pintores no suelen poner colores al azar.
2. Aprende a ignorar el ruido: Aquí está la gran innovación. El robot tiene un "oído" especial para detectar qué sonidos son música y cuáles son estornudos.

🛡️ La Gran Innovación: El "Filtro de Calidad" (WSAD)

Antes, si el robot intentaba aprender, se confundía con el "ruido" (el CO2 y el agua del aire). Era como intentar aprender a cocinar mientras alguien te tira harina a la cara.

El equipo inventó una nueva regla de aprendizaje llamada WSAD (Distancia Angular Espectral Ponderada).

La analogía del Filtro de Calidad:
Imagina que tienes 1.500 micrófonos apuntando a la pintura. Algunos captan la voz real (los ingredientes de la pintura), pero otros captan el viento o el tráfico (ruido).

• El método antiguo: Trataba a los 1.500 micrófonos por igual. Si uno gritaba fuerte (ruido), el robot pensaba que eso era lo más importante.
• El método nuevo (WSAD): El robot tiene un filtro automático. Antes de escuchar, revisa cada micrófono:
  • ¿Este micrófono suena igual que sus vecinos? Si no (es un pico raro), le baja el volumen.
  • ¿Este micrófono es demasiado plano? Si no dice nada interesante, le baja el volumen.
  • ¿Este micrófono tiene picos extraños? Si parece un error de la máquina, le baja el volumen.

Gracias a este filtro, el robot ignora el "estornudo" del CO2 y se concentra solo en los ingredientes reales de la pintura.

🧪 El Resultado: ¡Descubriendo la Receta!

Probamos este robot en una muestra real del Retablo de Gante.

• Sin el filtro nuevo: El robot veía manchas de "suciedad" (el CO2) mezcladas con los ingredientes reales. La imagen de dónde estaba la grasa metálica (jabones metálicos) se veía un poco borrosa.
• Con el filtro nuevo (WSAD): El robot limpió la imagen.
  • Pudo decir exactamente dónde estaban las proteínas (como la clara de huevo usada en la pintura).
  • Pudo localizar los jabones metálicos (un problema de degradación) con mucha más claridad.
  • Pudo encontrar los oxalatos de calcio (otra capa de la historia de la pintura).
  • Y lo mejor: ¡Ignoró casi por completo el ruido del aire!

🏁 En Resumen

Este artículo nos dice que, gracias a una nueva forma de enseñar a la Inteligencia Artificial a "ignorar lo que no importa", ahora podemos ver la composición química de las pinturas antiguas con mucha más claridad, rapidez y precisión.

Es como pasar de intentar adivinar los ingredientes de un pastel a mano, con los ojos vendados y en una habitación ruidosa, a tener un robot con gafas de visión nocturna y auriculares de cancelación de ruido que te dice exactamente: "Aquí hay chocolate, aquí hay fresa, y aquí... ¡nada, solo aire!".

¡Y todo esto ayuda a los museos a cuidar y restaurar mejor sus tesoros históricos!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Desmezcla de Imágenes Microespectroscópicas Infrarrojas de Secciones Transversales de Pinturas Históricas

1. Planteamiento del Problema

La espectroscopía de imágenes (SI) es fundamental en la ciencia del patrimonio para caracterizar materiales de forma no invasiva. En particular, la microespectroscopía infrarroja por transformada de Fourier en reflexión total atenuada (ATR-µFTIR) se utiliza para analizar secciones transversales de pinturas al óleo históricas. Estas secciones generan imágenes hiperespectrales (HSI) donde cada píxel contiene un espectro completo.

Sin embargo, la interpretación de estos datos presenta desafíos significativos:

• Complejidad de la muestra: Las muestras son heterogéneas, multicapa y a menudo degradadas, lo que hace que los espectros de los píxeles sean mezclas de múltiples especies químicas (endmembers).
• Ruido y Artefactos: Los datos de ATR-µFTIR tienen una alta dimensionalidad (>1500 bandas) y contienen ruido de adquisición y artefactos atmosféricos (ej. absorción de $H_2O$ y $CO_2$) que no provienen de la muestra.
• Limitaciones actuales: La práctica actual depende en gran medida de la comparación manual con bibliotecas de referencia, un proceso lento, subjetivo y difícil de escalar. Además, los algoritmos existentes de desmezcla (como los basados en modelos de mezcla lineal estándar) no están optimizados para las especificidades del ruido y la fiabilidad variable de las bandas en datos de ATR-µFTIR.

2. Metodología Propuesta

Los autores proponen un método de desmezcla ciega basado en un autoencoder convolucional (CNN) llamado FTIR-unmixer, diseñado específicamente para datos ATR-µFTIR.

• Modelo de Mezcla Lineal (LMM) por Parches:

  • Se asume un modelo de mezcla lineal donde el espectro observado es una combinación lineal de espectros de endmembers y sus abundancias.
  • A diferencia de los enfoques píxel a píxel, el método utiliza un enfoque basado en parches (vecindades espaciales) para explotar la regularidad espacial y espectral.
  • Arquitectura:
    • Codificador (Encoder): Dos capas convolucionales que estiman mapas de abundancia. Se utiliza una función de activación leaky-ReLU y Dropout, seguido de un softmax escalado para garantizar las restricciones de no negatividad y suma unitaria de las abundancias.
    • Decodificador (Decoder): Una sola capa lineal convolucional que reconstruye el parche de entrada a partir de las abundancias. Los pesos de esta capa se interpretan como los espectros de los endmembers.

• Contribución Clave: Distancia Angular Espectral Ponderada (WSAD)
  El núcleo de la innovación es una nueva función de pérdida llamada WSAD (Weighted Spectral Angle Distance), que aborda el problema de las bandas no fiables.

  • Mecanismo: En lugar de tratar todas las bandas espectrales por igual, WSAD aplica un vector de pesos ($w$) que reduce el impacto de las bandas ruidosas o contaminadas antes de calcular la distancia angular.
  • Estimación Automática de Pesos: Los pesos se derivan automáticamente de las estadísticas del cubo de datos sin intervención humana, basándose en tres métricas:
    1. Aplanamiento Espacial (Spatial Flatness): Penaliza bandas con varianza espacial inusualmente baja (comunes en efectos atmosféricos homogéneos).
    2. Acuerdo con Vecinos (Neighbour Agreement): Penaliza bandas que muestran baja correlación con sus bandas adyacentes (detecta artefactos aislados).
    3. Rugosidad Espectral (Spectral Roughness): Penaliza la curvatura de alta frecuencia (picos espurios o "spikes") en el espectro mediano, distinguiéndolos de picos químicos reales.

3. Resultados Experimentales

El método se validó utilizando una sección transversal de una pintura del Políptico de Gante (atribuido a los hermanos Van Eyck).

• Configuración: Se utilizaron 20,000 parches de $5 \times 5$píxeles con 1504 bandas espectrales. Se estimó el número de endmembers ($K=10$) mediante un proceso iterativo para evitar submodelado o sobremodelado.
• Comparativa: Se comparó el modelo entrenado con la pérdida estándar SAD (distancia angular espectral) frente al modelo con la nueva pérdida WSAD.
• Hallazgos:
  • Identificación Química: Ambos modelos lograron identificar componentes clave: oxalatos de calcio, proteínas y jabones metálicos.
  • Mejora con WSAD:
    • La distribución de los jabones metálicos mostró una coherencia espacial significativamente mejor con WSAD en comparación con SAD.
    • Supresión de Ruido: Los espectros de los endmembers obtenidos con WSAD eliminaron casi por completo las características de contaminación por $CO_2$ (alrededor de $2350 cm^{-1}$) que aparecían prominentemente en el modelo SAD.
    • La pérdida WSAD logró preservar la estructura química informativa mientras ignoraba las bandas ruidosas, resultando en mapas de abundancia más limpios y espectros de endmembers más interpretables.

4. Contribuciones Principales

1. Primera propuesta automatizada: Es el primer trabajo que propone un método de desmezcla automática específico para datos ATR-µFTIR de secciones transversales de pinturas históricas.
2. Función de Pérdida WSAD: Introducción de una función de pérdida que incorpora pesos de fiabilidad de bandas derivados automáticamente de estadísticas espaciales y espectrales, mejorando la robustez frente a artefactos de adquisición.
3. Modelado Espacial: Aplicación exitosa de un autoencoder CNN basado en parches para capturar la estructura espacial en datos de patrimonio cultural.

5. Significado e Impacto

Este trabajo representa un avance significativo en la ciencia del patrimonio. Al automatizar la identificación de pigmentos y materiales de degradación en muestras complejas y ruidosas, el método reduce la dependencia de la experiencia subjetiva del analista y acelera el proceso de análisis. La capacidad de filtrar automáticamente contaminantes atmosféricos y ruido de adquisición permite obtener mapas químicos más precisos, lo cual es crucial para la conservación, restauración y comprensión histórica de obras de arte invaluables como el Políptico de Gante. Además, demuestra la viabilidad de aplicar técnicas de aprendizaje profundo avanzadas a problemas de espectroscopía de alta dimensionalidad en contextos donde los datos son escasos y ruidosos.