Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

Este artigo propõe um autoencoder CNN não supervisionado com uma função de perda de distância angular espectral ponderada (WSAD) para realizar a separação cega de imagens hiperespectrais de micro-FTIR em seções transversais de pinturas a óleo históricas, permitindo uma análise automatizada e mais interpretável dos materiais constituintes, como demonstrado no caso do Políptico de São Bavo.

O essencial

Imagine que você tem um quadro antigo, como os famosos painéis de Van Eyck. Para entender como ele foi feito, quais tintas foram usadas e como está se degradando, os cientistas precisam olhar para dentro da pintura, como se fosse uma fatia de bolo. Eles cortam uma minúscula amostra, poliram e colocam sob um microscópio especial que "lê" a luz infravermelha.

O problema é que essa leitura gera um enorme livro de dados (uma imagem hiperespectral). Em cada pontinho da imagem, há um espectro (uma "assinatura" de luz) que é uma mistura confusa de várias coisas ao mesmo tempo: pigmentos, vernizes, sujeira, e até o ar que estava na sala (como CO2 e água) que atrapalha a leitura.

Até agora, os cientistas tinham que ler esse livro página por página, comparando manualmente com outros livros de referência. É lento, cansativo e depende muito da experiência de quem está lendo.

A Solução: O "Detetive de IA" (FTIR-unmixer)

Os autores deste artigo criaram um novo método usando Inteligência Artificial (uma Rede Neural) para fazer esse trabalho de "desembaralhar" os dados automaticamente. Eles chamam seu sistema de FTIR-unmixer.

Aqui está como funciona, usando analogias simples:

1. O Problema do "Smoothie" (Mistura)

Imagine que você tem um copo com um smoothie feito de morango, banana e kiwi. Você não consegue ver as frutas separadas, apenas o gosto misturado.

• A tarefa da IA: Ela precisa provar o smoothie e dizer: "Ok, aqui tem 40% de banana, 30% de morango e 30% de kiwi".
• O desafio: Às vezes, o smoothie tem um gosto estranho porque o copo estava sujo ou porque havia um cheiro de fumaça na cozinha. Se a IA tentar analisar o gosto do "copo sujo" como se fosse uma fruta, ela vai errar a receita.

2. A Grande Inovação: O "Filtro de Ruído" (WSAD)

A maior contribuição deste trabalho é uma nova regra de aprendizado chamada WSAD (Distância Angular Espectral Ponderada).

Pense na IA como um aluno estudando para uma prova.

• O método antigo (SAD): O professor dizia: "Estude todas as páginas do livro com a mesma intensidade". Se o livro tivesse páginas rasgadas, sujas ou com manchas de café (os ruídos do CO2 e da água), o aluno gastaria tempo tentando decifrar essas manchas e acabaria confundindo-as com o conteúdo real.
• O método novo (WSAD): O professor diz: "Estude as páginas importantes com muita atenção, mas ignore as páginas que estão rasgadas, sujas ou que parecem erros de impressão".
  • A IA aprende a identificar quais "páginas" (faixas de luz) são confiáveis e quais são apenas ruído. Ela dá menos peso (menos atenção) para as partes sujas e foca nas partes químicas reais.

3. Como a IA "Pensa" em Blocos

Em vez de olhar para um único ponto da imagem de cada vez, a IA olha para pequenos quadrados (como um mosaico). Ela entende que, na vida real, as camadas de tinta não mudam de cor de um pixel para o outro de forma aleatória; elas têm uma estrutura espacial. Isso ajuda a IA a ser mais precisa, como se ela olhasse para o contexto ao redor de cada palavra em vez de apenas uma letra isolada.

O Resultado: O Caso do "Altar de Ghent"

Os cientistas testaram esse método em uma amostra real do famoso Altar de Ghent (uma obra-prima de Van Eyck).

• O que eles queriam encontrar: Eles buscavam três coisas específicas: oxalato de cálcio (um tipo de degradação), proteínas (ligantes da tinta) e sabões metálicos (outro tipo de degradação).
• O que aconteceu:
  • Com o método antigo, a IA conseguia achar as coisas, mas as imagens das "sabões metálicos" pareciam um pouco bagunçadas e havia muito "ruído" de CO2 nas respostas.
  • Com o novo método (WSAD), a IA conseguiu desenhar mapas muito mais limpos e claros. Ela conseguiu separar as camadas de tinta com precisão e, o mais importante, ignorou o "barulho" do ar (CO2) que costumava atrapalhar a análise.

Resumo em uma frase

Os autores criaram um "detetive de IA" que consegue olhar para uma fatia microscópica de uma pintura antiga, separar automaticamente os ingredientes químicos misturados e ignorar as sujeiras e erros de medição, tudo isso sem precisar de um humano gastar horas comparando dados manualmente.

Isso é um grande passo para a ciência do patrimônio, pois permite que museus e historiadores entendam melhor como preservar obras de arte valiosas de forma mais rápida e precisa.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings", apresentado em português:

Título: Separação de Imagens Espectroscópicas Microinfravermelhas de Cortes Transversais de Pinturas a Óleo Históricas

1. O Problema

A ciência do património cultural depende cada vez mais da espectroscopia de imagem (SI), especificamente da microespectroscopia de infravermelho por transformada de Fourier com reflexão total atenuada (ATR-µFTIR), para analisar cortes transversais de pinturas históricas.

• Desafios: Os dados gerados são imagens hiperespectrais (HSI) complexas, onde cada pixel contém um espectro de absorção. Em amostras de património, os espectros são frequentemente misturas de múltiplas espécies químicas (pigmentos, ligantes, vernizes, produtos de degradação como sabões metálicos ou oxalatos) em camadas heterogéneas e degradadas.
• Limitações Atuais: A interpretação tradicional depende de comparações manuais com bibliotecas de referência, um processo lento, subjetivo e difícil de escalar.
• Obstáculos Específicos do ATR-µFTIR:
  • Alta dimensionalidade (>1500 bandas).
  • Ruído significativo e artefactos de aquisição (ex: absorção atmosférica de $H_2O$ e $CO_2$).
  • Incerteza no número de componentes (endmembers).
  • Algoritmos existentes (desenvolvidos para reflectância VIS-NIR) não são diretamente aplicáveis devido às diferentes características de ruído e mistura dos dados de absorção ATR.

2. Metodologia Proposta

Os autores propõem uma abordagem de desmistificação cega (blind unmixing) baseada em uma Autoencoder de Rede Neural Convolucional (CNN) chamada FTIR-unmixer, adaptada especificamente para dados ATR-µFTIR.

• Modelo de Mistura Linear (LMM) Baseado em Patches:

  • Em vez de tratar pixels isoladamente, o método utiliza uma abordagem baseada em patches (janelas espaciais) para explorar a estrutura espacial e regularidades espectro-espaciais.
  • Assume-se o Modelo de Mistura Linear (LMM), onde o espectro observado é uma combinação linear dos espectros dos endmembers (componentes puros) e suas abundâncias.

• Arquitetura da Rede (FTIR-unmixer):

  • Codificador (Encoder): Estima os mapas de abundância. Utiliza camadas convolucionais com normalização de lote (Batch Norm), Dropout e ativação Leaky-ReLU. A saída é processada por um softmax escalado para garantir as restrições de não-negatividade e soma unitária das abundâncias.
  • Decodificador (Decoder): Reconstrói o patch de entrada a partir das abundâncias. Os pesos do decodificador são interpretados como os espectros dos endmembers. Uma função softplus é aplicada para garantir que os endmembers sejam não-negativos.

• Contribuição Central: Perda de Distância Angular Espectral Ponderada (WSAD)

  • O principal avanço é a introdução da função de perda WSAD (Weighted Spectral Angle Distance).
  • Motivação: Em dados ATR-µFTIR, nem todas as bandas espectrais são igualmente informativas. Bandas contaminadas por ruído atmosférico ou artefactos podem dominar a função de perda e enviesar a estimativa dos endmembers.
  • Mecanismo: A WSAD aplica pesos automáticos às bandas antes de calcular a distância angular.
  • Estimativa Automática de Pesos ($w$): Os pesos são derivados de três métricas estatísticas calculadas diretamente dos dados de entrada:
    1. Correlação de Vizinhos: Penaliza bandas que discordam dos seus vizinhos imediatos (indicando artefactos pontuais).
    2. Rugosidade Espectral: Detecta curvaturas anormalmente altas (picos espúrios) no espectro mediano.
    3. Planicidade Espacial: Penaliza bandas com variância espacial extremamente baixa (comportamento de modo comum, típico de artefactos atmosféricos).
  • O resultado é uma função de perda que ignora bandas não confiáveis, preservando a estrutura química informativa.

3. Resultados e Experiências

O método foi testado em um corte transversal de uma amostra do Políptico de Ghent (atribuído aos irmãos Van Eyck).

• Configuração:

  • Dados: 5 tiles de $64 \times 64 \times 1504$ bandas.
  • Número de Endmembers ($K$): Determinado empiricamente como 10 (evitando sub ou super-modelagem).
  • Comparação: FTIR-unmixer com perda SAD padrão vs. FTIR-unmixer com perda WSAD proposta.

• Desempenho:

  • Identificação de Componentes: Ambos os métodos conseguiram recuperar componentes quimicamente relevantes, incluindo proteínas, sabões metálicos e oxalatos de cálcio.
  • Melhoria com WSAD:
    • A distribuição de sabões metálicos (Mapa 8) mostrou maior coerência espacial e uniformidade com a WSAD em comparação ao SAD padrão.
    • Supressão de Artefactos: Os espectros dos endmembers treinados com WSAD apresentaram uma redução significativa nos picos de contaminação por $CO_2$ (em torno de $2350 \text{ cm}^{-1}$), que eram proeminentes no modelo SAD.
    • A WSAD conseguiu separar melhor os componentes minoritários e reduzir a sensibilidade a regiões espectrais ruidosas.

4. Significado e Conclusão

• Inovação: Este trabalho representa, segundo os autores, a primeira proposta de desmistificação automatizada específica para dados ATR-µFTIR de cortes transversais de pinturas históricas.
• Impacto na Ciência do Património:
  • Oferece uma alternativa escalável e objetiva à análise manual, permitindo a identificação de materiais complexos em amostras degradadas.
  • A abordagem baseada em patches e a perda WSAD demonstram ser eficazes para lidar com a alta dimensionalidade e o ruído específico dos dados de infravermelho.
• Relevância Técnica: A introdução de pesos de banda baseados em estatísticas locais (correlação, rugosidade, variância) dentro de um treinamento de deep learning oferece um novo paradigma para o pré-processamento e treinamento de modelos em dados espectrais ruidosos, podendo ser aplicado em outras áreas além do património cultural.

Em suma, o artigo apresenta uma solução robusta de deep learning que supera as limitações dos métodos tradicionais e de algoritmos de sensoriamento remoto padrão, permitindo uma análise química mais precisa e automatizada de obras de arte históricas complexas.