Loggia dei Lanzi: AI Thermography Enhancement Comparisons through 3D Photogrammetry

Resumo Técnico: Loggia dei Lanzi: Comparações de Melhoria por Termografia de IA através de Fotogrametria 3D

Definição do Problema
A termografia infravermelha (IRT) é uma técnica crítica de ensaios não destrutivos para documentação de patrimônio cultural, capaz de revelar características subsuperficiais, como aberturas muradas e transições de materiais. No entanto, os sensores térmicos tipicamente sofrem com menor resolução espacial e contraste reduzido em comparação aos sensores de luz visível, complicando a geração de modelos 3D precisos via Structure-from-Motion (SfM). Embora técnicas de super-resolução (SR) baseadas em hardware, como o UltraMax da FLIR, e modelos de SR computacional baseados em IA tenham surgido para enfrentar essa lacuna de resolução, sua eficácia na termografia de patrimônio permanece amplamente não verificada. Especificamente, há uma carência de estudos independentes revisados por pares comparando o microescaneamento de hardware contra a SR derivada por IA, e nenhuma pesquisa prévia avaliou se imagens térmicas amplificadas por IA produzem reconstruções fotogramétricas 3D significativamente melhoradas para documentação de patrimônio.

Metodologia
Os autores realizaram uma campanha de imagem térmica em dezembro de 2025 na Loggia dei Lanzi, em Florença, Itália, utilizando uma câmera FLIR T1020 HD. O estudo focou na parede posterior e nas abóbadas internas da loggia sob condições de inverno para maximizar o contraste térmico.

• Aquisição de Dados: 161 imagens térmicas foram capturadas em quatro estações. Para acomodar o requisito de microtremores do UltraMax, mantendo a estabilidade da estação, a cabeça do tripé foi deliberadamente afrouxada para permitir um deslocamento subpixel controlado.
• Tiers de Resolução: Seis níveis distintos de resolução foram gerados e comparados:
  1. Nativo: 1024 × 768 (dados radiométricos de 16 bits).
  2. UltraMax: 2048 × 1536 (microescaneamento de múltiplos quadros via hardware).
  3. Bicúbico: 2048 × 1536 (controle de interpolação padrão).
  4. SwinIR: 2048 × 1536 (modelo transformer agnóstico de domínio).
  5. DifIISR: 4096 × 3072 (modelo de difusão otimizado para qualidade perceptual).
  6. TongJi-SR/DRCT: 8192 × 6144 (arquitetura DRCT vencedora de desafios, ajustada para dados térmicos).
• Preservação Radiométrica: Uma escolha metodológica crítica envolveu a preservação da profundidade radiométrica de 16 bits em todo o pipeline. Os modelos de IA, que tipicamente requerem entrada de 8 bits, foram aplicados via um processo de normalização/redimensionamento para evitar a perda de dados de temperatura calibrados, essenciais para a análise de subsuperfície.
• Avaliação Fotogramétrica: Todos os níveis foram processados através de um pipeline de SfM idêntico (Agisoft Metashape) usando uma rede de câmeras fixa derivada de varreduras LiDAR independentes. Para garantir uma comparação justa, o estudo utilizou um subconjunto comum de 149 imagens que se alinharam com sucesso em todos os níveis.
• Métricas: A avaliação focou na densidade de pontos de ligação (tie-points), incerteza de reconstrução (uma razão de triangulação adimensional), erro de reprojeção (normalizado para milímetros físicos via GSD - Ground Sample Distance) e confiança da nuvem de pontos densa.

Principais Resultados
O estudo quantificou o impacto da melhoria de resolução na precisão geométrica e consistência de características:

• Precisão Geométrica: As imagens de resolução nativa produziram a reconstrução geometricamente mais precisa (erro de reprojeção normalizado de 16,2 mm). Entre os níveis melhorados, o UltraMax baseado em hardware teve o melhor desempenho (18,7 mm), seguido de perto pelo Bicúbico e SwinIR. Modelos de IA agressivos (DifIISR e TongJi) exibiram erros significativamente maiores (26,2 mm e 22,1 mm, respectivamente) quando normalizados para unidades físicas.
• Qualidade dos Pontos de Ligação: Embora o SwinIR tenha gerado o maior número de pontos de ligação (23.230), uma análise por ponto de reconstrução revelou que quase um terço desses pontos estavam mal restringidos (incerteza > 100). Em contraste, a nuvem nativa não possuía virtualmente nenhum ponto mal triangulado. O UltraMax foi o único método de melhoria que se aproximou da qualidade nativa em termos de incerteza de reconstrução (7,8% de pontos de alta incerteza vs. 0% para o nativo).
• Consistência entre Vistas: As imagens nativas e UltraMax demonstraram a maior consistência, com 45,5% e 42,7% dos pontos observados em três ou mais imagens, respectivamente. Modelos de IA agressivos mostraram menor consistência, indicando que os detalhes gerados por eles frequentemente falham em triangular consistentemente entre diferentes pontos de vista.
• Reconstrução Densa: As nuvens de pontos densas revelaram um modo de falha qualitativa nos modelos de IA agressivos. Embora produzissem altas contagens de pontos, estes concentravam-se quase exclusivamente em bordas estruturais de alto contraste (ex: nervuras de abóbada, intrados de arcos) em vez de estarem distribuídos pela superfície contínua. Esse "colapso de borda" deixou superfícies lisas, onde as características subsuperficiais são mais relevantes, amplamente não reconstruídas. Por outro lado, as reconstruções nativa e UltraMax mantiveram a completude da superfície e até a distribuição de pontos.

Principais Contribuições

1. Primeira Avaliação Independente do UltraMax: O artigo fornece a primeira quantificação independente e revisada por pares do microescaneamento de hardware UltraMax da FLIR, constatando que ele produz uma nuvem esparsa com características de qualidade próximas à resolução nativa, embora com apenas melhorias marginais no rendimento de pontos de ligação sobre a simples interpolação neste contexto específico de campo.
2. SR de IA em Termografia SfM: O estudo estabelece que os atuais modelos de super-resolução de IA de última geração, quando aplicados à documentação térmica de patrimônio, não melhoram a qualidade da reconstrução fotogramétrica. Em vez disso, eles degradam a fidelidade geométrica e introduzem detalhes inconsistentes e "alucinados" que falham na verificação multivisual.
3. Integridade Radiométrica vs. Nitidez Perceptual: Os autores demonstram que converter dados radiométricos de 16 bits para 8 bits para processamento de IA, ou confiar em modelos generativos que priorizam a fidelidade perceptual, resulta em uma perda de dados físicos mensuráveis sem benefício analítico para a documentação quantitativa de patrimônio.
4. Conjunto de Dados Aberto: Todos os conjuntos de dados, incluindo imagens radiométricas de 16 bits, nuvens de pontos e scripts de processamento, estão disponíveis publicamente para apoiar futuras pesquisas em fotogrametria térmica.

Significado e Alegações
Os autores concluem que, para a documentação quantitativa de patrimônio, onde o objetivo é medir características subsuperficiais em vez de meramente retratá-las, a integridade radiométrica da captura nativa é superior aos ganhos de resolução oferecidos pelos atuais modelos de super-resolução por IA. O estudo sugere que o detalhe adicionado pelos modelos de IA é otimizado para a percepção visual humana ou redes de detecção de objetos, não para representar a realidade térmica de paredes de alvenaria. Consequentemente, os autores argumentam que os esforços na termografia de patrimônio devem ser direcionados para a otimização das condições de aquisição (ex: contraste térmico, estabilidade do sensor) em vez de depender de melhorias computacionais post-hoc. O artigo posiciona-se como um benchmark de cautela, indicando que, embora a IA possa servir para fins de visualização, ela atualmente carece da consistência geométrica necessária para a modelagem térmica 3D métrica de patrimônio cultural.