VoDaSuRe: A Large-Scale Dataset Revealing Domain Shift in Volumetric Super-Resolution

Título: VoDaSuRe: Um Dataset de Grande Escala Revelando Deslocamento de Domínio em Super-Resolução Volumétrica

1. O Problema

A Super-Resolução (SR) volumétrica baseada em aprendizado profundo tem mostrado desempenho impressionante em imagens médicas e científicas, especialmente com abordagens baseadas em CNNs e Transformers. No entanto, o artigo argumenta que grande parte desse sucesso é ilusório e decorre de uma falha fundamental na metodologia de treinamento:

• Dependência de Dados Sintéticos: A maioria dos modelos é treinada em pares de dados de alta resolução (HR) e baixa resolução (LR) gerados sinteticamente através de downsampling (subamostragem) de imagens HR.
• Deslocamento de Domínio (Domain Shift): Existe uma discrepância crítica entre a degradação sintética (downsampling) e a aquisição real de baixa resolução. Modelos treinados em dados sintéticos aprendem a reverter o processo de subamostragem, mas falham ao lidar com artefatos reais de aquisição (ruído, contraste diferente, efeitos de reconstrução).
• Consequência: Quando aplicados a dados reais, esses modelos tendem a prever uma "média suavizada" das estruturas, perdendo detalhes microestruturais finos em vez de recuperá-los genuinamente. A falta de datasets públicos com pares reais de HR-LR impede a avaliação justa e o progresso real na área.

2. Metodologia e o Dataset VoDaSuRe

Para abordar essa lacuna, os autores introduzem o VoDaSuRe (Volumetric Dataset for Super-Resolution), um dataset de grande escala projetado especificamente para benchmarking de SR em condições de aquisição realistas.

• Coleta de Dados: O dataset contém 16 amostras (32 volumes no total, incluindo pares HR-LR e versões registradas) cobrindo uma diversidade de microestruturas:
  • Biológicas: Ossos humanos (fêmures e vértebras) e ossos animais.
  • Materiais: Madeiras de cinco espécies (bambu, carvalho, olmo, etc.), MDF e cartão laminado.
• Aquisição: As amostras foram escaneadas em micro-CT de laboratório usando dois scanners diferentes (Nikon XT H 225 e Zeiss Xradia Versa 520) para cobrir diferentes faixas de resolução.
  • Foi estabelecida uma diferença fixa de resolução de 4× entre as varreduras HR e LR.
  • Diferente de datasets médicos comuns, o VoDaSuRe utiliza a mesma configuração de scanner para ambas as resoluções, isolando o efeito da resolução e eliminando variáveis de diferentes modalidades.
• Curadoria e Pipeline de Dados:
  • Registro: As varreduras LR foram alinhadas (registradas) às varreduras HR usando ITK-Elastix para garantir correspondência voxel a voxel.
  • Correspondência de Intensidade: Para lidar com diferenças de contraste entre as aquisições, foi aplicada uma correspondência de histograma (CDF) entre as fatias LR registradas e as fatias HR subamostradas.
  • Formato: Os dados foram convertidos para o formato OME-Zarr, permitindo o carregamento eficiente de patches 3D out-of-core (fora da memória RAM), essencial devido ao tamanho massivo dos dados (~194 bilhões de voxels).

3. Contribuições Principais

1. Dataset VoDaSuRe: O maior dataset volumétrico de SR com pares de dados reais (físicos) e sintéticos, contendo ~194 gigavoxels.
2. Benchmarking de Deslocamento de Domínio: Demonstração empírica de que modelos SOTA (State-of-the-Art) treinados em dados sintéticos falham drasticamente ao serem aplicados a dados reais, produzindo resultados suavizados e imprecisos.
3. Pipeline de Dados OME-Zarr: Implementação de um carregador de dados compatível com PyTorch para amostragem eficiente de patches 3D em volumes massivos.
4. Análise de Generalização: Avaliação de modelos em diferentes domínios (madeira vs. osso) e configurações de treinamento (sintético vs. real).

4. Resultados e Descobertas

Os autores realizaram experimentos comparando oito modelos SOTA (incluindo RCAN, HAT, EDDSR, SuperFormer, MTVNet, RRDBNet3D, etc.) em quatro datasets: CTSpine1K, LiTS, LIDC-IDRI (médicos, apenas com dados sintéticos) e VoDaSuRe (com dados sintéticos e reais).

• Desempenho em Dados Sintéticos vs. Reais:
  • Nos datasets médicos (onde LR é gerado por downsampling), os modelos alcançaram métricas excelentes (ex: PSNR > 40 dB em escala 2×).
  • No VoDaSuRe (downsampled), o desempenho caiu significativamente, mas ainda recuperou a maior parte da variação estrutural.
  • Crucialmente: No VoDaSuRe (registrado/real), o desempenho caiu drasticamente. O melhor modelo atingiu apenas 16.24 dB de PSNR em escala 4×.
• Efeito de Suavização:
  • Modelos treinados em dados reais produzem imagens visualmente mais "suaves", perdendo detalhes de alta frequência.
  • A Variação Total (TV) foi usada como métrica para quantificar essa perda. As previsões em dados reais apresentaram TV significativamente menor do que as previsões em dados sintéticos ou as imagens HR originais, confirmando a perda de detalhes microestruturais.
• Análise de Transferência (Cross-Domain):
  • Modelos treinados em dados sintéticos e testados em dados reais (e vice-versa) mostraram quedas severas de desempenho, indicando que o domain shift é intrínseco e não pode ser resolvido apenas ajustando a perda (loss function).
• Análise de Dependência Contextual (LAM):
  • Através de Local Attribution Mapping (LAM), observou-se que os modelos dependem mais de contexto espacial de longo alcance no VoDaSuRe do que em datasets médicos. No entanto, maior dependência contextual não garantiu melhor precisão na recuperação de detalhes.

5. Significado e Conclusão

O artigo conclui que o progresso atual na Super-Resolução Volumétrica está superestimado devido à dependência de benchmarks baseados em dados sintéticos.

• Limitação Atual: Os métodos atuais não conseguem recuperar estruturas perdidas em varreduras de baixa resolução reais; em vez disso, eles aprendem a prever uma média espacial plausível, mas imprecisa.
• Necessidade Futura: Para que a SR seja útil em aplicações científicas e clínicas (como análise de porosidade em ossos ou materiais), é imperativo treinar e avaliar modelos em datasets com dados de aquisição física real, como o VoDaSuRe.
• Disponibilidade: O dataset e o código foram tornados públicos para permitir pesquisa reprodutível e o desenvolvimento de modelos mais robustos e fisicamente fundamentados.

Em suma, o VoDaSuRe serve como um "teste de realidade" para a comunidade de visão computacional, expondo a fragilidade dos modelos atuais quando confrontados com a complexidade e os artefatos da aquisição de imagens reais.