NOIR: Neural Operator mapping for Implicit Representations

Título: NOIR: Neural Operator Mapping for Implicit Representations

Autores: Sidaty El Hadramy, Nazim Haouchine, Michael Wehrli, Philippe C. Cattin.

1. Problema e Motivação

O processamento de imagens médicas convencionais baseia-se predominantemente em paradigmas de aprendizado profundo baseado em grades discretas (pixels ou voxels). Embora eficazes, esses modelos possuem limitações fundamentais:

• Sensibilidade à Resolução: Modelos treinados em uma resolução específica frequentemente sofrem degradação de desempenho quando aplicados a imagens com espaçamento de voxels diferente ou resoluções não vistas durante o treinamento.
• Artefatos de Interpolação: A dependência de grades fixas torna os modelos sensíveis a artefatos de interpolação e reamostragem, comuns em fluxos de trabalho clínicos heterogêneos.
• Desconexão com a Física: As imagens médicas originam-se de domínios físicos contínuos, mas são tratadas como sinais discretos, ignorando a natureza contínua dos dados de aquisição.

O artigo questiona se a grade discreta é a representação mais adequada e propõe uma mudança de paradigma: tratar tarefas de imagem médica como problemas de aprendizado de operadores entre espaços de funções contínuas, em vez de previsões em grades discretas.

2. Metodologia: O Framework NOIR

O NOIR (Neural Operator Mapping for Implicit Representations) é um framework que reformula tarefas de computação de imagens médicas como um problema de aprendizado de operadores contínuos. A arquitetura consiste em dois blocos principais (ver Fig. 2 do artigo):

A. Representação de Função Contínua (INRs)

Em vez de processar a imagem diretamente como uma matriz de pixels, o NOIR utiliza Representações Neurais Implícitas (INRs) para codificar sinais discretos em funções contínuas.

• Codificação: Para cada amostra de entrada ($f^d_i$) e saída ($g^d_i$), o modelo aprende uma função contínua ($f_i, g_i$) que aproxima o sinal discreto.
• Arquitetura Híbrida: Utiliza um esquema de "auto-decodificador" com meta-aprendizado.
  • Parâmetros Compartilhados ($\theta$): Capturam características comuns do conjunto de dados (ex: anatomia geral, características de aquisição).
  • Códigos Latentes Específicos ($z_i$): Representam variações específicas da amostra (ex: patologia, variação anatômica). Esses códigos são otimizados via um inner-loop (meta-aprendizado) para cada nova amostra.
• Resultado: O sinal discreto é transformado em um vetor latente ($z$) que modula uma rede neural contínua, permitindo a reconstrução da imagem em qualquer resolução.

B. Mapeamento de Operador Neural (NO)

Uma vez que os sinais de entrada e saída são representados por seus respectivos códigos latentes ($z_{in}$ e $z_{out}$), o NOIR aprende um Operador Neural ($T$) que mapeia diretamente entre esses espaços latentes:
$$\hat{z}_{out} = T(z_{in})$$

• O operador $T$ é tipicamente implementado como uma Rede Perceptron Multicamada (MLP) com conexões residuais.
• O treinamento é supervisionado minimizando o erro quadrático médio entre o código latente previsto e o código latente real da saída.
• Vantagem: Como o operador atua no espaço de funções latentes (independente da discretização), a transformação é inerentemente invariante à resolução.

3. Contribuições Principais

1. Mudança de Paradigma: Desafia o uso de grades fixas em imagens médicas, propondo uma formulação contínua baseada em INRs e Operadores Neurais.
2. Generalização de Tarefas: Demonstra a aplicabilidade do framework em tarefas diversas: segmentação, completamento de forma (shape completion), tradução de imagem e síntese, tanto em 2D quanto em 3D.
3. Robustez Teórica e Empírica:
   • O NOIR satisfaz as propriedades teóricas de operadores neurais, especificamente a invariância à resolução.
   • O artigo prova empiricamente que o NOIR é um $\epsilon$-ReNO (Representação Equivalente Neural Operator), conforme definido por Bartolucci et al., garantindo que o erro de aliasing seja minimizado entre diferentes discretizações.
4. Desempenho Competitivo: Alcança desempenho comparável ou superior aos métodos baseados em grades (U-Net, ViT, FNO) em resolução nativa, com superioridade significativa em resoluções não vistas.

4. Resultados Experimentais

Os experimentos foram realizados em múltiplos conjuntos de dados públicos (Shenzhen, OASIS-4, SkullBreak, fastMRI) e um conjunto clínico interno de ultrassom.

• Segmentação (Shenzhen e OASIS-4):
  • O NOIR manteve um alto Coeficiente de Similaridade de Dice (DSC) em resoluções de 10%, 25% e 100%.
  • Enquanto métodos como U-Net e ViT sofreram degradação severa em baixas resoluções, o NOIR manteve a estabilidade, superando todos os baselines em resoluções baixas e empatando ou superando em resoluções nativas.
• Completamento de Forma (SkullBreak - 3D):
  • O modelo conseguiu reconstruir estruturas anatômicas faltantes em crânios defeituosos. Embora tenha dificuldade em detalhes de superfície muito finos (região orbital), superou métodos baseados em grades em baixa resolução.
• Tradução e Síntese de Imagem (fastMRI e Ultrassom):
  • Na síntese de ultrassom, o NOIR obteve o melhor PSNR (31.83 dB) e SSIM, superando U-Net, ViT e DDPM.
  • A abordagem baseada em INRs evitou o "suavização excessiva" (over-smoothing) comum em redes convolucionais, preservando melhor a textura e o realismo perceptual.
• Validação de $\epsilon$-ReNO:
  • Testes de consistência entre diferentes resoluções de entrada (de $32^2$ a $200^2$) mostraram discrepâncias latentes mínimas ($\epsilon \approx 10^{-5}$), confirmando que o operador aprende a função subjacente e não a discretização específica.

5. Significado e Limitações

Significado:
O NOIR oferece uma alternativa conceitualmente distinta e empiricamente robusta ao aprendizado profundo tradicional. Ao operar no espaço de funções contínuas, ele resolve o problema crítico da dependência de resolução na medicina, permitindo que modelos treinados em um protocolo de aquisição sejam aplicados diretamente em outros sem necessidade de reamostragem ou retreinamento. Além disso, a natureza modular permite reutilizar os INRs aprendidos para diferentes tarefas, alterando apenas o operador de mapeamento.

Limitações:

• Dependência de Dados Pareados: O método atual requer aprendizado supervisionado com pares de entrada/saída para treinar o operador.
• Complexidade de Treinamento: A dimensão do espaço latente é crucial. Para imagens complexas com alta variabilidade, latentes grandes são necessários, o que aumenta a dificuldade de treinar o operador neural e exige conjuntos de dados maiores.
• Detalhes Finos: Em tarefas de completamento de forma 3D, a recuperação de detalhes geométricos muito sutis ainda apresenta desafios.

Conclusão

O NOIR representa um avanço significativo ao integrar Representações Neurais Implícitas com Aprendizado de Operadores, estabelecendo um novo padrão para a robustez de resolução em processamento de imagens médicas. O trabalho sugere que o futuro da computação médica deve migrar de grades discretas para formulações contínuas para melhor alinhamento com a física da aquisição de dados e maior flexibilidade clínica.