SEMIR: Semantic Minor-Induced Representation Learning on Graphs for Visual Segmentation

Resumo Técnico: SEMIR – Aprendizado de Representação Induzido por Minorias Semânticas em Grafos para Segmentação Visual

Declaração do Problema
A segmentação de estruturas pequenas e esparsas em imagens médicas de grande escala (por exemplo, tumores em volumes de TC ou RM) enfrenta uma tensão fundamental entre escalabilidade computacional e fidelidade estrutural. A inferência densa, voxel a voxel, escala mal com a resolução da imagem em vez da complexidade estrutural, frequentemente excedendo $10^8$ voxels, enquanto alvos clinicamente relevantes podem ocupar menos de 1% do volume. Esse desequilíbrio de classes extremo atenua os sinais de gradiente para estruturas minoritárias. Soluções existentes, como processamento baseado em patches, subamostragem em grade fixa ou extração de superpixels artesanais, acoplam a resolução de inferência à malha nativa ou a regiões predeterminadas. Essas abordagens frequentemente sacrificam a precisão de fronteira pela tratabilidade, dependem de regionalização agnóstica à tarefa que falha em adaptar-se a estruturas semânticas e perdem evidências de fronteira antes que os modelos possam utilizá-las. Além disso, pipelines multiclasse lutam para equilibrar objetivos concorrentes entre estruturas com extensões espaciais vastamente diferentes.

Metodologia
Os autores propõem SEMIR (Aprendizado de Representação Induzido por Minorias Semânticas), um framework que desacopla a complexidade de inferência da resolução da imagem ao aprender uma representação latente de grafo adaptada à tarefa, preservando topologia, com decodificação exata.

1. Construção de Minor de Grafo: O SEMIR transforma o grafo de malha de voxels nativo $G$ em um grafo minor compacto e alinhado a fronteiras $H \preceq G$. Isso é alcançado através de três operações parametrizadas:

   • Contração de Arestas: Funde voxels similares em supernós com base em um limiar de intensidade $\psi$, ancorado a um voxel semente para evitar que transições de baixo contraste colapsem em regiões únicas.
   • Deleção de Nós: Remove supernós que violam restrições de tamanho ($\beta_{min}, \beta_{max}$) ou intensidade ($m_{min}, m_{max}$) para podar ruído e regiões de fundo excessivamente grandes.
   • Deleção de Arestas: Rompe conexões através de gradientes fortes de intensidade (limiar $\alpha$) para definir fronteiras de segmentação.
   • A construção utiliza uma travessia pseudo-aleatória coprima para evitar viés direcional e é implementada via um algoritmo de preenchimento (flood-fill) em uma representação tensor expandida, garantindo eficiência de memória.

2. Otimização de Parâmetros Few-Shot: Em vez de ajuste manual, o conjunto de parâmetros $\Theta = \{\psi, \alpha, \beta\}$ é otimizado via otimização black-box few-shot. Dado um pequeno subconjunto de exemplos rotulados ($D_{few}$, tipicamente 5–20), um otimizador (usando um substituto baseado em árvore) minimiza uma perda de alinhamento de fronteira (coeficiente inverso de Dice-Sørensen) entre as fronteiras do minor induzido e as bordas semânticas verdadeiras. Isso aprende uma estrutura de partição que minimiza o risco de fronteira semântica, em vez de ajustar hiperparâmetros dentro de uma arquitetura fixa.

3. Representação de Características:

   • Características de Nós: Supernós são anotados com descritores geométricos invariantes a escala e rotação (área, comprimento de fronteira, compacidade, elongação, eixo dominante) e estatísticas de intensidade (média, desvio padrão, covariância).
   • Características de Arestas: Diferenças relativas entre supernós adjacentes são codificadas usando log-ratios invariantes a escala de descritores geométricos e diferenças de intensidade normalizadas, promovendo invariância a volumes médicos anisotrópicos.

4. Inferência e Elevação a Montante: Uma Rede Neural em Grafo (GNN), especificamente uma GINE de 3 camadas, realiza classificação de nós no grafo minor reduzido $H$. Crucialmente, o framework emprega um mapa de elevação exato derivado do processo de construção. Previsões em supernós são mapeadas bijectivamente de volta para a malha de voxels original sem interpolação ou aproximação, garantindo recuperação exata no nível de voxel.

Principais Contribuições

1. Framework de Minor de Grafo Aprendido: Uma abordagem inovadora que desacopla a complexidade de inferência da resolução da imagem, reduzindo contagens de nós em ordens de magnitude (por exemplo, de $\sim 10^7$ voxels para $\sim 10^3$ supernós) enquanto mantém garantias exatas de elevação no nível de voxel.
2. Alinhamento de Fronteira Few-Shot: Um procedimento orientado por dados que substitui o ajuste manual de parâmetros, exigindo apenas 5–20 exemplos rotulados para otimizar a construção do minor para alinhamento de fronteira, independente de identidades de classes específicas.
3. Descritores Invariantes: Descritores de nós e arestas invariantes a escala e rotação que permitem passagem de mensagens eficaz em volumes médicos anisotrópicos.
4. Inferência Específica ao Alvo: Uma formulação que constrói um espaço de inferência separado e otimizado para cada estrutura alvo, reduzindo o problema à classificação binária e evitando questões de balanceamento inerentes à segmentação multiclasse conjunta.

Resultados Experimentais
O SEMIR foi avaliado em três benchmarks desafiadores de segmentação de tumores: BraTS 2021 (glioma cerebral), KiTS23 (tumores renais) e LiTS (tumores hepáticos).

• Desempenho: O SEMIR demonstrou melhorias consistentes nos escores Dice para estruturas minoritárias (por exemplo, núcleos tumorais e tumores realçados) em comparação com métodos state-of-the-art como Swin UNETR e nnU-Net. Por exemplo, no BraTS, o SEMIR alcançou um Dice de 0,941 para o Núcleo do Tumor (TC) e 0,894 para o Tumor Realçado (ET), superando benchmarks anteriores.
• Eficiência: O método reduziu a complexidade de inferência em aproximadamente $10^4\times$ (de $\sim 10^7$ voxels para $\sim 10^3$ supernós). Tempos de treinamento e inferência foram significativamente menores que métodos densos, com o SEMIR completando o treinamento em uma GPU T4 de 16GB em horas, enquanto métodos densos comparáveis exigiam hardware da classe A100 e dias.
• Estudos de Ablação: Experimentos confirmaram que a contração de arestas previne fragmentação, a deleção de arestas separa estruturas minoritárias e a deleção de nós poda ruído. A otimização few-shot superou significativamente o ajuste manual fixo. O método também generalizou para domínios não médicos (imagens aéreas NWPU VHR-10), alcançando alto IoU para objetos pequenos.

Significado e Alegações
O artigo afirma que o SEMIR estabelece um framework principiado para aprender representações latentes adaptadas à tarefa e preservadoras de topologia para dados visuais estruturados de alta resolução. Ao formalizar os trade-offs entre adesão à fronteira, compacidade e tratabilidade como parâmetros aprendíveis, o SEMIR muda o paradigma de comprimir imagens em representações fixas para aprender um espaço de inferência que preserva estruturas semanticamente relevantes. Os autores afirmam que essa abordagem oferece um caminho escalável para segmentação consciente de fronteiras em imagens médicas, particularmente para estruturas minoritárias onde métodos multiclasse sistematicamente têm desempenho inferior devido ao desequilíbrio de classes. O trabalho enfatiza que o minor aprendido serve como uma etapa de pré-processamento que pode ser desacoplada de preditores a montante, oferecendo modularidade para várias arquiteturas de modelos.