SEMIR: Semantic Minor-Induced Representation Learning on Graphs for Visual Segmentation

Resumen Técnico: SEMIR – Aprendizaje de Representación Inducido por Minorías Semánticas en Grafos para Segmentación Visual

Enunciado del Problema
La segmentación de estructuras pequeñas y dispersas en imágenes médicas a gran escala (por ejemplo, tumores en volúmenes de TC o RM) enfrenta una tensión fundamental entre la escalabilidad computacional y la fidelidad estructural. La inferencia densa a nivel de vóxel escala mal con la resolución de la imagen en lugar de con la complejidad estructural, a menudo excediendo $10^8$ vóxeles, mientras que los objetivos clínicamente relevantes pueden ocupar menos del 1% del volumen. Este desequilibrio de clases extremo atenúa las señales de gradiente para las estructuras minoritarias. Las soluciones existentes, como el procesamiento basado en parches, la submuestreo en cuadrícula fija o la extracción de superpíxeles diseñada a mano, acoplan la resolución de inferencia a la red nativa o a regiones predeterminadas. Estos enfoques a menudo sacrifican la precisión de los límites por la manejabilidad, dependen de una regionalización agnóstica a la tarea que falla al adaptarse a las estructuras semánticas y pierden la evidencia de los límites antes de que los modelos puedan utilizarla. Además, las pipelines multiclase luchan por equilibrar objetivos competitivos a través de estructuras con extensiones espaciales muy diferentes.

Metodología
Los autores proponen SEMIR (Aprendizaje de Representación Inducido por Minorías Semánticas), un marco que desacopla la complejidad de la inferencia de la resolución de la imagen mediante el aprendizaje de una representación latente de grafo que preserva la topología y se adapta a la tarea, con decodificación exacta.

1. Construcción de Minoría de Grafo: SEMIR transforma el grafo de red de vóxeles nativo $G$ en una minoría de grafo compacta y alineada con los límites $H \preceq G$. Esto se logra mediante tres operaciones parametrizadas:

   • Contracción de Aristas: Fusiona vóxeles similares en supernodos basándose en un umbral de intensidad $\psi$, anclado a un vóxel semilla para evitar que las transiciones de bajo contraste colapsen en regiones únicas.
   • Eliminación de Nodos: Elimina supernodos que violan las restricciones de tamaño ($\beta_{min}, \beta_{max}$) o intensidad ($m_{min}, m_{max}$) para podar el ruido y las regiones de fondo desproporcionadas.
   • Eliminación de Aristas: Corta las conexiones a través de gradientes de intensidad fuertes (umbral $\alpha$) para definir los límites de segmentación.
   • La construcción utiliza un recorrido coprimo pseudoaleatorio para evitar el sesgo direccional y se implementa mediante un algoritmo de relleno por inundación en una representación tensorial expandida, garantizando la eficiencia de la memoria.

2. Optimización de Parámetros Few-Shot: En lugar del ajuste manual, el conjunto de parámetros $\Theta = \{\psi, \alpha, \beta\}$ se optimiza mediante optimización black-box few-shot. Dado un subconjunto pequeño de ejemplos etiquetados ($D_{few}$, típicamente 5–20), un optimizador (que utiliza un sustituto basado en árboles) minimiza una pérdida de alineación de límites (coeficiente inverso de Dice-Sørensen) entre los límites de la minoría inducida y los bordes semánticos de la verdad fundamental. Esto aprende una estructura de partición que minimiza el riesgo de límite semántico en lugar de ajustar hiperparámetros dentro de una arquitectura fija.

3. Representación de Características:

   • Características de Nodos: Los supernodos se anotan con descriptores geométricos invariantes a escala y rotación (área, longitud del límite, compacidad, alargamiento, eje dominante) y estadísticas de intensidad (media, desviación estándar, covarianza).
   • Características de Aristas: Las diferencias relativas entre supernodos adyacentes se codifican utilizando log-ratios invariantes a escala de descriptores geométricos y diferencias de intensidad normalizadas, promoviendo la invarianza ante volúmenes médicos anisotrópicos.

4. Inferencia y Elevación Aguas Abajo: Una Red Neuronal de Grafos (GNN), específicamente una GINE de 3 capas, realiza la clasificación de nodos en la minoría de grafo reducida $H$. Crucialmente, el marco emplea un mapa de elevación exacto derivado del proceso de construcción. Las predicciones sobre los supernodos se mapean biyectivamente de vuelta a la red de vóxeles original sin interpolación ni aproximación, garantizando una recuperación exacta a nivel de vóxel.

Contribuciones Clave

1. Marco de Minoría de Grafo Aprendido: Un enfoque novedoso que desacopla la complejidad de la inferencia de la resolución de la imagen, reduciendo la cantidad de nodos en órdenes de magnitud (por ejemplo, de $\sim 10^7$ vóxeles a $\sim 10^3$ supernodos) mientras mantiene garantías exactas de elevación a nivel de vóxel.
2. Alineación de Límites Few-Shot: Un procedimiento impulsado por datos que reemplaza el ajuste manual de parámetros, requiriendo solo 5–20 ejemplos etiquetados para optimizar la construcción de la minoría para la alineación de límites independientemente de las identidades de clase específicas.
3. Descriptores Invariantes: Descriptores de nodos y aristas invariantes a escala y rotación que permiten un paso de mensajes efectivo en volúmenes médicos anisotrópicos.
4. Inferencia Específica para el Objetivo: Una formulación que construye un espacio de inferencia separado y optimizado para cada estructura objetivo, reduciendo el problema a una clasificación binaria y evitando los problemas de equilibrio inherentes a la segmentación multiclase conjunta.

Resultados Experimentales
SEMIR se evaluó en tres benchmarks desafiantes de segmentación de tumores: BraTS 2021 (glioma cerebral), KiTS23 (tumores renales) y LiTS (tumores hepáticos).

• Rendimiento: SEMIR demostró mejoras consistentes en las puntuaciones Dice para estructuras minoritarias (por ejemplo, núcleos tumorales y tumores realzantes) en comparación con métodos de última generación como Swin UNETR y nnU-Net. Por ejemplo, en BraTS, SEMIR logró un Dice de 0.941 para el Núcleo Tumoral (TC) y 0.894 para el Tumor Realzante (ET), superando los benchmarks anteriores.
• Eficiencia: El método redujo la complejidad de la inferencia en aproximadamente $10^4\times$ (de $\sim 10^7$ vóxeles a $\sim 10^3$ supernodos). Los tiempos de entrenamiento e inferencia fueron significativamente menores que los de los métodos densos, con SEMIR completando el entrenamiento en una GPU T4 de 16 GB en horas, mientras que los métodos densos comparables requerían hardware de clase A100 y días.
• Estudios de Ablación: Los experimentos confirmaron que la contracción de aristas previene la fragmentación, la eliminación de aristas separa las estructuras minoritarias y la eliminación de nodos poda el ruido. La optimización few-shot superó significativamente al ajuste manual fijo. El método también se generalizó a dominios no médicos (imágenes aéreas NWPU VHR-10), logrando un alto IoU para objetos pequeños.

Significado y Afirmaciones
El artículo afirma que SEMIR establece un marco principiado para aprender representaciones latentes que preservan la topología y se adaptan a la tarea para datos visuales estructurados de alta resolución. Al formalizar las compensaciones entre la adherencia a los límites, la compacidad y la manejabilidad como parámetros aprendibles, SEMIR cambia el paradigma de comprimir imágenes en representaciones fijas a aprender un espacio de inferencia que preserva la estructura semánticamente relevante. Los autores afirman que este enfoque ofrece una vía escalable hacia la segmentación consciente de los límites en la imagen médica, particularmente para estructuras minoritarias donde los métodos multiclase tienen un rendimiento sistemáticamente inferior debido al desequilibrio de clases. El trabajo enfatiza que la minoría aprendida sirve como una etapa de preprocesamiento que puede desacoplarse de los predictores aguas abajo, ofreciendo modularidad para diversas arquitecturas de modelos.