Context Determines Optimal Architecture in Materials Segmentation

Resumen Técnico: El contexto determina la arquitectura óptima en la segmentación de materiales

Planteamiento del problema
Las arquitecturas de segmentación actuales en la ciencia de materiales se evalúan típicamente en modalidades de imagen únicas, lo que oculta variaciones críticas de rendimiento relevantes para el despliegue en el mundo real. Los autores observan que una arquitectura óptima para una modalidad de imagen suele tener un rendimiento inferior en otra. En sus evaluaciones, los mejores modelos exhiben una dispersión de 48 puntos porcentuales en las puntuaciones de Intersección sobre Unión (IoU) (que oscilan entre 0.47 y 0.95) a pesar de utilizar protocolos de entrenamiento idénticos. Esta variación sugiere que los sesgos inductivos interactúan de manera no trivial con las estadísticas específicas de cada modalidad. Además, los estándares de evaluación reportan el rendimiento agregado en lugar de proporcionar orientación de despliegue para modalidades y sistemas de materiales específicos. Esta brecha crea riesgos de despliegue significativos: los modelos de segmentación pueden exhibir errores de alta confianza bajo cambios de covariable (por ejemplo, variaciones de lote, diferencias de preparación o deriva de la imagen), produciendo máscaras semánticamente plausibles pero incorrectas que se propagan sin ser detectadas hacia análisis cuantitativos posteriores, tales como fracciones de porosidad o distribuciones de tamaño de grano erróneas.

Metodología
Para abordar la necesidad de una evaluación condicionada al contexto, los autores proponen un marco de evaluación configurable de tres componentes para la segmentación de imágenes de materiales a través de modalidades heterogéneas (SEM, AFM, XCT y microscopía óptica). El marco mapea entradas heterogéneas a perfiles estandarizados, produce máscaras de segmentación con señales de fiabilidad y genera mapas de calor de interpretabilidad.

1. Módulo de Configuración Transmodal: Este módulo estandariza las especificaciones del conjunto de datos ($D$), las descripciones de la tarea ($T$) y las elecciones del modelo ($M$) en un perfil de configuración ($C$). El perfil es un documento JSON estructurado que define:

   • Propiedades del conjunto de datos: Modalidad, sistema de material y metadatos.
   • Objetivos de la tarea: Especificaciones en lenguaje natural (por ejemplo, "Identificar bordes de grano") y métricas de rendimiento.
   • Especificaciones del modelo: Combinaciones de codificadores (ResNet50, SE-ResNeXt101) y decodificadores (UNet, DeepLabv3, DeepLabv3+).
     El marco evalúa seis combinaciones de codificador-decodificador a través de siete conjuntos de datos para determinar si los rankings arquitectónicos son estables o dependientes del contexto.

2. Evaluación con Control de Calidad y Señales de Retroalimentación: Dada una configuración, este módulo ejecuta el flujo de trabajo de evaluación para producir máscaras de segmentación ($Z$) y señales de fiabilidad ($Q$). Utiliza la detección de Fuera de Distribión (OOD) (mediante embeddings autosupervisados y estimación de tipicidad) para cuantificar la calibración del modelo bajo posibles cambios de covariable. Estas señales (AUROC, F1, precisión) actúan como advertencias accionables, identificando cambios de distribución antes de que se manifiesten como errores de segmentación.

3. Integración de Conocimiento Experto mediante Retroalimentación Contrafactual: Para validar que las representaciones aprendidas codifican estructuras relevantes para el dominio, el marco genera explicaciones contrafactuales. Una función de intérprete construye entradas perturbadas aplicando núcleos de perturbación localizados a regiones de interés específicas. Calcula un mapa de calor de influencia ($H$) que mide la sensibilidad $\ell_1$ de las predicciones a estas perturbaciones. Esto revela qué características microestructurales son críticas para la decisión, permitiendo a los expertos verificar que el modelo se basa en características físicamente significativas (por ejemplo, gradientes topográficos) en lugar de artefactos específicos del conjunto de datos.

Resultados Clave
Al evaluar seis combinaciones de codificador-decodificador a través de siete conjuntos de datos que abarcan cuatro modalidades de imagen, el estudio revela una dependencia sistemática del contexto en el rendimiento arquitectónico:

• Rendimiento del Codificador: El SE-ResNeXt101 superó consistentemente al ResNet50 como codificador en todas las configuraciones.
• Dependencia del Contexto del Decodificador: La elección del decodificador óptimo está estrictamente ligada a la dificultad de la tarea y a las características de los datos:
  • Caracterización de Superficies de Alto Contraste (AFM, SEM de superficie): UNet junto con SE-ResNeXt101 logró un rendimiento superior (IoU > 0.90). Se encontró que las conexiones de salto (skip connections) de UNet preservan los gradientes espaciales finos, críticos para la delimitación de bordes en imágenes 2D de alto contraste.
  • Monitoreo de Procesos Dinámicos: La misma combinación SE-ResNeXt101 + UNet produjo un rendimiento moderado (IoU 0.65–0.76) para tareas como el monitoreo de pozos de fusión, donde los desafíos derivan de la variación temporal más que de un desajuste arquitectónico.
  • Análisis Volumétrico Multiescala (XCT, Fractografía): Para tareas 3D complejas que involucran corrosión bajo tensión o fractografía, cambiar a DeepLabv3+ como decodificador mejoró significamente el rendimiento (IoU 0.47–0.75). El pooling piramidal espacial atruoso de DeepLabv3+ capturó eficazmente los patrones de defectos a través de múltiples escalas y manejó mejor las morfologías irregulares de las redes de grietas subsuperficiales que UNet.
• Varianza de Rendimiento: La misma arquitectura (SE-ResNeXt101 + UNet) alcanzó un IoU de 0.901 en el análisis de cristalitos, pero solo de 0.652 para el monitoreo de fabricación, una dispersión de 25 puntos porcentuales que quedaría enmascarada por un reporte agregado.

Significancia y Reivindicaciones
El artículo afirma abordar una brecha práctica en la caracterización de materiales donde los investigadores carecen de herramientas para seleccionar arquitecturas para sus configuraciones de imagen específicas o para evaluar la confiabilidad de los modelos en nuevas muestras. Al demostrar que "el contexto determina la arquitectura óptima", los autores argumentan que los benchmarks estáticos y agregados son insuficientes para los flujos de trabajo científicos.

La significancia del marco radica en su capacidad para proporcionar:

1. Guía Arquitectónica: Evidencia de que los sesgos inductivos deben emparejarse con las características de la imagen (por ejemplo, UNet para 2D de alto contraste, DeepLabv3+ para complejidad volumétrica).
2. Señales de Fiabilidad: Mecanismos para detectar fallos silenciosos mediante la detección de OOD, evitando la propagación de errores hacia el análisis científico posterior.
3. Interpretabilidad: Explicaciones contrafactuales que permiten a los expertos del dominio validar que los modelos se están enfocando en características microestructurales físicamente significativas.

Los autores concluyen que la combinación de control de calidad con retroalimentación interpretable por expertos respalda el despliegue confiable en flujos de trabajo científicos donde los fallos silenciosos conllevan costos reales, permitiendo un ciclo iterativo desde la especificación de la tarea hasta la selección de la arquitectura, la evaluación de la calidad y la validación por parte de expertos.