Interactive Mars Image Content-Based Search with Interpretable Machine Learning

Resumen Técnico: Búsqueda de Imágenes de Marte Basada en Contenido Interactiva con Aprendizaje Automático Interpretable

Enunciado del Problema
El Sistema de Datos Planetarios (PDS) de la NASA alberga millones de imágenes de misiones planetarias, creando un archivo de datos donde la búsqueda manual de productos específicos es inviable. Aunque existen sistemas de clasificación basados en contenido para automatizar esta búsqueda, los modelos de aprendizaje profundo estándar suelen funcionar como "cajas negras", careciendo de transparencia respecto a la evidencia visual utilizada para la toma de decisiones. Esta opacidad crea una brecha entre los modelos mentales de los usuarios de Atlas (científicos y el público) y los clasificadores, obstaculizando la confianza e impidiendo que los usuarios validen la evidencia. Además, los métodos existentes de explicación post-hoc (por ejemplo, GradCAM) pueden ser poco fiables en presencia de patrones repetitivos comunes en la imaginería planetaria, como rocas o terrenos, y fallan al explicar por qué se prestó atención a una región, indicando solo dónde.

Metodología
Los autores proponen reemplazar el clasificador basado en contenido no interpretable en el Atlas de Imágenes del PDS con un sistema inherentemente interpretable basado en la arquitectura Red de Partes Prototípicas (ProtoPNet) (Chen et al., 2019).

• Arquitectura: El sistema utiliza una red profunda estándar (VGG19 o ResNet18) como columna vertebral para la extracción de características, seguida de una capa prototípica. Esta capa aprende un conjunto de prototipos (ejemplares) que representan cada clase de imagen. Una capa totalmente conectada pondera luego estos prototipos para realizar la clasificación final.
• Mecanismo de Interpretabilidad: Para una imagen de prueba, el sistema identifica las regiones más similares a los prototipos aprendidos. Estas regiones se visualizan como cajas delimitadoras o mapas de calor, mostrando la evidencia específica que utilizó el modelo. La decisión de clasificación es transparente: es una combinación lineal de las puntuaciones de similitud entre los parches de la imagen de prueba y los prototipos.
• Mejora Novel (Pérdida de Diversidad): Los autores identificaron que el entrenamiento estándar de ProtoPNet a menudo resulta en una falta de diversidad entre los prototipos (por ejemplo, múltiples prototipos que se ven idénticos o provienen de la misma imagen de entrenamiento). Para abordar esto, introdujeron un término potenciador de diversidad ($Div$) en la función de pérdida. Este término minimiza la similitud entre prototipos distintos dentro de la misma clase, asegurando que el modelo aprenda un rango más amplio de evidencia visual.
• Estrategia de Entrenamiento: El modelo, denominado Proto-MSLNet, fue entrenado en el conjunto de datos de la superficie MSL (imágenes de los instrumentos Mastcam y MAHLI del rover Curiosity). El proceso de entrenamiento emplea una división temporal (entrenando en sols pasados, validando y probando en sols futuros) para simular una generalización realista. La función de pérdida total combina entropía cruzada, costo de agrupamiento, costo de separación y el nuevo costo de diversidad.

Contribuciones Clave

1. Despliegue de un Sistema Interpretable: El artículo describe un plan para desplegar Proto-MSLNet en el Atlas de Imágenes del PDS, reemplazando al clasificador no interpretable existente para apoyar el descubrimiento científico y la curiosidad del usuario.
2. Entrenamiento Potenciado por Diversidad: Los autores introducen y evalúan un término de costo de diversidad que mejora significativamente la variedad de evidencia utilizada por el clasificador, particularmente para clases con diversidad de prototipos inicialmente baja (por ejemplo, "Cielo Nocturno").
3. Evaluación Cuantitativa y Cualitativa de la Evidencia: A diferencia de trabajos anteriores que dependen del acuerdo con anotaciones humanas, este estudio cuantifica la corrección y la diversidad de los prototipos aprendidos. Demuestran que el sistema puede identificar evidencia errónea (por ejemplo, características de fondo actuando como evidencia negativa) y datos mal etiquetados.
4. Bucle de Retroalimentación del Usuario: El sistema propuesto incluye un mecanismo para que los usuarios reporten clasificaciones erróneas o evidencia incorrecta, creando un bucle de retroalimentación para refinar el modelo.

Resultados

• Compensación de Rendimiento: Los modelos interpretables Proto-MSLNet mostraron una ligera caída en la precisión de prueba (aproximadamente 2.5 puntos porcentuales) y un aumento en la tasa de abstención (imágenes donde el modelo no está lo suficientemente seguro para clasificar, aumentando de ~15.5% a ~24.5% para ResNet18) en comparación con sus contrapartes no interpretables. Esto se atribuye a las restricciones impuestas por la capa prototípica.
• Mejoras en la Diversidad: La inclusión del término de pérdida de diversidad resultó en un aumento de 2 puntos porcentuales en la precisión de prueba y aumentó significativamente la diversidad de prototipos para la clase "Cielo Nocturno" (de ~4 prototipos únicos a una cantidad mayor), mientras que las clases ya ricas en diversidad (por ejemplo, "Roca Flotante") no mostraron cambios.
• Perspectivas Cualitativas:
  • Corrección: El sistema identificó con éxito que los prototipos de "Cielo Nocturno" se centraban en la vaciedad, lo que llevaba a una clasificación errónea de imágenes del "Sol" cuando este no era prominente. Por el contrario, las clasificaciones correctas destacaban la forma brillante y redonda del sol.
  • Evidencia Negativa: El modelo aprendió a utilizar características de fondo como evidencia negativa (por ejemplo, fondos rocosos con pesos negativos) para distinguir objetivos de calibración.
  • Superposición de Clases: El análisis reveló superposiciones entre clases como "Articulación de Rueda" y "Rueda", atribuidas a la posición de la cámara y los ángulos de rotación, e identificó instancias mal etiquetadas en el conjunto de datos.

Significado y Afirmaciones
El artículo afirma que un sistema inherentemente interpretable es vital para cerrar la brecha entre los modelos mentales de los usuarios y los clasificadores de imágenes planetarias. Al hacer transparente la evidencia, el sistema permite a los usuarios:

1. Validar las señales visuales utilizadas por el clasificador.
2. Identificar evidencia errónea o problemas de calidad de datos a través de la adjudicación del usuario.
3. Participar activamente con los datos, fomentando un bucle de retroalimentación que puede mejorar el rendimiento del clasificador con el tiempo.

Los autores afirmodestamente que, aunque existe un costo menor de rendimiento, la capacidad de depurar evidencia espuria y el establecimiento de un mecanismo de retroalimentación impulsado por el usuario son esenciales para la mejora a largo plazo de la clasificación de contenido en las misiones planetarias de la NASA. El trabajo futuro se centrará en estudios con usuarios para optimizar la visualización de prototipos y la integración de la retroalimentación del usuario en los protocolos de refinamiento del modelo.