Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

En el mundo de la imagen microscópica, los científicos a menudo se enfrentan a un problema de escasez. Necesitan enseñar a las computadoras a reconocer defectos diminutos en superficies metálicas o átomos individuales en un cristal, pero simplemente no tienen suficientes imágenes para hacerlo. Un solo escaneo puede tardar horas, y un investigador podría lograr capturar apenas una docena de imágenes de alta calidad de un defecto específico. Para superar esta escasez, los investigadores utilizan un truco estándar llamado aumento de datos. Toman esas pocas imágenes originales y las retuercen matemáticamente —rotándolas, volteándolas, cambiando su brillo o desenfocándolas ligeramente— para crear cientos o incluso miles de nuevos ejemplos de entrenamiento. Es como tomar una única fotografía de un árbol y crear un bosque entero de versiones ligeramente diferentes de ese mismo árbol para enseñarle a un estudiante qué aspecto tiene un árbol.

El objetivo de este entrenamiento es construir un modelo que pueda mirar una imagen nueva y nunca antes vista e identificar correctamente un defecto. Para demostrar que el modelo funciona, los científicos dividen sus datos en dos montones: uno para la enseñanza y otro para las pruebas. El modelo aprende del primer montón y luego es calificado con el segundo. Si el modelo obtiene una puntuación alta, se asume que es inteligente y está listo para el uso en el mundo real. Sin embargo, una pregunta crítica permanece: ¿realmente entiende el modelo el concepto de un defecto, o simplemente ha memorizado las imágenes específicas que se le mostraron? Esta distinción es la diferencia entre el verdadero aprendizaje y el simple reconocimiento.

Un estudio reciente de Shaoxuan Zhang, de la Universidad de Tecnología de Harbin, investiga un fallo oculto en cómo se realiza a menudo este proceso. El investigador descubrió que cuando los científicos crean sus miles de imágenes de entrenamiento a partir de un puñado de originales, frecuentemente cometen un error en cómo separan el montón de enseñanza del montón de pruebas. En lugar de mantener las imágenes originales de origen separadas, mezclan todas las versiones retorcidas y luego las reparten al azar. Esto significa que una imagen utilizada para las pruebas podría ser una copia ligeramente rotada o aclarada de una imagen que el modelo ya vio durante el entrenamiento. El modelo no está siendo probado en su capacidad de generalizar a situaciones nuevas; está siendo probado en su capacidad de reconocer un casi-duplicado de algo que ya ha visto. El estudio mide exactamente cuánto infla este error las tasas de éxito reportadas y propone una forma sencilla de corregir los estándares de reporte.

Para medir la magnitud de este problema, el investigador configuró un experimento controlado utilizando dos tipos diferentes de datos microscópicos. Un conjunto de datos contenía imágenes de defectos en superficies de acero, y el otro contenía imágenes de defectos puntuales en cristales capturadas mediante un microscopio de efecto túnel de barrido. En ambos casos, el investigador comenzó con un número pequeño de imágenes originales, conocidas como adquisiciones. Para cada imagen original, generó ochenta variaciones diferentes utilizando trucos informáticos estándar. Luego, crearon dos formas diferentes de dividir este grupo de imágenes. El primer método, que es común en muchos artículos actuales, tomó todas las variaciones de todas las imágenes originales, las mezcló en un gran cubo y eligió algunas al azar para el entrenamiento y otras para las pruebas. El segundo método era más estricto: mantuvo las imágenes originales separadas. Reservó una imagen original completa para las pruebas y solo utilizó las variaciones de las imágenes originales restantes para el entrenamiento. Esto aseguró que el modelo nunca hubiera visto nada de la imagen de prueba anteriormente.

Los resultados mostraron una brecha masiva entre los dos métodos. Cuando el modelo fue entrenado y probado utilizando el método de mezcla aleatoria, alcanzó puntuaciones casi perfectas. En el conjunto de datos de superficies de acero, el modelo alcanzó una puntuación de 1.000, lo que significa que encontró cada uno de los defectos que debía encontrar. Sin embargo, cuando el mismo modelo fue probado utilizando el método más estricto que mantenía las fuentes originales separadas, la puntuación cayó drásticamente. En los presupuestos de datos más pequeños, donde solo había dos imágenes originales por tipo de defecto, el método aleatorio sobreestimó el rendimiento del modelo en más de medio punto en una escala donde 1.0 es perfecto. Incluso cuando el número de imágenes originales se aumentó a diez, el método aleatorio seguía sobrestatuando el rendimiento por un margen significativo. El modelo no estaba fallando en aprender; estaba teniendo demasiado éxito en reconocer copias de lo que ya había estudiado.

El estudio también reveló que esta inflación no era uniforme en todos los tipos de defectos. Algunos defectos eran fáciles de reconocer solo por su textura, y el modelo funcionaba bien en ellos independientemente del método de prueba. Sin embargo, para los defectos que dependían del aspecto específico del escaneo original, el método aleatorio hacía que el modelo pareciera un genio, mientras que el método estricto mostraba que estaba luchando. Esto sugiere que una puntuación alta en estos estudios puede no significar que el modelo haya aprendido a encontrar defectos en general, sino que ha aprendido a reconocer los artefactos específicos de las pocas imágenes con las que fue entrenado. La brecha entre los dos métodos se redujo ligeramente a medida que se añadían más imágenes originales, pero no desapareció. Incluso con diez imágenes originales, el método aleatorio todavía daba una puntuación que era treinta puntos más alta que la del método estricto, indicando que el problema persiste incluso con más datos.

El investigador también desarrolló una herramienta sencilla para detectar este problema sin necesidad de entrenar un modelo. Al comparar las imágenes en el conjunto de prueba con las imágenes en el conjunto de entrenamiento, la herramienta puede calcular cuántas imágenes de prueba tienen un "hermano" en el conjunto de entrenamiento. Un hermano es simplemente una variación de la misma imagen original. Si un gran número de imágenes de prueba tienen hermanos en el conjunto de entrenamiento, es una señal clara de que la evaluación es defectuosa. Esta comprobación solo tarda segundos en ejecutarse y no requiere hardware especial. El estudio encontró que, en las divisiones aleatorias defectuosas, casi todas las imágenes de prueba tenían un hermano en el conjunto de entrenamiento, mientras que en las divisiones estrictas, ninguna lo tenía.

Basándose en estos hallazgos, el artículo propone un nuevo estándar para la forma en que los investigadores deben reportar su trabajo. En lugar de solo decir cuántas imágenes se usaron, los autores deben informar con cuántas adquisiciones originales e independientes comenzaron. Deben declarar claramente si los datos fueron divididos antes o después de que las imágenes fueran retorcidas y expandidas. Deben especificar la unidad de la división, como si separaron por imagen individual o por la fuente original. Finalmente, deben incluir una comprobación simple para mostrar cuántas imágenes de prueba tienen hermanos en el conjunto de entrenamiento. Estas cuatro piezas de información son fáciles de proporcionar y harían visibles las limitaciones de los estudios de pocos datos en lugar de ocultarlas.

El estudio concluye que en el campo de la imagen de pocos datos, donde los investigadores a menudo solo tienen unos pocos escaneos originales, la forma actual de evaluar los modelos es engañosa. Las puntuaciones altas reportadas en muchos artículos describen la capacidad del modelo para reconocer copias de los datos de entrenamiento en lugar de su capacidad para encontrar defectos en situaciones nuevas y no vistas. A medida que estos sistemas informáticos pasan del análisis fuera de línea al control de experimentos reales, confiar en estas puntuaciones infladas podría llevar a decisiones erróneas. La solución no es necesariamente un nuevo algoritmo o computadoras más potentes, sino un cambio en cómo se manejan y reportan los datos. Al mantener las fuentes originales separadas y ser transparentes sobre el proceso, la comunidad científica puede asegurar que los modelos que construyen estén verdaderamente listos para el mundo real.