Beyond Accuracy Rankings: Cross-Dataset Stability and Computational Cost in Plant Disease Classification

En los rincones tranquilos de una granja, la diferencia entre una cosecha abundante y un cultivo arruinado a menudo se reduce a una única decisión oportuna: identificar una hoja enferma antes de que la infección se propague. Durante siglos, esta tarea ha dependido del ojo entrenado de un agricultor o de un experto agrícola, una habilidad perfeccionada por la experiencia pero vulnerable a la fatiga, a síntomas similares entre diferentes enfermedades y a las variables caóticas del mundo natural. Para aportar una mano más firme a este trabajo, los científicos han recurrido a la visión artificial, enseñando a las máquinas a reconocer enfermedades de las plantas mostrándoles miles de fotografías. Estos sistemas digitales, construidos sobre el aprendizaje profundo, se han vuelto notablemente buenos para detectar la enfermedad cuando se prueban con las mismas imágenes con las que fueron entrenados. Sin embargo, una pregunta crítica permanece: si un sistema aprende a diagnosticar una enfermedad en un laboratorio perfectamente iluminado, ¿seguirá funcionando cuando la luz sea intensa, el fondo esté lleno de maleza o la foto haya sido tomada con una cámara diferente? La fiabilidad de estas herramientas depende no solo de qué tan bien memoricen sus datos de entrenamiento, sino de cómo resistan ante la realidad desordenada del campo.

Este es el rompecabezas central abordado por los investigadores Nitin Kumar y la Dra. Sakshi Dua, de la Lovely Professional University. Se propusieron mirar más allá de la simple clasificación de qué modelo de computadora obtiene la puntuación más alta en un examen. En su lugar, querían comprender cómo se desempeñan tres tipos populares de arquitecturas de inteligencia artificial —ResNet-50, MobileNetV2 y EfficientNet-B0— cuando las reglas del juego cambian. Entrenaron estos modelos en una colección masiva y curada de más de 70,000 imágenes de hojas sanas y enfermas, un conjunto de datos conocido como el New Plant Diseases Dataset. Esta colección es limpia y uniforme, muy parecida a un estudio fotográfico. Una vez entrenados los modelos, los investigadores no se detuvieron ahí. Tomaron los mismos modelos y los probaron en un conjunto de imágenes completamente diferente llamado PlantDoc, que consiste en fotos tomadas en campos del mundo real con iluminación desigual y fondos complejos. El objetivo era ver si los modelos podían transferir lo aprendido desde el estudio limpio al campo caótico, y medir cuánta potencia de cómputo requería cada modelo para realizar la tarea.

Los resultados revelaron una división marcada e instructiva entre el rendimiento en el laboratorio y el rendimiento en la naturaleza. Cuando se probaron en los datos internos limpios con los que fueron entrenados, los tres modelos funcionaron con una alta competencia, identificando correctamente la gran mayoría de las hojas. ResNet-50, el más grande y complejo de los tres, logró la mayor precisión, clasificando correctamente más del 96 por ciento de las imágenes. Sin embargo, cuando los investigadores cambiaron a las imágenes de PlantDoc del mundo real, el rendimiento de los tres modelos cayó en picada. La precisión del modelo con mejor desempeño descendió a poco más del 21 por ciento. Esta caída dramática resalta un error común en la inteligencia artificial: un sistema que sobresale en un entorno controlado suele tener dificultades cuando el fondo, la iluminación o la calidad de la imagen cambian. Es probable que los modelos hubieran aprendido a depender de pistas sutiles de los fondos limpios de sus datos de entrenamiento, pistas que estaban ausentes en las fotos del campo.

No obstante, la historia no termina con un simple fracaso. Cuando los investigadores profundizaron, utilizando diferentes formas de medir el éxito que daban cuenta de qué tan bien los modelos manejaban cada tipo específico de enfermedad en lugar de solo el promedio general, surgió un panorama distinto. Si bien ResNet-50 seguía teniendo la mayor precisión bruta en las imágenes de campo, el modelo MobileNetV2, que está diseñado para ser ligero y rápido, en realidad funcionó mejor al identificar correctamente las categorías específicas de enfermedades. Logró una puntuación más alta en una métrica que trata cada tipo de enfermedad como igualmente importante, lo que sugiere que era más consistente en todos los ámbitos. Este hallazgo desafía la suposición de que el modelo más potente o complejo es siempre la mejor opción. En este caso, el modelo construido para la eficiencia mostró una sorprendente resiliencia ante la imprevisibilidad del mundo real.

Más allá de la precisión, el estudio puso un fuerte énfasis en el costo de ejecutar estos modelos. En el mundo de la agricultura, donde las computadoras podrían estar funcionando en dispositivos alimentados por energía solar en campos remotos, la velocidad y el uso de memoria importan tanto como la inteligencia. Los investigadores midieron cuánto tiempo le tomó a cada modelo analizar una sola imagen y cuántas imágenes podía procesar en un segundo. Aquí, MobileNetV2 fue el claro ganador. Requirió la menor cantidad de memoria, procesó las imágenes más rápido y pudo manejar más de 200 imágenes por segundo. En contraste, ResNet-50, aunque fue ligeramente más preciso en la prueba interna, fue significativamente más lento y requirió diez veces más memoria para funcionar. EfficientNet-B0 se situó en un punto intermedio, ofreciendo un equilibrio pero no la eficiencia extrema de MobileNetV2. Los datos sugieren que, para aplicaciones prácticas, donde los recursos son limitados y la velocidad es esencial, el modelo más pequeño y rápido podría ser la opción más viable, incluso si no es el campeón absoluto en un laboratorio perfecto.

Los investigadores fueron cuidadosos al señalar los límites de sus hallazgos. La prueba externa utilizó un número relativamente pequeño de imágenes, y el hardware específico utilizado para medir la velocidad podría no reflejar perfectamente el rendimiento en cada teléfono móvil o dispositivo de borde (edge device). También señalaron que la caída en el rendimiento se debió probablemente a una mezcla de factores, incluyendo cambios en el fondo, la iluminación y la calidad de la imagen, en lugar de una sola causa. No pretendían haber resuelto el problema del fallo entre conjuntos de datos, sino más bien proporcionar una comparación clara y controlada que muestra cómo se comportan diferentes modelos bajo presión. El estudio concluye que elegir la herramienta adecuada para la clasificación de enfermedades de las plantas requiere mirar más allá de un solo número de precisión. Exige un equilibrio entre qué tan bien predice un modelo, qué tan consistentemente maneja diferentes tipos de enfermedades y qué tan eficientemente utiliza los recursos de cómputo disponibles. Al final, el mejor modelo no es necesariamente el que tiene la puntuación más alta en un examen, sino el que ofrece un rendimiento más confiable y eficiente cuando las luces se apagan y el trabajo comienza en el campo.