Resumen Técnico: LeafMD – Un conjunto de datos y un benchmark multirregional de imagen-texto para el modelado de visión y lenguaje en enfermedades de las plantas

Planteamiento del problema

Las enfermedades de las plantas representan una amenaza crítica para la seguridad alimentaria mundial, causando pérdidas anuales estimadas en 220.000 millones de USD. Si bien la inteligencia artificial y el aprendizaje profundo ofrecen potencial para la detección escalable de enfermedades, los enfoques actuales se ven obstaculizados por las limitaciones de los conjuntos de datos existentes. La mayoría de los recursos públicos de enfermedades de las plantas sufren tres deficiencias primarias:

1. Diversidad geográfica y ambiental limitada: Los conjuntos de datos existentes suelen estar fragmentados, dominados por imágenes de entornos controlados (entornos de laboratorio) y restringidos a un rango estrecho de especies de cultivos o regiones geográficas. Esto limita la transferibilidad y escalabilidad de los modelos entrenados con ellos a las condiciones agrícolas del mundo real.
2. Falta de profundidad semántica: Las anotaciones suelen limitarse a etiquetas categóricas de enfermedades para la clasificación de imágenes. Carecen de información semántica con base biológica, como descripciones detalladas de síntomas, etapas de progresión de la enfermedad u contextos de observación, los cuales son cruciales para un razonamiento patológico de grano fino.
3. Ausencia de benchmarks multimodales estandarizados: Existe una falta de recursos interoperables que integren pares de imagen-texto para soportar tareas avanzadas como la respuesta visual a preguntas (VQA), la interpretación de síntomas y la estadificación de enfermedades bajo condiciones de campo realistas.

Metodología

Los autores presentan LeafMD, un recurso integrado que comprende LeafNet 2.0 (un conjunto de datos de imagen-texto a gran escala) y LeafBench 2.0 (un benchmark de respuesta visual a preguntas o VQA). La construcción siguió un flujo de trabajo de tres etapas:

1. Recolección del conjunto de datos de imágenes (LeafNet 2.0)

• Expansión: El conjunto de datos se construyó expandiendo la colección original de LeafNet, incorporando 89.398 imágenes adicionales de Asia del Sur y del Sudeste Asiático para complementar los datos existentes de África y los EE. UU.
• Escala y diversidad: El conjunto de datos final contiene 255.855 pares de imagen-texto que cubren 37 especies de cultivos, 197 clases de cultivos-enfermedades y 9 regiones geográficas (que abarcan sistemas tropicales, subtropicales y templados).
• Curación: Las imágenes se obtuvieron de repositorios públicos y comunicaciones institucionales directas. Un proceso riguroso de control de calidad excluyó imágenes con síntomas poco claros, áreas de lesión insignificantes, enfoque no foliar (por ejemplo, frutos/tallos) o coinfecciones múltiples (para evitar la incertidumbre en la anotación). Todas las imágenes retenidas se redimensionaron a 224 × 224 píxeles.
• Realismo: La colección extendida aumentó significativamente la proporción de imágenes capturadas bajo condiciones de campo naturales con fondos heterogéneos e iluminación variable, reduciendo el dominio de las imágenes de entornos controlados.

2. Construcción de subtítulos (Captions)

• Anotación con intervención humana (Human-in-the-Loop): Anotadores capacitados crearon descripciones de referencia a nivel de clase basadas en literatura revisada por pares (por ejemplo, Springer Nature, Elsevier) e informes de extensión agrícola. Estas descripciones se centraron en rasgos diagnósticamente relevantes (morfología de la lesión, color, distribución, deformación) para etapas tempranas y tardías de la enfermedad.
• Generación asistida por LLM: Para asegurar la consistencia y la escala, se utilizó OpenAI GPT-4 para generar 255.855 subtítulos específicos de cada imagen. El modelo fue guiado por los subtítulos de referencia escritos por humanos para integrar el contexto visual con las descripciones biológicas.
• Control de calidad: Un flujo de evaluación de tres modelos (usando Gemini Pro 2.5, GPT-4 y Claude 3.5) evaluó la claridad y relevancia de las referencias escritas por humanos. Posteriormente, los subtítulos generados fueron validados por expertos en la materia. Las muestras con inconsistencias (aproximadamente el 7%) fueron revisadas o excluidas.

3. Evaluación comparativa (Benchmarking) (LeafBench 2.0)

• Diseño de tareas: LeafBench 2.0 es un benchmark de opción múltiple de VQA derivado de LeafNet 2.0, que cubre nueve tareas de grano fino: Identificación de Enfermedades (DI), Clasificación de Patógenos (PC), Identificación de Especies de Cultivos (CSI), Identificación de Síntomas (SI), Clasificación de Sano–Enfermo (HDC), Clasificación de Nombre Científico (SNC), Identificación de Lesiones (LI), Detección de Síntomas Foliar (LSD) y Clasificación de Severidad de la Enfermedad (DSC).
• Evaluación: El benchmark fue probado en 16 modelos de visión y lenguaje, incluyendo arquitecturas basadas en CLIP, VLMs generativos y modelos propietarios (GPT-4o, Gemini 2.5 Pro).

Resultados clave

Validación del conjunto de datos

• Precisión biológica: La validación de expertos en 6.361 pares de imagen-subtítulo mostró un acuerdo del 100% en las etiquetas de especies de cultivos y enfermedades.
• Anotación de etapas: Las anotaciones de las etapas de la enfermedad lograron una consistencia del 99% donde la evidencia visual era suficiente.
• Calidad de los subtítulos: Aunque el 7% de las muestras requirieron revisión debido a descripciones genéricas o coincidencias parciales de síntomas, el flujo de trabajo logró preservar la identidad biológica central y la consistencia de la clase de la enfermedad en todo el conjunto de datos.

Desempeño del benchmark

• Brechas de desempeño: Existe una brecha de desempeño significativa entre el reconocimiento de enfermedades de forma general y el razonamiento patológico de grano fino.
  • Alto desempeño: Los modelos sobresalieron en la Clasificación de Sano–Enfermo (HDC) (hasta 95.70% con Gemini 2.5 Pro) e Identificación de Especies de Cultivos (CSI) (hasta 76.80%).
  • Bajo desempeño: Las tareas que requieren discriminación sutil, como la Clasificación de Patógenos (PC), la Clasificación de Nombre Científico (SNC) y la Identificación de Lesiones (LI), arrojaron una precisión mucho menor (a menudo por debajo del 50% para modelos de código abierto).
• Comparación de modelos:
  • Modelos propietarios: Gemini 2.5 Pro (67.78% de promedio) y GPT-4o (64.72% de promedio) demostraron el desempeño más equilibrado en todas las tareas.
  • Modelos de dominio específico: Los modelos adaptados a la agricultura, particularmente AgriCLIP y SCOLD, superaron consistentemente a varias arquitecturas de dominio general más grandes en tareas orientadas a síntomas (por ejemplo, AgriCLIP alcanzó un 65.10% en Identificación de Enfermedades).
  • Modelos de código abierto: Entre los modelos generativos de código abierto, Qwen3-VL-4B logró la mayor precisión promedio (60.02%).

Significado y Reivindicaciones

El artículo afirma que LeafMD aborda la necesidad crítica de conjuntos de datos estandarizados, interoperables y representativos en la patología vegetal. Su importancia radica en:

1. Fundación multimodal: Al integrar descripciones de síntomas con base biológica con anotaciones a nivel de imagen, LeafNet 2.0 permite el desarrollo de modelos fundacionales agrícolas conscientes de la enfermedad capaces de un razonamiento patológico de grano fino, yendo más allá de la simple clasificación categórica.
2. Aplicabilidad en el mundo real: La inclusión de diversas regiones geográficas, especies de cultivos y condiciones de campo naturales (incluyendo etapas tempranas y tardías de la enfermedad) proporciona un entorno de evaluación más realista para los sistemas de IA destinados al despliegue agrícola operativo.
3. Evaluación del razonamiento de grano fino: LeafBench 2.0 establece un marco riguroso para evaluar la capacidad de los modelos para interpretar variaciones sutiles de síntomas, inferir agentes causales y evaluar la severidad de la enfermedad, revelando las limitaciones actuales en el razonamiento de grano fino incluso para los modelos de vanguardia.

Los autores posicionan a LeafMD no meramente como un repositorio de datos, sino como un recurso para fomentar el desarrollo de sistemas de IA interpretables y transferibles que puedan operar a través de la variabilidad e incertidumbre de los entornos agrícolas reales. Señalan que, si bien los modelos actuales muestran potencial, persisten desafíos significativos para distinguir enfermedades visualmente similares y realizar un razonamiento patológico complejo.