Are vision-language models ready to zero-shot replace supervised classification models in agriculture?

Resumen Técnico: ¿Están los Modelos Visuales-Lingüísticos Listos para Reemplazar en Cero Disparos a los Modelos de Clasificación Supervisados en la Agricultura?

Enunciado del Problema
Los modelos visuales-lingüísticos (VLM) han demostrado capacidades sólidas de cero disparos y pocos disparos en tareas visuales de dominio general, lo que ha despertado interés en su despliegue en agricultura, donde los datos etiquetados suelen ser escasos o costosos. Sin embargo, la comprensión de imágenes agrícolas presenta desafíos únicos, incluida una alta variabilidad intraclase, diferencias visuales finas y una fuerte dependencia de la información contextual (por ejemplo, tipo de cultivo, etapa fenológica, geografía). Aunque los modelos supervisados específicos de tarea han abordado históricamente estos desafíos, requieren un esfuerzo sustancial de anotación y tienen dificultades para generalizar. Sigue sin estar claro si los VLM comerciales actuales son lo suficientemente fiables para reemplazar estos sistemas supervisados en el apoyo a la toma de decisiones agrícolas críticas, especialmente dado el alto costo de la clasificación errónea en las acciones de gestión.

Metodología
Los autores presentan una evaluación sistemática a gran escala que compara un conjunto diverso de VLM de código abierto y de código cerrado frente a una línea base supervisada.

• Conjuntos de datos: La evaluación utilizó 27 conjuntos de datos de la colección AgML, que comprenden 248.000 imágenes distribuidas en 162 clases. Estos cubren tres categorías principales de tareas: identificación de enfermedades de las plantas, detección de plagas y daños, y clasificación de especies de plantas y malezas.
• Modelos:
  • Modelos Fundacionales: Modelos de código abierto (SigLIP2, LLaVA-NeXT, Qwen2.5-VL, Gemma-3, Deepseek-VL) y modelos de código cerrado (GPT-5 Nano, GPT-5, Gemini-3 Pro, Claude Haiku 4.5).
  • Línea base: Un modelo YOLO11 supervisado y ajustado finamente sirvió como referencia de rendimiento específico de la tarea.
• Protocolos de Evaluación:
  • Respuesta a Preguntas de Opción Múltiple (MCQA): Se solicitó a los modelos que seleccionaran entre conjuntos de etiquetas restringidas. Las variantes incluyeron opciones limitadas a clases dentro de la misma especie, clases entre diferentes especies y la inclusión de una opción "Ninguna de las anteriores" para probar las capacidades de rechazo.
  • Pregunta Abierta (OEQ): Se pidió a los modelos que generaran respuestas de forma libre describiendo enfermedades, plagas o especies sin opciones predefinidas.
• Métricas: El rendimiento se midió utilizando dos enfoques complementarios:
  1. Precisión de Coincidencia Exacta: Basada en coincidencia difusa de cadenas (preprocesamiento, comprobaciones de subcadenas y similitud de secuencias) con un umbral de 0,6.
  2. Precisión del Juez LLM: Una evaluación semántica que utiliza un LLM con capacidad de razonamiento (GPT-OSS-20B) para determinar si la respuesta predicha y la verdad fundamental son semánticamente equivalentes, filtrando coincidencias de alta confianza.

Resultados Clave

1. Superioridad de la Línea Base Supervisada: La línea base supervisada YOLO11 logró consistentemente una precisión notablemente superior a cualquier modelo fundacional de cero disparos en todas las tareas.
2. Impacto del Formato de Prompt: El prompt de MCQA produjo un rendimiento sustancialmente superior al de OEQ. El VLM de mejor rendimiento (Gemini-3 Pro) alcanzó una precisión promedio de aproximadamente el 62% bajo MCQA, mientras que la precisión cruda de OEQ fue típicamente inferior al 25%.
3. Sensibilidad de la Metodología de Evaluación: La elección del método de puntuación alteró significativamente los resultados. La evaluación semántica basada en LLM aumentó la precisión de OEQ para los modelos principales (por ejemplo, del 21% al 30%) y modificó la clasificación de los modelos, demostrando que la coincidencia superficial de cadenas no logra capturar la corrección semántica en contextos agrícolas.
4. Rendimiento del Modelo:
   • Código Cerrado: Gemini-3 Pro fue el mejor rendimiento en general.
   • Código Abierto: Qwen-VL-72B fue el mejor modelo de código abierto, acercándose al rendimiento de código cerrado bajo prompts restringidos, pero aún por detrás de los sistemas propietarios.
5. Diferencias a Nivel de Tarea: La clasificación de especies de plantas y malezas fue consistentemente más fácil para los modelos. La identificación de plagas y daños permaneció como la categoría más desafiante, destacando la dificultad de diagnosticar factores de estrés a partir de imágenes individuales sin priores contextuales.

Significado y Afirmaciones
El artículo concluye que los VLM comerciales actuales aún no son adecuados como sistemas de diagnóstico agrícola autónomos para reemplazar los modelos supervisados. La brecha de rendimiento persistente sugiere que las capacidades multimodales de propósito general no se traducen directamente en un reconocimiento agrícola fiable y de granularidad fina.

Sin embargo, los autores argumentan a favor de un papel matizado para los VLM en la agricultura:

• Componentes Asistenciales: Los VLM pueden funcionar eficazmente cuando se emparejan con interfaces restringidas, ontologías de etiquetas explícitas y estrategias de evaluación conscientes del dominio.
• Dependencia Contextual: Los resultados subrayan que el diagnóstico agrícola a menudo requiere más que un reconocimiento genérico; es necesario combinar la percepción de granularidad fina con el conocimiento del dominio y procesos de decisión estructurados.
• Rigor en la Evaluación: El estudio enfatiza que la metodología de evaluación (formato de prompt y puntuación) afecta significativamente las conclusiones reportadas, instando a futuros puntos de referencia a informar tanto puntuaciones de forma superficial como de juez semántico, junto con artefactos de auditoría transparentes.

El trabajo tiene como objetivo informar a los profesionales que consideran herramientas basadas en VLM y a los investigadores que desarrollan modelos multimodales de próxima generación, fundamentando estas conclusiones en un punto de referencia amplio y transparente en lugar de afirmaciones especulativas.