Resumen Técnico: AgroVG: Un Benchmark Multi-fuente a Gran Escala para el Anclaje Visual Agrícola

Definición del Problema

Los sistemas de IA agrícola requieren la capacidad de anclar instrucciones en lenguaje natural en entornos de cultivos complejos para habilitar tareas como el deshierbe selectivo, el monitoreo de enfermedades y la cosecha dirigida. Si bien el anclaje visual (localizar objetos descritos por texto) ha avanzado en dominios generales, los benchmarks existentes no abordan los desafíos específicos de las imágenes agrícolas. Estos desafíos incluyen:

1. Instancias Densas y Repetitivas: Las imágenes individuales a menudo contienen docenas de objetivos visualmente similares (por ejemplo, espigas de trigo, frutos agrupados), lo que invalida la suposición de un objetivo único por consulta.
2. Objetos Pequeños, Ocluidos e Irregulares: Las plagas, las lesiones por enfermedades y las hojas a menudo tienen límites no convexos y están parcialmente ocultas, lo que hace que los cuadros delimitadores sean insuficientes para la evaluación a nivel de píxel.
3. Expresiones sin Objetivo: Las instrucciones realistas de campo pueden referirse a objetos que no están presentes en la imagen, lo que requiere que los modelos se abstengan en lugar de alucinar predicciones.

Los benchmarks agrícolas actuales carecen de protocolos de anclaje a nivel de instancia, se limitan a conjuntos de datos de una sola fuente o no evalúan los requisitos conjuntos de precisión de localización, completitud del conjunto y abstención consciente de la existencia.

Metodología

Los autores introducen AgroVG, un benchmark multi-fuente formulado como un problema generalizado de predicción de conjuntos. Dada una imagen y una expresión de referencia, el modelo debe devolver todas las instancias de objetivos coincidentes (una, muchas o ninguna) ya sea como cuadros delimitadores o máscaras de instancia.

Construcción del Conjunto de Datos

• Escala y Fuentes: AgroVG comprende 10,071 pares de imagen-consulta anclados a anotaciones derivados de 10 conjuntos de datos fuente (por ejemplo, PhenoBench, CropAndWeed, GWHD, IP102, PlantSeg).
• Familias de Objetivos: El benchmark cubre seis familias de objetivos agrícolas: cultivo/maleza, fruto, espiga de trigo, plaga, enfermedad de la planta y dosel arbóreo.
• Anclaje de Anotaciones: Cada consulta es rastreable hasta anotaciones de instancia verificadas. Las consultas positivas se vinculan a conjuntos de objetivos específicos, mientras que las consultas sin objetivo se verifican para tener conjuntos de objetivos vacíos dentro del espacio de familias del benchmark.
• Tareas:
  • T1 (Anclaje de Cuadro Delimitador): Soportado en las seis familias de objetivos. Los modelos predicen conjuntos de cuadros delimitadores alineados con los ejes.
  • T2 (Anclaje de Máscara de Instancia): Soportado en tres familias con anotaciones de píxeles a nivel de instancia confiables (cultivo/maleza, fruto, enfermedad de la planta). Los modelos predicen máscaras binarias.
• Regímenes de Consulta: Ambas tareas evalúan tres regímenes:
  • Objetivo Único: $K=1$ instancia.
  • Múltiples Objetivos: $K>1$ instancias.
  • Sin Objetivo: $K=0$ (no existe ninguna instancia coincidente).
• Control de Calidad: El pipeline de construcción incluye muestreo impulsado por auditorías, revisión visual experta para eliminar imágenes corruptas o anotaciones desalineadas, y generación de consultas consciente de la división para prevenir la filtración de datos.

Protocolo de Evaluación

La evaluación utiliza métricas específicas de la tarea para diagnosticar fallos en la localización, la completitud del conjunto y la abstención:

• Métricas T1: Utiliza Set-F1 (basado en el emparejamiento de cardinalidad máxima en umbrales de IoU de 0.50 y 0.75) para consultas de múltiples objetivos, Precisión Estricta para consultas de objetivo único y Precisión Vacía para consultas sin objetivo.
• Métricas T2: Utiliza Cobertura de Máscara a Nivel de Consulta (mIoU, cIoU, Dice) para consultas positivas y Precisión Vacía para consultas sin objetivo. Este enfoque evita el emparejamiento de máscaras por instancia en favor de evaluar la unión de las regiones referidas.

Resultados Clave

Los autores realizaron una evaluación zero-shot de 26 configuraciones de modelos, incluidos MLLM de código cerrado (por ejemplo, GPT-4o, GPT-5.4), VLM de código abierto (por ejemplo, InternVL3.5, Qwen3-VL) y sistemas de anclaje especializados (por ejemplo, OWLv2, Grounding DINO, LISA, SAM).

• Brechas de Rendimiento: El benchmark revela limitaciones significativas en los modelos actuales.
  • Completitud del Conjunto: La mejor puntuación Set-F1 de múltiples objetivos en T1 es solo 0.3540 (InternVL3.5-8B), lo que indica que los modelos luchan por recuperar todas las instancias válidas en escenas densas.
  • Anclaje de Máscara: La mejor tasa de éxito de máscara para consultas positivas en T2 en IoU@0.75 permanece por debajo de 0.17. El mejor All-mIoU es inferior a 0.32.
  • Calibración de la Abstención: Los modelos muestran una mala calibración en consultas sin objetivo. Algunos modelos (por ejemplo, GPT-4o) se abstienen bien pero localizan mal en consultas positivas, mientras que otros (por ejemplo, Florence-2) detectan bien los objetivos positivos pero alucinan predicciones cuando los objetivos están ausentes (0% de Precisión Vacía).
• Compensaciones: Existe una clara compensación entre la calidad de la máscara en consultas positivas y el rechazo de objetivos ausentes. Modelos como SAM 3 logran una alta Precisión Vacía (93.4%) pero una calidad de máscara en consultas positivas débil, mientras que los MLLM de segmentación como LISA-13B producen mejores máscaras pero alucinan frecuentemente en objetivos ausentes.
• Perspectivas Diagnósticas: El rendimiento varía significativamente entre las familias de objetivos y los tipos de consulta. Las consultas basadas en rango (por ejemplo, "más a la izquierda", "más grande") y las consultas de selección lateral siguen siendo sustancialmente más difíciles que las consultas de objetivo único, lo que sugiere que la detección de vocabulario abierto por sí sola es insuficiente para el anclaje agrícola generalizado.

Significado y Afirmaciones

El artículo posiciona a AgroVG como un benchmark diagnóstico en lugar de una medida de preparación para el despliegue. Sus contribuciones principales son:

1. Formulación: Plantea el anclaje visual agrícola como un problema generalizado de predicción de conjuntos, abordando explícitamente la necesidad de completitud de múltiples objetivos y abstención consciente de la existencia.
2. Benchmark Exhaustivo: Proporciona el primer benchmark unificado que abarca seis familias de objetivos agrícolas con protocolos de anclaje tanto de cuadros delimitadores como de máscaras de instancia bajo regímenes de objetivo único, múltiples y sin objetivo.
3. Valor Diagnóstico: La evaluación revela fallos sistemáticos en los modelos actuales más avanzados en cuanto a completitud del conjunto, calibración de la abstención y anclaje de máscaras finas. Estos hallazgos destacan que un anclaje agrícola confiable requiere progreso conjunto en la detección de la existencia del objetivo, la estimación de cardinalidad y la cobertura geométrica.

Los autores enfatizan que AgroVG sirve como un campo de pruebas estandarizado para identificar modos de fallo (como la alucinación en objetivos ausentes o la recuperación incompleta del conjunto) que son críticos para la seguridad en la agricultura de precisión pero que a menudo se pasan por alto en los benchmarks estándar de anclaje de objetos individuales. El conjunto de datos y el código se liberan para apoyar la investigación futura en el desarrollo de sistemas de IA agrícola más confiables, conscientes de las instrucciones y conscientes de la existencia.