Resumen Técnico: Comportamiento de Alucinaciones en Modelos de Lenguaje Multimodales a través de Tareas de Interpretación y Generación de Imágenes Agrícolas

Declaración del Problema

La adopción rápida de Modelos de Lenguaje (LLMs) y Modelos de Lenguaje Multimodales (MLLMs) en la imagenología agrícola presenta riesgos significativos debido a las "alucinaciones": salidas que parecen confiables pero se desvían de la realidad biológica o ambiental. En el dominio agrícola, tales errores pueden conducir a conocimientos agronómicos mal informados, incluyendo diagnósticos incorrectos de enfermedades, aplicaciones inadecuadas de pesticidas y evaluaciones de rendimiento defectuosas. Aunque los LLMs muestran promesa en la automatización de la documentación y el apoyo a la toma de decisiones, su susceptibilidad a generar contenido factualmente incorrecto o biológicamente imposible sigue siendo una barrera crítica para la confianza y el despliegue. Este estudio aborda la falta de evaluación rigurosa sobre la precisión y seguridad de las salidas de los LLMs en dos modalidades específicas: imagen a texto (interpretación de imágenes de cultivos) y texto a imagen (generación de escenas agrícolas sintéticas).

Metodología

Los autores realizaron una evaluación sistemática de los comportamientos de alucinación en tareas interpretativas y generativas utilizando múltiples modelos de última generación, incluidos Gemma, LLAVA, Qwen, MiniCPM, GPT-5 y Gemini 2.5 Flash.

1. Evaluación de Imagen a Texto (Interpretación)

El estudio evaluó la capacidad de los modelos para interpretar imágenes agrícolas mediante dos configuraciones experimentales:

• Clasificación de la Condición del Cultivo: Se pidió a los modelos que clasificaran imágenes de hojas de tomate como "sanas" o "enfermas" (específicamente mancha bacteriana).
  • Zero-shot: Los modelos se basaron únicamente en conocimientos preentrenados sin ejemplos.
  • Few-shot: Se proporcionaron a los modelos imágenes de referencia de hojas sanas y enfermas para guiar la interpretación.
• Detección y Conteo de Frutos: Utilizando un subconjunto de un conjunto de datos de fresas de invernadero (100 imágenes), se pidió a los modelos mediante Preguntas y Respuestas (QA) que:
  • P1: Determinaran la presencia de frutos.
  • P2: Identificaran la etapa de desarrollo (maduro vs. inmaduro).
  • P3: Contaran los frutos en cada categoría.
• Métricas: El rendimiento se midió utilizando Precisión de Clasificación, puntuaciones F1 y matrices de confusión para identificar falsos positivos (enfermedad alucinada) y falsos negativos (infecciones pasadas por alto).

2. Evaluación de Texto a Imagen (Generación)

El estudio evaluó la consistencia biológica de las imágenes generadas a partir de indicaciones textuales.

• Contenido No Solicitado/Extravagante: Se pidió a los modelos que generaran imágenes agrícolas específicas (por ejemplo, imágenes térmicas de hojas infectadas, imágenes RGB de fresas infectadas por moho). Las salidas se analizaron en busca de la inclusión de elementos visuales no especificados en la indicación (por ejemplo, gradientes de temperatura artificiales, escombros de fondo o etiquetas de texto).
• Contradicciones Biológicas: Los autores probaron los modelos con indicaciones "improbables" diseñadas para desencadenar alucinaciones, como generar una imagen de una "fresa libre de enfermedades cubierta de oídio".
  • Variaciones de la Indicación: Se realizaron pruebas con solicitudes directas (T1) y solicitudes reformuladas que incluían una justificación para fines de investigación (T2) para observar si se podían eludir los mecanismos de seguridad.
• Criterios de Evaluación: Las imágenes generadas se examinaron en busca de imposibilidades anatómicas, contradicciones fisiológicas (por ejemplo, plantas sanas con daños graves por plagas) e inconsistencias ambientales.

Contribuciones Clave

El artículo realiza tres contribuciones principales al campo de la IA agrícola:

1. Identificación de Patrones de Alucinación: El estudio caracteriza sistemáticamente los patrones de alucinación recurrentes en tareas agrícolas tanto interpretativas como generativas, destacando específicamente errores en la consistencia biológica, la precisión contextual y la plausibilidad agronómica.
2. Evaluación Cuantitativa de la Fiabilidad: Los autores proporcionan datos empíricos sobre el rendimiento de múltiples MLLM en escenarios agrícolas, demostrando que incluso los modelos avanzados exhiben tasas de error significativas en configuraciones zero-shot y siguen siendo susceptibles a alucinaciones incluso cuando se aplica la indicación few-shot.
3. Análisis de Vulnerabilidades Generativas: La investigación revela que los modelos generativos pueden producir escenas biológicamente inconsistentes (por ejemplo, cultivos sanos con daños por plagas) y que modificaciones sutiles en la indicación (por ejemplo, añadir una justificación de investigación) pueden anular los mecanismos de seguridad, lo que lleva a la generación de imágenes agronómicamente imposibles.

Resultados

Rendimiento en la Interpretación de Imágenes

• Precisión Zero-shot: Los modelos lograron una precisión modesta que osciló entre 63% y 75% en la clasificación de enfermedades de hojas de tomate.
• Mejora Few-shot: El rendimiento mejoró con la indicación few-shot, alcanzando hasta 86.8% (Gemma), pero las alucinaciones persistieron.
• Tipos de Error:
  • Qwen exhibió una alta tasa de falsos negativos en la detección de fresas, negando frecuentemente la presencia de frutos a pesar de la evidencia visual.
  • MiniCPM mostró una discrepancia significativa entre la precisión (76.84%) y la puntuación F1 (0.782) en la detección de frutos, y una brecha amplia en la clasificación de tomates zero-shot (63.0% de precisión vs. 0.46 de puntuación F1), lo que indica efectos residuales de alucinación.
  • LLAVA y Gemma demostraron perfiles de error más equilibrados, pero aún produjeron predicciones falsas no despreciables.

Hallazgos en la Generación de Imágenes

• Elementos No Solicitados: Los modelos añadieron frecuentemente detalles irrelevantes agronómicamente. Por ejemplo, GPT-5 generó gradientes térmicos exagerados y transiciones de halo en imágenes térmicas, mientras que Gemini 2.5 Flash añadió regiones brillantes uniformes o elementos de fondo no solicitados como suelo y canales de riego.
• Inconsistencia Biológica:
  • Cuando se les pidió generar un "dosel de soja sano con daños extensos por plagas", modelos como GPT-5 y Gemini 2.5 Flash generaron imágenes donde las hojas mostraban agujeros de alimentación graves, pero estaban etiquetadas o implícitamente visuales como "sanos".
  • En la prueba de "fresa libre de enfermedades con oídio", Gemini 2.5 Flash generó una imagen biológicamente imposible (tasa de generación del 91% bajo restricciones relajadas) que mostraba un fruto sano cubierto de moho.
  • GPT-5 inicialmente rechazó la indicación directa (T1), pero cumplió con la justificación de investigación reformulada (T2), generando una imagen contradictoria con una tasa de generación del 91% para escenas biológicamente improbables.
• Sensibilidad a la Indicación: La tasa de generación de contenido biológicamente improbable aumentó drásticamente cuando las indicaciones se enmarcaron como ilustraciones de investigación (por ejemplo, GPT-5 aumentó del 64% al 91%).

Significado y Afirmaciones

El artículo afirma que esta evaluación sistemática ofrece conocimientos críticos sobre la fiabilidad de las plataformas de imagenología agrícola basadas en LLM. Los autores enfatizan que:

• Limitaciones Actuales: Incluso los modelos avanzados (GPT-5, Gemini 2.5 Flash) poseen debilidades fundamentales en el fundamento biológico, lo que conduce a salidas que son lingüísticamente fluidas pero factualmente incorrectas o fisiológicamente imposibles.
• Riesgo para las Partes Interesadas: Las alucinaciones no reconocidas pueden engañar a agricultores, investigadores y planificadores de políticas, erosionando potencialmente la confianza en los sistemas de IA y causando daños económicos o ambientales tangibles a través de recomendaciones agronómicas incorrectas.
• Necesidad de Salvaguardas: El estudio argumenta que lograr el potencial de la agricultura digital requiere pipelines de validación rigurosos, ajuste fino específico del dominio y generación guiada por restricciones para asegurar que las salidas se mantengan fieles a la realidad biológica. Los autores sugieren que el trabajo futuro debe centrarse en fortalecer la resiliencia de las indicaciones y desarrollar marcos de decodificación fundamentados biológicamente para mitigar estos riesgos.