A Two-Stage Hard-Negative- and Occlusion-Aware Framework for Oil Palm Fresh Fruit Bunch Harvesting Decision Support

Resumen Técnico: Un Marco de Trabajo de Dos Etapas Consciente de la Oclusión y de los Falsos Negativos Difíciles para el Soporte de Decisiones en la Cosecha de Racimos de Fruta Fresca de Palma de Aceite

Planteamiento del Problema
Las decisiones de cosecha de los racimos de fruta fresca (FFB, por sus siglas en inglés) de la palma de aceite en plantaciones naturales se ven complicadas por factores ambientales como la adherencia de hierba, fibras del tronco, frutos caídos, sombras y fondos complejos. Los clasificadores de madurez convencionales suelen operar bajo la suposición de que cada candidato detectado es un FFB válido. Esta suposición conduce a decisiones de cosecha inseguras cuando hay falsos positivos (negativos difíciles) o racimos fuertemente ocluidos presentes. Los estudios existentes se centran frecuentemente en clasificar FFBs que ya son visibles o recortados manualmente, fallando al no distinguir explícitamente entre los objetivos reales y la interferencia del fondo, o al no convertir las predicciones a nivel de candidato en decisiones de cosecha a nivel de imagen orientadas a la seguridad bajo oclusión.

Metodología
El estudio propone un marco de trabajo ligero de dos etapas diseñado para integrar la segmentación de instancias, la verificación de candidatos, la clasificación de madurez y el mapeo de decisiones orientado a la acción.

• Etapa 1: Segmentación de Candidatos a Nivel de Instancia
  La primera etapa utiliza YOLO11s-seg para generar máscaras de instancia para los candidatos a FFB a partir de imágenes de campo crudas. A diferencia de la detección de cajas delimitadoras (bounding-box), la segmentación de instancias proporciona recortes enmascarados que reducen la interferencia del fondo para la etapa subsiguiente. El modelo fue entrenado con un conjunto de datos que combina imágenes recolectadas por cuenta propia de la plantación de la Universiti Kebangsaan Malaysia (UKM) e imágenes RGB públicas, con anotaciones estrictamente limitadas a FFBs válidos suspendidos en los árboles.

• Etapa 2: Verificación de Candidatos y Clasificación de Madurez
  La segunda etapa emplea YOLOv8n-cls para clasificar cada recorte de candidato enmascarado en una de cinco categorías semánticas:

  1. non_FFB: Candidatos de negativos difíciles (ej. hierba, fibras del tronco, frutos caídos).
  2. occluded_FFB: FFBs reales con evidencia de madurez insuficiente debido a la oclusión.
  3. unripe: FFBs dominados por fruta de color oscuro/púrpura negro.
  4. underripe: FFBs parcialmente desarrollados con apariencia roja/naranja limitada.
  5. ripe: FFBs maduros con clara apariencia roja/rojo-anaranjada.

  A diferencia de los clasificadores convencionales entrenados solo con imágenes de fruta limpia, este modelo es entrenado con recortes de candidatos generados por el modelo de segmentación de la Etapa 1, lo que le permite aprender claves de verificación para rechazar falsos positivos e identificar objetivos ocluidos.

• Mapeo de Decisiones
  Las predicciones a nivel de candidato se agregan en cuatro decisiones de cosecha a nivel de imagen basadas en una regla de prioridad:

  • Harvest available (Cosecha disponible): Se asigna si al menos un candidato es clasificado como ripe.
  • Review (Revisar): Se asigna si no existen candidatos ripe, pero al menos un occluded_FFB está presente (requiere reobservación).
  • Wait (Esperar): Se asigna si solo hay candidatos unripe o underripe.
  • No target (Sin objetivo): Se asigna si no quedan candidatos válidos tras filtrar las regiones non_FFB.

Contribuciones Clave

1. Marco de Trabajo de Dos Etapas: Desarrollo de un flujo de trabajo que separa la generación de candidatos de la verificación de candidatos, manejando explícitamente los negativos difíciles y la oclusión en lugar de asumir que todas las detecciones son válidas.
2. Estrategia de Evaluación de Cinco Clases: Introducción de clases específicas para non_FFB y occluded_FFB para abordar las limitaciones de la clasificación de madurez estándar en entornos de campo complejos.
3. Esquema de Decisión Orientado a la Acción: Un mecanismo de mapeo que convierte las predicciones semánticas finas en decisiones operativas (Cosechar, Revisar, Esperar, Sin objetivo), priorizando la seguridad al diferir las decisiones sobre objetivos inciertos o incluidos.
4. Evaluación Orientada al Despliegue: Evaluación utilizando métricas relevantes para la seguridad en el campo, incluyendo precisión de cosecha, recuperación de cosecha, tasa de cosecha falsa y tasa de cosecha omitida, en lugar de depender únicamente de la precisión de detección.

Resultados Experimentales
El marco fue evaluado en un conjunto de prueba agrupado de 99 muestras (derivadas de 498 recortes de candidatos totales).

• Desempeño de Clasificación: El modelo de cinco clases logró una precisión de clasificación del 90.91% y una precisión de decisión de cosecha del 93.94%.
• Métricas de Seguridad de Cosecha: El sistema logró una precisión de cosecha del 100.00% y una tasa de cosecha falsa del 0.00%, indicando que ningún ejemplo no cosechable fue recomendado incorrectamente para la cosecha inmediata. La recuperación de cosecha fue del 93.75%, con una tasa de cosecha omitida del 6.25%.
• Selección de Modelo: Se seleccionó YOLO11s-seg para la Etapa 1 (Mask mAP50 = 0.9407) y YOLOv8n-cls para la Etapa 2 (1.44M de parámetros) debido a su equilibrio óptimo entre precisión y eficiencia computacional.
• Estudio de Ablación: Las comparaciones con modelos de solo madurez (tres clases) y de conciencia de negativos difíciles (cuatro clases) demostraron que el diseño completo de cinco clases era necesario para lograr la mayor precisión de decisión (0.9394). La inclusión de la clase occluded_FFB específicamente evitó la clasificación errónea de FFBs obstruidos como candidatos inválidos.
• Filtrado de Candidatos: En un análisis de estilo de despliegue de 105 imágenes, la Etapa 2 filtró exitosamente el 17.22% de los candidatos brutos como non_FFB, confirmando la necesidad del paso de verificación.

Significancia y Reivindicaciones
El artículo sostiene que el rechazo explícito de negativos difíciles y la evaluación consciente de la oclusión mejoran significamente la seguridad e interpretabilidad del soporte de decisiones para la cosecha de FFB. Al lograr una tasa de cosecha falsa del 0.00%, el marco ofrece una estrategia conservadora adecuada para el despliegue en campo, donde la cosecha falsa conlleva pérdidas operativas innecesarias. Los autores enfatizan que la alta tasa de "Review" observada en las imágenes de campo brutas no es un fallo del modelo, sino un mecanismo funcional de conciencia de la incertidumbre, asegurando que los objetivos obstruidos sean marcados para su reobservación en lugar de ser ignorados o cosechados prematuramente.

El estudio concluye que, si bien los resultados actuales son prometedores, se requiere una mayor recolección de datos para mejorar la robustez estadística en diversas condiciones de campo. El trabajo futuro pretende expandir el conjunto de datos, incorporar decisiones a nivel de imagen verificadas por humanos e investigar la observación multivista y la información de profundidad para apoyar la reobservación robótica y la localización autónoma del punto de corte.