A Two-Stage Hard-Negative- and Occlusion-Aware Framework for Oil Palm Fresh Fruit Bunch Harvesting Decision Support

Resumo Técnico: Um Framework de Dois Estágios de Sensível a Negativos Difíceis e Oclusão para Suporte à Decisão de Colheita de Cachos de Em Palma de Óleo

Problema
As decisões de colheita de cachos de frutos frescos (FFB) de palma de óleo em plantações naturais são complicadas por fatores ambientais, como o envolvimento de gramíneas, fibras de tronco, frutos caídos, sombras e fundos complexos. Classificadores de maturidade convencionais frequentemente operam sob a premissa de que cada candidato detectado é um FFB válido. Essa premissa leva a decisões de colheita inseguras quando presentes falsos positivos (negativos difíceis) ou cachos fortemente ocluídos. Estudos existentes focam frequentemente na classificação de FFBs já visíveis ou recortados manualmente, falhando em distinguir explicitamente entre alvos verdadeiros e interferências de fundo, ou em converter predições ao nível do candidato em decisões de colheita ao nível da imagem orientadas à segurança sob oclusão.

Metodologia
O estudo propõe um framework leve de dois estágios projetado para integrar segmentação de instâncias, verificação de candidatos, classificação de maturidade e mapeamento de decisão orientado à ação.

• Estágio 1: Segmentação de Candidatos por Instância
  O primeiro estágio utiliza o YOLO11s-seg para gerar máscaras de instância para candidatos a FFB a partir de imagens brutas de campo. Diferente da detecção por caixa delimitadora (bounding-box), a segmentação de instância fornece recortes mascarados que reduzem a interferência de fundo para o estágio subsequente. O modelo foi treinado em um conjunto de dados combinando imagens autocoletadas da plantação da Universiti Kebangsaan Malaysia (UKM) e imagens RGB públicas, com anotações estritamente limitadas a FFBs válidos pendentes nas árvores.

• Estágio 2: Verificação de Candidato e Classificação de Maturidade
  O segundo estágio emprega o YOLOv8n-cls para classificar cada recorte de candidato mascarado em uma de cinco categorias semânticas:

  1. non_FFB: Candidatos negativos difíceis (ex: gramíneas, fibras de tronco, frutos caídos).
  2. occluded_FFB: FFBs verdadeiros com evidência de maturidade insuficiente devido à oclusão.
  3. unripe: FFBs dominados por frutos de cor escura/preto-púrpura.
  4. underripe: FF fear FFBs parcialmente desenvolvidos com aparência vermelha/alaranjada limitada.
  5. ripe: FFBs maduros com aparência clara vermelho-alaranjada.

  Diferente dos classificadores convencionais treinados apenas em imagens de frutos limpas, este modelo é treinado em recortes de candidatos gerados pelo modelo de segmentação do Estágio 1, permitindo que aprenda pistas de verificação para rejeitar falsos positivos e identificar alvos ocluídos.

• Mapeamento de Decisão
  As predições ao nível do candidato são agregadas em quatro decisões de colheita ao nível da imagem baseadas em uma regra de prioridade:

  • Harvest available (Colheita disponível): Atribuído se pelo menos um candidato for classificado como ripe.
  • Review (Revisar): Atribuído se nenhum candidato ripe existir, mas pelo menos um occluded_FFB estiver presente (exigindo reobservação).
  • Wait (Esperar): Atribuído se apenas candidatos unripe ou underripe estiverem presentes.
  • No target (Sem alvo): Atribuído se nenhum candidato válido restar após a filtragem das regiões non_FFB.

Principais Contribuições

1. Framework de Dois Estágios: Desenvolvimento de um pipeline que separa a geração de candidatos da verificação de candidatos, lidando explicitamente com negativos difíceis e oclusão em vez de assumir que todas as detecções são válidas.
2. Estratégia de Avaliação de Cinco Classes: Introdução de classes específicas para non_FFB e occluded_FFB para abordar as limitações da classificação padrão de apenas maturidade em ambientes de campo complexos.
3. Esquema de Decisão Orientado à Ação: Um mecanismo de mapeamento que converte predições semânticas refinadas em decisões operacionais (Colher, Revisar, Esperar, Sem alvo), priorizando a segurança ao adiar decisões sobre alvos incertos ou ocluídos.
4. Avaliação Orientada à Implementação: Avaliação utilizando métricas relevantes para a segurança em campo, incluindo precisão de colheita, recall de colheita, taxa de colheita falsa e taxa de colheita perdida, em vez de depender apenas da precisão de detecção.

Resultados Experimentais
O framework foi avaliado em um conjunto de teste agrupado de 99 amostras (derivado de 498 recortes de candidatos totais).

• Desempenho de Classificação: O modelo de cinco classes alcançou uma acurácia de classificação de 90,91% e uma acurácia de decisão de colheita de 93,94%.
• Métricas de Segurança de Colheita: O sistema alcançou 100,00% de precisão de colheita e uma taxa de colheita falsa de 0,00%, indicando que nenhum exemplo não colhível foi incorretamente recomendado para colheita imediata. O recall de colheita foi de 93,75%, com uma taxa de colheita perdida de 6,25%.
• Seleção de Modelo: O YOLO11s-seg foi selecionado para o Estágio 1 (mAP50 de máscara = 0,9407) e o YOLOv8n-cls para o Estágio 2 (1,44M de parâmetros) devido ao seu equilíbrio ideal entre acurácia e eficiência computacional.
• Estudo de Ablação: Comparações com modelos de apenas maturidade (três classes) e de consciência de negativo difícil (quatro classes) demonstraram que o design completo de cinco classes era necessário para atingir a maior acurácia de decisão (0,9394). A inclusão da classe occluded_FFB especificamente evitou a classificação errônea de FFBs obstruídos como candidatos inválidos.
• Filtragem de Candidatos: Em uma análise de estilo de implementação de 105 imagens, o Estágio 2 filtrou com sucesso 17,22% dos candidatos brutos como non_FFB, confirmando a necessidade da etapa de verificação.

Significância e Alegações
O artigo alega que a rejeição explícita de negativos difíceis e a avaliação sensível à oclusão melhoram significamente a segurança e a interpretabilidade do suporte à decisão de colheita de FFB. Ao alcançar uma taxa de colheita falsa de 0,00%, o framework oferece uma estratégia conservadora adequada para implementação em campo, onde a colheita falsa leva a perdas operacionais desnecessárias. Os autores enfatizam que a alta taxa de "Review" observada em imagens brutas de campo não é uma falha do modelo, mas um mecanismo funcional de consciência de incerteza, garantindo que alvos obstruídos sejam sinalizados para reobservação em vez de serem ignorados ou colhidos prematuramente.

O estudo conclui que, embora os resultados atuais sejam promissores, é necessária mais coleta de dados para melhorar a robustez estatística em diversas condições de campo. O trabalho futuro visa expandir o conjunto de dados, incorporar decisões de nível de imagem verificadas por humanos e investigar observações de múltiplas vistas e informações de profundidade para apoiar a reobservação robótica e a localização autônoma do ponto de corte.