Image-Based Estimation of Blueberry Yield Incorporating External Validation and Canopy Architecture Under Field Conditions

Resumo Técnico: Estimativa de Rendimento de Mirtilo Baseada em Imagens Incorporando Validação Externa e Arquitetura de Dossel

Definição do Problema
Quantificar o rendimento e a maturação dos frutos do mirtilo é crítico para avaliar o potencial de rendimento em ensaios de melhoramento e otimizar a logística de produção. No entanto, a medição manual continua sendo um gargalo devido ao fato de ser lenta, intensiva em mão de obra, dispendiosa e sujeita à subjetividade. Embora as redes de detecção de objetos ofereçam uma solução de alto rendimento, estudos existentes frequentemente carecem de validação externa rigorosa contra a verdade de campo colhida manualmente, particularmente quando consideram explicitamente a oclusão do dossel. As plantas de mirtilo de alto arbusto (highbush) apresentam desafios específicos em comparação com variedades silvestres devido à sua morfologia complexa e à significativa oclusão volumétrica dos frutos pela folhagem. Além disso, as condições de campo introduzem variabilidade na luminosidade, distância fotográfica e perspectiva, enquanto as diferenças específicas de cada genótipo na estrutura do dossel complicam ainda mais a visibilidade das bagas para sistemas de visão computacional.

Metodologia
O estudo desenvolveu um pipeline de detecção de bagas multiclasse e o validou contra contagens colhidas manualmente em 32 genótipos diversos de mirtilo de alto arbusto (southern highbush).

• Arquitetura do Pipeline: O sistema utiliza Slicing Aided Hyper Inference (SAHI) para subdividir imagens de alta resolução em blocos (tiles) sobrepostos de 640x640px, ajustando dinamicamente o tamanho do corte com base na resolução da imagem para melhorar a detecção de alvos pequenos. O backbone de detecção utiliza YOLOv8 (comparando especificamente as variantes nano e extra-large) tanto para detecção de classe única quanto multiclasse (imatura vs. madura). O pós-processamento inclui supressão de não-máximo (NMS) e filtragem heurística baseada em proporções quadradas para remover detecções errôneas.
• Conjunto de Dados: O conjunto de dados "blue-2" compreende 459 imagens anotadas contendo 110.220 anotações de bagas em duas classes de maturação (imatura e madura). O conjunto de dados foi construído usando imagens de câmeras DSLR e dispositivos móveis, capturadas via plataformas manuais e robóticas.
• Validação Externa: A validação da verdade de campo foi realizada em 32 genótipos em Straughn Farms, Flórida. As imagens foram capturadas de uma distância fixa (~170 cm) usando uma Canon EOS Rebel T6 montada em um rover. Todas as bagas foram subsequentemente colhidas e contadas manualmente.
• Integração da Arquitetura do Dossel: Para abordar a oclusão, o estudo extraiu métricas de arquitetura do dossel (ex: largura, altura, área, solicidez, dimensão fractal, homogeneidade de textura e índices de cor) usando um pipeline baseado em OpenCV.
• Modelagem Preditiva: A relação entre as detecções baseadas em imagem, características do dossel e contagens de verdade de campo foi modelada usando Regressão Linear Múltipla (LM), Regressão de Mínimos Quadrados Parciais (PLSR), Regressão Ridge, Floresta Aleatória (Random Forest) e Máquinas de Vetores de Suporte (SVM). Os modelos foram avaliados por meio de um framework de validação cruzada de 80:20 repetido 100 vezes.

Principais Resultados

• Desempenho de Detecção: O YOLOv8x alcançou o maior desempenho de detecção com um mAP50 de 0,82 e mAP50–95 de 0,66. A abordagem multiclasse não degradou significativamente o desempenho de detecção em comparação com a detecção de classe única. O modelo demonstrou forte correlação (R² ≥ 0,98) entre as anotações e os resultados de inferência.
• Classificação de Maturação: O modelo alcançou altos escores F1 para bagas imaturas (0,91), mas escores mais baixos para bagas maduras (0,74), em parte devido às variações de cor durante a transição do verde para o azul e à classificação errônea de cores intermediárias.
• Subestimação e Oclusão: As detecções baseadas em imagem subestimaram sistematicamente as contagens de frutos colhidos manualmente, com valores de R² variando de 0,40 a 0,61. As contagens colhidas manualmente foram aproximadamente quatro vezes maiores que as previsões baseadas em imagem. Essa subestimação foi atribuída à oclusão do dossel, que variou amplamente entre os genótipos (42% a 90%).
• Impacto da Arquitetura do Dossel: A incorporação de características da arquitetura do dossel derivadas de imagem melhorou significativamente a precisão da previsão. A Regressão de Mínimos Quadrados Parciais (PLSR) emergiu como o modelo de melhor desempenho, aumentando os valores de R² para contagens de frutos colhidos manualmente de uma linha de base de 0,52–0,61 para 0,52–0,74 (alcançando especificamente R² = 0,743 para contagens de bagas imaturas e 0,74 para a razão de maturação).
• Correlações: As características da arquitetura do dossel mostraram associações moderadas com as taxas de oclusão (ex: solicidez r=0,49, variabilidade de brilho r=0,61), confirmando que atributos estruturais explicam as variações na visibilidade dos frutos.

Principais Contribuições

1. Pipeline Validado: O estudo fornece um pipeline de detecção multiclasse rigorosamente validado para mirtilos de alto arbusto que considera explicitamente os desafios da detecção de objetos pequenos em ambientes de campo complexos.
2. Quantificação da Oclusão: Quantifica a extensão da oclusão específica de cada genótipo (42–90%), demonstrando que a estrutura do dossel é o principal fator de erro de detecção e que as contagens baseadas em imagem sozinhas são insuficientes para a estimativa absoluta de rendimento sem correção.
3. Integração de Características Estruturais: A pesquisa demonstra que a integração de características de arquitetura de dossel derivadas de imagem (estruturais, de textura e de cor) com dados de detecção de frutos melhora significativamente a estimativa de rendimento e maturação, oferecendo um método para compensar parcialmente os frutos ocultos.
4. Implicações para o Melhoramento: O estudo identifica a visibilidade dos frutos e a redução da oclusão como potenciais alvos de seleção para programas de melhoramento que visam melhorar a compatibilidade com fenotipagem de alto rendimento e colheita robótica.

Significância e Alegações
Os autores afirmam que seus resultados demonstram que considerar a oclusão do dossel através da integração de características arquitetônicas melhora a precisão da estimativa de rendimento de mirtilo baseada em imagem. O estudo apoia o uso de visão computacional para fenotipagem de alto rendimento, mas enfatiza que os modelos atuais tendem a subestimar as contagens absolutas devido à folhagem. Ao incorporar métricas de dossel, o sistema pode melhor capturar a variação biologicamente significativa entre os genótipos. Os autores concluem que, embora os fenótipos derivados de imagem capturem efetivamente as diferenças relativas, estratégias de melhoramento futuras devem considerar a exposição dos frutos e a abertura do dossel para aumentar a precisão tanto da fenotipagem quanto dos sistemas de colheita robótica. O artigo não afirma ter resolvido totalmente o problema da oclusão, mas sim fornece um framework metodológico para mitigar seu impacto na estimativa de rendimento.