Can Synthetic Data Overcome the Generalization Limits of AI-Based Flower and Pod Detection Across Cowpea Breeding Genotypes and Environments?

Resumo Técnico: Dados Sintéticos para Generalização da Detecção de Flores e Vagens de Feijão-caupi

Definição do Problema
A fenotipagem de alto rendimento (HTP) depende da visão computacional baseada em IA para caracterizar características de culturas, mas esses modelos frequentemente falham ao generalizar para novos genótipos, locais e temporadas de cultivo. No melhoramento do feijão-caupi (Vigna unguiculata), a detecção precisa de flores e vagens é crítica para a estimativa de produtividade e análise de resposta ao estresse. No entanto, anotar imagens do mundo real para cada combinação de genótipo por ambiente (G×E) é proibitivamente caro. Os modelos existentes treinados em conjuntos de dados específicos sofrem uma degradação significativa de desempenho quando implantados sob condições não vistas devido a mudanças de distribuição em iluminação, estrutura do dossel e qualidade da imagem. O desafio central é se as imagens sintéticas, geradas a partir de modelos 3D procedimentais, podem substituir a extensa carga de anotação do mundo real necessária para alcançar uma generalização robusta, desde que o hiato de domínio "sim-to-real" possa ser efetivamente fechado.

Metodologia
O estudo emprega um framework sistemático para quantificar os desvios de G×E e avaliar estratégias de dados sintéticos usando a detecção de flores e vagens de feijão-caupi como um estudo de caso.

1. Coleta de Dados e Análise de G×E:

   • Dados Reais: As imagens foram coletadas via um rover Google Mineral T4 em dois locais na Califórnia (Davis e Kearney) ao longo de duas temporadas de cultivo (2022, 2023). O conjunto de dados inclui 168 genótipos MAGIC (Multi-Parent Advanced Generation Inter-Cross).
   • Regimes Experimentais: Os modelos foram treinados e testados sob quatro regimes para isolar efeitos: Genótipo Visto/Ambiente Visto (GsEs), Genótipo Visto/Ambiente Não Visto (GsEu), Genótipo Não Visto/Ambiente Visto (GuEs) e Genótipo Não Visto/Ambiente Não Visto (GuEu).
   • Diagnóstico de Desvio: A degradação de desempenho foi correlacionada com desvios distributivos medidos via centroides de incorporação (embeddings) do DINOv2 e distâncias de Wasserstein, juntamente com métricas de qualidade de imagem (nitidez, ruído, brilho, contraste).

2. Geração de Dados Sintéticos:

   • Os conjuntos de dados sintéticos foram gerados usando o Helios, um framework de modelagem 3D baseado em física.
   • Duas representações foram retidas para cada cena: RGB de 8 bits padrão e float32 linear de Alta Faixa Dinâmica (HDR) (formato EXR). A representação HDR preserva informações radiométricas descartadas pela quantização de 8 bits, permitindo ajustes pós-renderização fisicamente precisos.

3. Aumento de Dados Consciente do Hiato de Domínio:

   • Em vez de depender de aumentos genéricos ou parâmetros ajustados manualmente, os autores desenvolveram um framework de otimização do hiato de domínio.
   • Um pipeline paramétrico de realismo de câmera (simulando exposição, balanço de branco, ruído do sensor, vinheta da lente e compressão JPEG) foi aplicado às imagens sintéticas.
   • Otimização: Os parâmetros foram ajustados via busca aleatória em estágios para minimizar a distância Wasserstein (Earth Mover's) entre a distribuição sintética aumentada e a distribuição de imagens reais alvo. Este objetivo combinou estatísticas de imagem de baixo nível e similaridade de incorporação de alto nível.

4. Experimentos de Adaptação Few-Shot:

   • Modelos de detecção (YOLOv11x) foram treinados sob vários regimes: zero-shot (apenas sintético), real-apenas few-shot (1, 5, 10 imagens) e sintético-mais-real few-shot.
   • O estudo comparou dados sintéticos de 8 bits vs. HDR e aumento não otimizado vs. otimizado de domínio.

Principais Contribuições

• Quantificação de Desvios G×E: O estudo fornece evidência empírica de que desvios ambientais (local e ano) causam uma degradação de desempenho significativamente maior do que desvios apenas de genótipo. A detecção de vagens foi encontrada como mais sensível a esses desvios do que a detecção de flores devido à maior variabilidade estrutural e oclusão.
• Framework de Otimização do Hiato de Domínio: Uma abordagem inovadora que otimiza explicitamente os parâmetros de aumento para minimizar a distância estatística entre os domínios sintético e real, em vez de depender de heurísticas ou aumentos fixos.
• Análise HDR vs. 8-bit: Uma demonstração de que a representação linear HDR (EXR), quando combinada com aumento otimizado, produz uma generalização superior aos renders de 8 bits padrão, pois retém a informação radiométrica necessária para correções eficazes de exposição e balanço de branco.
• Eficiência Few-Shot: Evidência de que combinar supervisão sintética otimizada com tão somente cinco imagens reais pode igualar ou exceder o desempenho das linhas de base de treinamento de dados reais completos para tarefas de generalização espacial.

Resultos

• Limites de Generalização: A detecção de flores mAP@50 caiu de uma linha de base de 76,3% para tão baixo quanto 50,6% sob desvios G×E não vistos. A detecção de vagens foi ainda mais sensível a esses desvios, caindo para 45,0% nos regimes mais desafiadores.
• Transferência Sintética: Dados sintéticos sozinhos (zero-shot) melhoraram o desempenho sobre o pré-treinamento genérico do COCO, mas permaneceram limitados pelo hiato de domínio.
• Impacto da Otimização e Formato:
  • Aumento: O aumento otimizado para o hiato de domínio consistiu em superar consistentemente o aumento não aumentado e o ajuste manual.
  • Representação: A representação HDR (EXR) superou consistentemente o JPG de 8 bits. A otimização reduziu o hiato de domínio para EXR em 24% e traduziu isso em um ganho relativo de 26% no mAP zero-shot. Para o JPG de 8 bits, a otimização reduziu o hiato, mas não gerou ganhos significativos de detecção, provavelmente devido à perda de informação irreversível durante a quantização.
• Desempenho Few-Shot:
  • Para generalização espacial (Kearney não visto), os dados sintéticos EXR-Otimizados combinados com 5 imagens reais alcançaram o desempenho de detecção de flores (51,8 mAP) igualando a linha de base de dados reais completos (51,7 mAP).
  • A detecção de vagens beneficiou-se mais da supervisão sintética nas contagens de shots mais baixas (1 shot), onde o treinamento apenas com dados reais era altamente instável.
  • Os ganhos foram mais modestos para a generalização temporal (ano 2022 não visto), particularmente para a detecção de vagens, sugerindo que o pipeline atual não fecha totalmente o hiato para todos os tipos de desvio.

Significância e Alegações
O artigo afirma que os dados sintéticos podem superar os limites de generalização da fenotipagem baseada em IA, mas apenas quando o hiato de domínio é medido e otimizado, em vez de apenas assumido como inexistente. O estudo argumenta que:

1. A diversidade ambiental é o principal motor da falha dos modelos, sugerindo que programas de melhoramento devem priorizar a coleta de dados em diversos locais e anos.
2. A supervisão sintética é mais valiosa como um complemento aos dados reais em regimes de poucos dados, particularmente para tarefas difíceis como a detecção de vagens, onde a anotação real é escassa.
3. O alinhamento motivado fisicamente e orientado por dados (usando HDR e aumento otimizado por Wasserstein) é essencial para construir a ponte para o domínio real (sim-to-real). Simplesmente gerar imagens fotorrealistas é insuficiente; a assinatura estatística da câmera e do pipeline ISP deve ser explicitamente modelada e otimizada contra as estatísticas do mundo real.

Os autores concluem que esta abordagem oferece um caminho escalável para uma fenotipagem robusta baseada em IA, reduzindo a carga de anotação enquanto mantém o desempenho através de diversos ambientes de melhoramento.