Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks

Resumo Técnico: Geração de Dados Sintéticos Condicionados à Tarefa para Predição Agrícola

Definição do Problema
Algoritmos de Aprendizado de Máquina (ML) são cada vez mais utilizados em tarefas de predição agrícola, como estimativa de rendimento de culturas e classificação de tipos de culturas. No entanto, seu desempenho é fortemente limitado pela quantidade e qualidade dos dados de treinamento disponíveis. Os dados de referência agrícola frequentemente sofrem com limitações que incluem escassez, imprecisões de medição, registros incompletos e cobertura espaço-temporal deficiente. Embora a Geração de Dados Sintéticos (SDG) ofereça uma solução potencial para aumentar os conjuntos de dados, os métodos atuais de SDG muitas vezes falham em melhorar o desempenho do ML a jusante (downstream). Isso ocorre porque muitas abordagens atuais focam em mimetizar a distribuição conjunta dos dados originais (fidelidade estatística) em vez de garantir que os exemplos gerados preservem as relações específicas entre características e alvos exigidas pela tarefa específica. Consequentemente, os dados sintéticos podem ser estatisticamente realistas, mas desalinhados com a tarefa, levando à degradação do desempenho do modelo quando usados para treinamento.

Metodologia: Algoritmo TCSDG
O artigo propõe a Geração de Dados Sintéticos Condicionados à Tarefa (TCSDG), um framework projetado para gerar dados tabulares sintéticos que são explicitamente otimizados para tarefas de aprendizado supervisionado a jusante. Diferente dos geradores incondicionais, o TCSDG integra um paradigma de transferência de conhecimento "professor-aluno" e aprendizado em contexto (in-context learning). O algoritmo opera através de cinco estágios distintos:

1. Alocação de Orçamento: O orçamento sintético total é distribuído pelo espaço alvo (classes para classificação, intervalos para regressão) usando um prior híbrido. Isso combina a distribuição de classes empírica com um prior de frequência inversa para garantir que classes minoritárias ou regiões de alvo sub-representadas recebam suporte sintético proporcional sem distorcer a distribuição marginal global.
2. Treinamento e Calibração do Professor: Um modelo TabICL (Modelo de Fundação Tabular para Aprendizado em Contexto) é treinado nos dados reais para atuar como um "crítico consciente da tarefa". Ele não gera dados, mas avalia candidatos. Para classificação, avalia a probabilidade de classe atribuída, a margem de predição e a entropia. Para regressão, avali via o resíduo entre a média prevista e o valor alvo do candidato. Os limiares para essas métricas são calibrados usando os dados de treinamento reais.
3. Geração de Candidatos: Um grande pool de amostras sintéticas candidatas é gerado usando uma Rede Bayesiana (BN). Para classificação, BNs condicionadas à classe são ajustadas; para regressão, uma BN conjunta é ajustada para características e alvos. Este pool é significativamente maior (pelo menos 6x o orçamento necessário) para permitir uma filtragem agressiva.
4. Seleção Guiada pelo Professor e de Preservação de Cobertura: O conjunto de dados sintético final é formado pela união de dois subconjuntos:
   • Subconjunto Consistente com o Professor: Candidatos que satisfazem os critérios específicos da tarefa definidos pelo professor TabICL (ex: alta confiança, baixa incerteza).
   • Subconjunto de Cobertura: Candidatos selecionados do pool restante para garantir suporte distributivo e diversidade, utilizando agrupamento k-means de mini-lote (MiniBatch k-means) para selecionar representantes próximos aos centroides.
5. Ponderação de Amostras: As amostras sintéticas recebem pesos baseados em seus escores de qualidade derivados do professor. Isso permite que modelos a jusante (especificamente aqueles que suportam treinamento ponderado, como Random Forest e SVM) priorizem registros sintéticos de alta confiança enquanto preservam a contribuição relativa dos dados reais.

Configuração Experimental
O estudo avaliou o TCSDG contra seis benchmarks estabelecidos de SDG tabular (BN, CTGAN, ADSGAN, TVAE, RTVAE e DDPM) através de doze tarefas agrícolas supervisionadas:

• Seis tarefas de Classificação de Tipo de Cultura usando o conjunto de dados LUCAS 2022 em seis países europeus (Grécia, Itália, Áustria, Alemanha, Romênia, Bulgária).
• Seis tarefas de Predição de Rendimento de Cultura (milho e trigo) usando o conjunto de dados CY-Bench em seis países (Argentina, Alemanha, Zâmbia, Índia, França, Itália).

A avaliação considerou dois regimes de treinamento (70% de dados totais e 30% de dados reduzidos), quatro razões de multiplicação (1x a 8x) e três aprendizes de ML (Random Forest, MLP, SVM). O desempenho foi medido usando Acurácia Balanceada (BAC) para classificação e Erro Quadrático Médio (RMSE) para regressão.

Resultos Principais

• Desempenho Superior: O TCSDG foi o único método a melhorar consistentemente o desempenho de ML em ambas as tarefas no nível agregado. Ele melhorou o desempenho em 89% das experiências de classificação de tipo de cultura e 74% das experiências de predição de rendimento de cultura quando os dados sintéticos foram fundidos com os reais.
• Capacidade "Apenas Sintética": No regime "apenas sintético" (onde os dados de treinamento reais foram removidos), o TCSDG superou todos os outros métodos. Ele excedeu a linha de base em 91% das comparações de classificação, enquanto outros métodos falharam amplamente em recuperar a estrutura relevante para a tarefa sem os dados reais.
• Robustez à Razão de Multiplicação: Ao contrário dos métodos de benchmark, cujo desempenho degradou conforme a razão sintético-real aumentava (devido à diluição dos dados reais por amostras sintéticas de baixa qualidade), o TCSDG manteve um desempenho estável ou melhorou até uma razão de 4x, após a qual saturou em vez de colapsar.
• Dependência do Aprendiz: Os benefícios do TCSDG foram mais pronunciados para Random Forest e SVM, que puderam utilizar os pesos de amostra conscientes da qualidade. O Perceptron Multicamadas (MLP) mostrou ganhos mais modestos, provavelmente devido à sua incapacidade de aproveitar esses pesos e à maior sensibilidade a uma calibração imperfeita.
• Escassez vs. Abundância de Dados: Contrário à expectativa de que a SDG é útil apenas em cenários de escassez de dados, o TCSDG manteve sua vantagem mesmo quando a fração de dados de treinamento reais aumentou de 30% para 70%, sugerindo que ele fornece informações complementares e não redundantes.

Significância e Alegações
O artigo alega que a principal contribuição do TCSDG é a mudança da fidelidade distributiva para a utilidade da tarefa. Os autores argumentam que, para a predição agrícola, os dados sintéticos só são valiosos se preservarem a estrutura condicional exigida pelo classificador ou regressor a jusante.

O estudo demonstra que:

1. O condicionamento à tarefa é crítico: Simplesmente gerar dados realistas é insuficiente; o processo de geração deve ser guiado por um crítico consciente da tarefa para garantir que as amostras sintéticas sejam informativas para o objetivo de predição específico.
2. Um pipeline unificado é necessário: A integração de alocação de orçamento, filtragem guiada pelo professor e ponderação de amostras em um único pipeline é essencial para o sucesso, como evidenciado pelo baixo desempenho do gerador de Rede Bayesiana isolado usado dentro do TCSDG quando testado como um baseline.
3. Framework Prático: O TCSDG oferece um framework prático e extensível para a agricultura de precisão que pode ser aplicado a diversos conjuntos de dados e tarefas, melhorando a robustez do modelo sem exigir novas aquisições de dados dispendiosas.

Os autores concluem que dados sintéticos cuidadosamente projetados e condicionados à tarefa podem abordar efetivamente as limitações de dados na agricultura, desde que o processo de geração priorize a utilidade a jusante em vez de mera mimetização estatística.