A Benchmark of Classical and Deep Learning Models for Agricultural Commodity Price Forecasting on A Novel Bangladeshi Market Price Dataset

Este artigo apresenta o conjunto de dados AgriPriceBD, um novo benchmark de preços de commodities agrícolas em Bangladesh, e avalia sete modelos de previsão, revelando que abordagens simples de persistência superam arquiteturas complexas de deep learning devido à natureza heterogênea e não estacionária dos dados de mercados agrícolas em desenvolvimento.

O essencial

Imagine que você é um pequeno agricultor no Bangladesh. Você precisa decidir hoje se vende sua colheita de pimentão verde ou se guarda para amanhã. Se o preço subir amanhã, você ganha mais. Se cair, você perde. O problema é que ninguém sabe o que vai acontecer com os preços amanhã.

Este artigo de pesquisa é como um grande experimento de "adivinhação" feito por cientistas de dados para ajudar pessoas como você. Eles criaram um novo mapa de dados e testaram vários "oráculos" (modelos de computador) para ver qual deles consegue prever melhor o futuro dos preços de cinco produtos importantes: alho, grão-de-bico, pimentão verde, pepino e abóbora-doce.

Aqui está a história do que eles descobriram, explicada de forma simples:

1. O Novo Mapa de Tesouro (O Dataset)

Antes, ninguém tinha um mapa detalhado e gratuito dos preços diários desses produtos no Bangladesh. Era como tentar navegar no escuro.

• O que fizeram: Eles criaram um novo conjunto de dados chamado AgriPriceBD.
• Como fizeram: Usaram uma "mágica" de Inteligência Artificial (um LLM) para ler milhares de relatórios em PDF do governo, que eram apenas tabelas de texto, e transformá-los em uma planilha digital limpa.
• O resultado: Agora, qualquer pessoa pode baixar esses dados e tentar prever os preços, como se fosse um jogo de xadrez onde as regras estão claras.

2. Os "Oráculos" em Competição

Eles colocaram sete diferentes tipos de "adivinhos" para competir. Vamos chamar alguns deles de personagens:

• O Conservador (Naïve Persistence): Ele é muito simples. Adivinha que o preço de amanhã será exatamente o mesmo de hoje. É como dizer: "O sol vai nascer amanhã porque nasceu hoje".
• O Matemático Clássico (SARIMA e Prophet): O Prophet é famoso por prever tendências suaves, como o crescimento de uma árvore ou as estações do ano. Ele assume que as coisas mudam devagar e de forma bonita.
• O Mestre da Memória (BiLSTM): Uma rede neural que tenta lembrar de padrões passados, como alguém que estuda o histórico de preços para encontrar ciclos.
• O Visionário Moderno (Transformers): Modelos muito complexos e poderosos, usados em grandes empresas, que tentam "ler" o futuro olhando para todo o contexto de uma vez.

3. As Surpresas da Competição (Os Resultados)

Aqui é onde a história fica interessante, porque nem sempre o "mais inteligente" ganha.

🏆 O Vencedor Surpreendente: O Conservador

Para muitos produtos, o oráculo mais simples (o Conservador) foi o melhor.

• A Analogia: Imagine que o preço do pimentão verde é como um cachorro louco correndo pelo parque. Ele corre para a esquerda, para a direita, pula, para. Tentar prever para onde ele vai é impossível. O melhor conselho é: "Ele está aqui agora, então provavelmente estará aqui um pouquinho depois".
• A Lição: Em mercados de países em desenvolvimento, os preços muitas vezes são caóticos e imprevisíveis. Modelos complexos tentam encontrar padrões onde não existem, e acabam se confundindo.

❌ O Fracasso do "Suave": O Prophet

O modelo Prophet, que é ótimo para coisas suaves, falhou miseravelmente em todos os produtos.

• A Analogia: Imagine que você tenta desenhar uma linha curva suave (como um arco-íris) sobre uma escada de tijolos. A escada tem degraus bruscos (o preço fica estável por dias e depois sobe de repente). O Prophet tenta "arredondar" esses degraus e acaba desenhando uma linha que não faz sentido nenhum.
• Por que? No Bangladesh, os preços não sobem devagarinho; eles dão "saltos" bruscos devido a eventos como chuvas fortes, fechamento de fronteiras ou falta de estoque. O Prophet não entende esses "sustos".

💥 O Gigante Desajeitado: O Informer

Eles tentaram usar um modelo superpoderoso chamado Informer, feito para analisar milhões de dados de fábricas.

• O Resultado: Ele ficou tonto e alucinou. Em vez de prever, ele começou a gritar números aleatórios, com variações de preço 50 vezes maiores do que a realidade.
• A Analogia: É como tentar usar um telescópio gigante para olhar uma mosca em uma parede. O telescópio é ótimo para ver galáxias distantes, mas para algo tão pequeno e próximo, ele só mostra borrões. O modelo precisava de muito mais dados do que o Bangladesh tinha para funcionar.

🧠 O Aprendizado que Não Funcionou: Time2Vec

Eles testaram uma técnica especial para ensinar ao computador "qual é a hora do dia" ou "qual é a época do ano" de forma inteligente (Time2Vec).

• O Resultado: Em vez de ajudar, essa técnica piorou as previsões, especialmente no pimentão verde. O computador "aprendeu" padrões falsos no ruído e se perdeu.
• A Lição: Às vezes, tentar ensinar algo muito complexo a um computador com poucos dados é como tentar ensinar cálculo a uma criança de 5 anos. O jeito simples (fórmulas fixas) funciona melhor.

4. O Veredito Final

A mensagem principal deste estudo é: Nem sempre o modelo mais complexo é o melhor.

• Para produtos estáveis: Às vezes, um modelo simples de "memória" (BiLSTM) ajuda um pouco mais do que o básico.
• Para produtos caóticos (como o pimentão): O melhor é admitir que é imprevisível e confiar no preço de hoje. Tentar prever o futuro aqui é como tentar adivinhar onde vai cair uma folha seca no vento.
• Para o futuro: Os cientistas dizem que, para prever melhor, não basta olhar apenas o preço passado. É preciso olhar para fora: quanto de chuva vai cair? Quantos caminhões estão entrando no país? O preço do arroz está subindo?

Resumo para o Agricultor

Se você está no Bangladesh e quer prever o preço de amanhã:

1. Não confie em softwares que prometem prever tudo perfeitamente.
2. Se o mercado for muito instável (como o pimentão), o preço de hoje é a sua melhor aposta.
3. O futuro depende mais de fatores externos (clima, política) do que de um computador analisando apenas o histórico de preços.

Este estudo é um presente para a comunidade: eles liberaram todos os dados e o código para que ninguém precise reinventar a roda e para que governos e agricultores possam tomar decisões mais informadas, sabendo exatamente onde estão os limites da tecnologia atual.

Resumo técnico

Título: Um Benchmark de Modelos Clássicos e de Aprendizado Profundo para Previsão de Preços de Commodities Agrícolas em um Novo Conjunto de Dados do Mercado Bangladesh

1. Problema e Motivação

A previsão precisa de preços de commodities agrícolas de curto prazo é crucial para a segurança alimentar, políticas de mercado e estabilização da renda de pequenos agricultores em economias em desenvolvimento. No entanto, existem duas lacunas críticas na literatura sobre o Bangladesh:

• Falta de Dados: Não existem conjuntos de dados públicos e padronizados de preços varejistas diários para múltiplas commodities no Bangladesh. A pesquisa anterior focou quase exclusivamente em arroz (um único produto) e métodos estatísticos clássicos.
• Dinâmica de Mercado Única: Os preços no varejo do Bangladesh exibem dinâmicas de "função degrau" (step-function), onde os preços permanecem estáveis por longos períodos e sofrem saltos súbitos devido a eventos de oferta ou políticas, em vez de variações suaves. É incerto se modelos projetados para séries temporais suaves (como Prophet ou Transformers de grande escala) funcionam nesse contexto.

2. Metodologia

A. Construção do Conjunto de Dados (AgriPriceBD)

• Fonte: Relatórios diários do sistema de monitoramento de mercado do governo do Bangladesh (PDFs).
• Processo: Foi desenvolvida uma pipeline assistida por LLM (usando a API Gemini) para extrair e digitalizar os dados. O processo envolveu:
  1. Download sistemático de PDFs.
  2. Parsing assistido por LLM com prompts bilíngues (Inglês e Bengali) para lidar com variações de nomenclatura.
  3. Validação de faixas de preço e limpeza de dados.
  4. Cálculo do preço médio (mid-price) como alvo de previsão: $p_t = (min_t + max_t) / 2$.
• Especificidades: O conjunto cobre 5 commodities principais (alho, grão-de-bico, pimenta verde, pepino e abóbora doce) de julho de 2020 a junho de 2025, totalizando 1.779 observações diárias por commodity.

B. Protocolo Experimental e Modelos

• Divisão dos Dados: 80% treino, 10% validação, 10% teste (manutenção estrita da ordem temporal, sem shuffling).
• Modelos Avaliados:
  • Clássicos: Persistência Ingênua (Naïve), SARIMA, Prophet.
  • Aprendizado Profundo: BiLSTM, Transformer Vanilla (com codificação posicional senoidal fixa), T2V-Transformer (com Time2Vec aprendível), e Informer (avaliado separadamente devido a falhas).
• Configuração: Janela de entrada de 90 dias para prever 14 dias à frente. Uso de Diebold-Mariano (DM) para testes de significância estatística entre modelos.

3. Principais Contribuições

1. AgriPriceBD: O primeiro conjunto de dados público de preços varejistas diários para múltiplas commodities no Bangladesh, essencial para pesquisa reprodutível.
2. Avaliação Sistemática: Comparação rigorosa de modelos clássicos e de ponta em um contexto de economia em desenvolvimento com dinâmicas de preços descontínuas.
3. Ablação de Codificação Temporal: Um estudo controlado comparando codificação posicional fixa vs. Time2Vec (aprendível), provando que, em escalas de dados pequenas, codificações aprendíveis podem ser prejudiciais.
4. Documentação de Falhas: Identificação explícita de modos de falha de modelos populares (Prophet e Informer) neste domínio específico.

4. Resultados Chave

• Heterogeneidade da Previsibilidade: A previsibilidade varia drasticamente entre as commodities. A persistência ingênua (prever o último preço conhecido) foi o modelo mais forte para commodities com comportamento de "passeio aleatório" ou alto ruído.
• Falha do Prophet: O modelo Prophet falhou sistematicamente em todas as commodities (MAPE de 29% a 74%). A causa é a incompatibilidade arquitetural: o Prophet assume tendências e sazonalidades suaves, enquanto os dados reais apresentam saltos abruptos (função degrau), levando a viés direcional sistemático.
• Falha do Informer: A arquitetura Informer (com atenção esparsa) produziu previsões erráticas e mal calibradas, com variância de previsão até 50 vezes maior que a realidade (ex: grão-de-bico com variância de 4987% em relação à verdade). Isso confirma que arquiteturas de Transformers esparsos exigem conjuntos de dados muito maiores (10.000+ observações) do que o contexto agrícola de amostras pequenas pode fornecer.
• Codificação Temporal (Time2Vec vs. Fixa): Contrariando a intuição, a codificação temporal aprendível (Time2Vec) não trouxe vantagens estatísticas sobre a codificação senoidal fixa. Pelo contrário, causou degradação catastrófica em commodities voláteis (ex: pimenta verde com aumento de 146,1% no MAE). O Time2Vec superajustou (overfit) o ruído nos dados de treinamento.
• Desempenho do BiLSTM: O BiLSTM foi o único modelo de aprendizado profundo que superou estatisticamente a persistência ingênua em alho e pepino, sugerindo que, em escalas de dados pequenas, o viés indutivo recorrente pode ser mais eficaz do que mecanismos de atenção complexos.

5. Significado e Impacto

• Para Praticantes: O estudo alerta que a complexidade do modelo não garante melhor desempenho em dados agrícolas de economias em desenvolvimento. Modelos simples (como persistência ou SARIMA) muitas vezes superam arquiteturas complexas devido à natureza ruidosa e descontínua dos dados.
• Implicações de Política: A incapacidade de modelos puramente univariados de prever commodities de alta volatilidade (como pimenta verde) indica a necessidade de incorporar features exógenas (dados climáticos, volumes de importação) para melhorar a segurança alimentar.
• Reprodutibilidade: A liberação do código e dos dados (AgriPriceBD) estabelece uma linha de base reprodutível para futuras pesquisas em mercados agrícolas do Sul da Ásia e economias similares.

Em resumo, o paper demonstra que a estrutura da série temporal (sinal-ruído e dinâmica de saltos) é um determinante mais importante para a precisão da previsão do que a complexidade do modelo, e que adaptações específicas são necessárias para lidar com as peculiaridades dos mercados varejistas em desenvolvimento.