A Benchmark of Classical and Deep Learning Models for Agricultural Commodity Price Forecasting on A Novel Bangladeshi Market Price Dataset

Este artículo presenta AgriPriceBD, un nuevo conjunto de datos de precios agrícolas en Bangladesh, y evalúa diversos modelos de aprendizaje automático, revelando que la persistencia ingenua supera a arquitecturas complejas como los Transformers y Prophet debido a la naturaleza aleatoria de los precios y la insuficiencia de datos para modelos avanzados.

Lo esencial

¡Hola! Imagina que este artículo es como un manual de supervivencia para predecir el precio de la comida en Bangladesh, escrito por un equipo de científicos de datos curiosos.

Aquí tienes la historia de su investigación, explicada de forma sencilla y con algunas analogías divertidas:

🍅 El Problema: Adivinar el precio de la lechuga

En países en desarrollo como Bangladesh, el precio de la comida (como el ajo, los garbanzos o los pimientos verdes) es muy volátil. A veces es estable, y de repente, ¡pum!, sube o baja drásticamente. Esto es un dolor de cabeza para los agricultores (que no saben cuándo vender) y para el gobierno (que necesita saber si habrá escasez).

El problema es que nadie tenía un mapa claro. No existía un "cristal mágico" (un conjunto de datos público) para entrenar a las computadoras y que aprendieran a predecir estos precios.

🗺️ La Gran Contribución: Creando el "Mapa del Tesoro" (AgriPriceBD)

El primer gran logro del equipo fue crear AgriPriceBD.

• La analogía: Imagina que los precios de la comida estaban escritos en miles de documentos oficiales en papel (PDFs) que nadie podía leer fácilmente para una computadora.
• La solución: Usaron una Inteligencia Artificial (un "robot lector" llamado LLM) para leer esos documentos, extraer los precios diarios de 5 productos clave (ajo, garbanzos, pimiento verde, pepino y calabaza dulce) durante 5 años, y convertirlos en una base de datos limpia y pública.
• El resultado: Ahora, cualquier investigador en el mundo puede usar este "mapa" para entrenar sus propias máquinas de predicción.

🏁 La Carrera de Caballos: ¿Quién gana la carrera?

Con este nuevo mapa, el equipo puso a competir a 7 modelos de predicción (algunos viejos y clásicos, otros modernos y de "Inteligencia Artificial profunda") para ver quién adivinaba mejor el precio de mañana. Fue como una carrera de caballos donde cada caballo tenía una estrategia diferente.

Aquí están los resultados más sorprendentes:

1. El Caballo Viejo y Sabio (Persistencia Ingenua)

• La estrategia: "El precio de mañana será exactamente el mismo que el de hoy".
• El resultado: ¡Ganó en muchos casos!
• La analogía: Imagina que el precio de la comida es como un río que a veces fluye muy lento y de forma aleatoria. Si el río no tiene un patrón claro, lo más inteligente es asumir que seguirá igual que hace un momento. Para productos como el ajo, los modelos complejos intentaron "pensar demasiado" y fallaron, mientras que el método simple funcionó mejor.

2. El Arquitecto de Estructuras Suaves (Prophet)

• La estrategia: Un modelo famoso que asume que los precios suben y bajan de forma suave y curva, como una ola.
• El resultado: Fracasó estrepitosamente.
• La analogía: Imagina que intentas dibujar una línea suave y curva sobre una escalera de piedra. ¡Es imposible! Los precios en Bangladesh no suben suavemente; se quedan quietos y luego dan un salto brusco (como subir un escalón). Prophet intentó suavizar esos saltos y terminó dando predicciones totalmente equivocadas.

3. El Gigante con Poca Comida (Informer)

• La estrategia: Un modelo de IA muy potente y moderno, diseñado para analizar millones de datos (como el tráfico en una gran ciudad).
• El resultado: Se volvió loco.
• La analogía: Imagina poner a un elefante (el modelo Informer) en una jaula de ratones (los datos de Bangladesh, que son pocos). El elefante se asustó, se movió de un lado a otro y rompió todo. El modelo empezó a predecir precios que oscilaban salvajemente, como si estuviera alucinando. La lección: No puedes usar un modelo diseñado para ciudades gigantes en un pueblo pequeño.

4. El Intérprete Musical (Transformers con Time2Vec)

• La estrategia: Intentaron enseñar al modelo a "sentir" el tiempo de forma especial, como si pudiera aprender ritmos nuevos en lugar de seguir un reloj fijo.
• El resultado: Empeoró las cosas.
• La analogía: Imagina que tienes una canción simple. Intentaste enseñarle al músico a improvisar notas complejas (Time2Vec), pero como la canción era muy corta y ruidosa, el músico se confundió y tocó una melodía horrible. En productos muy inestables como el pimiento verde, este método hizo que el error se disparara un 146%.

💡 Las Lecciones Clave (El "Menú del Día")

1. No todos los productos son iguales: Algunos precios son predecibles (tienen patrones), otros son puro caos. No existe un "modelo mágico" que sirva para todo.
2. Más complejo no es mejor: En datos pequeños (como los de un país en desarrollo), los modelos simples y antiguos a menudo ganan a las Inteligencias Artificiales más modernas y pesadas.
3. La realidad es "escalonada": Los precios en mercados de países en desarrollo no son ondas suaves; son escalones. Los modelos que asumen suavidad (como Prophet) no funcionan aquí.
4. El ruido es el enemigo: Para productos como el pimiento verde, el precio depende de cosas que no están en el historial de precios (lluvia, bloqueos en la frontera, plagas). Sin esos datos extra, ¡es casi imposible predecir el futuro!

🚀 ¿Para qué sirve todo esto?

Este estudio es como dejar una caja de herramientas abierta para todos.

• Los agricultores pueden entender que a veces lo mejor es esperar y no sobre-analizar.
• Los gobiernos pueden usar estos datos para prevenir crisis de hambre.
• Los científicos tienen ahora un punto de partida real para mejorar la tecnología en lugar de usar datos falsos o inventados.

En resumen: A veces, para predecir el futuro en un mercado pequeño y caótico, la mejor inteligencia artificial es la que sabe cuándo no complicarse la vida.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Resumen Técnico: Benchmark de Modelos Clásicos y de Aprendizaje Profundo para la Predicción de Precios de Commodity Agrícolas en Bangladesh

1. Problema y Contexto

La volatilidad de los precios de los alimentos representa un desafío crítico para la seguridad alimentaria y la estabilidad económica en el sur de Asia, particularmente en Bangladesh. A pesar de la importancia de predecir los precios minoristas a corto plazo para la planificación de políticas y la estabilización de ingresos de los pequeños agricultores, existen dos brechas fundamentales en la literatura actual:

• Falta de datos: No existen conjuntos de datos públicos, listos para el aprendizaje automático, que contengan precios minoristas diarios de múltiples commodities en Bangladesh. La investigación previa se ha limitado a un solo commodity (generalmente arroz) o a métodos estadísticos clásicos.
• Incertidumbre metodológica: Los precios minoristas en economías en desarrollo a menudo exhiben dinámicas de "función escalón" (periodos de estabilidad seguidos de saltos bruscos), lo que cuestiona la eficacia de modelos diseñados para series temporales suaves (como Prophet) o arquitecturas de Transformadores a gran escala (como Informer) en contextos de muestras pequeñas.

2. Metodología y Contribuciones Clave

A. Nuevo Conjunto de Datos: AgriPriceBD
Los autores presentan AgriPriceBD, un conjunto de datos benchmark novel que cubre:

• Alcance: 1,779 observaciones diarias (de julio de 2020 a junio de 2025) para cinco commodities clave: ajo, garbanzo, chile verde, pepino y calabaza dulce.
• Extracción: Los datos se extrajeron de informes PDF del gobierno utilizando una tubería asistida por LLM (Gemini API) con prompts bilingües (inglés/bengalí) para parsear tablas no estandarizadas.
• Objetivo: Calcular el precio medio minorista ($p_t = (min_t + max_t)/2$) para reducir la sensibilidad a fluctuaciones de límites diarios.

B. Evaluación Comparativa Sistemática
Se evaluaron siete enfoques de pronóstico divididos en dos familias:

1. Modelos Clásicos: Persistencia ingenua (Naïve), SARIMA y Prophet.
2. Arquitecturas de Aprendizaje Profundo:
   • BiLSTM (Redes de Memoria a Corto y Largo Plazo Bidireccionales).
   • Transformador Vanilla (con codificación posicional sinusoidal fija).
   • T2V-Transformer (Transformador mejorado con Time2Vec, codificación temporal aprendible).
   • Informer (arquitectura con atención dispersa, evaluado preliminarmente).

C. Protocolo Experimental

• División de datos: 80% entrenamiento, 10% validación, 10% prueba (mayo-junio 2025).
• Métricas: MAE, RMSE y MAPE.
• Significancia Estadística: Se utilizó la prueba de Diebold-Mariano (DM) con corrección de Harvey-Leybourne-Newbold para determinar si las diferencias de rendimiento eran estadísticamente significativas y no solo variación de muestreo.
• Análisis de Ablación: Se aisló específicamente el impacto de la codificación temporal aprendible (Time2Vec) frente a la codificación sinusoidal fija.

3. Resultados Principales

A. Heterogeneidad de la Predecibilidad
La predecibilidad de los precios es fundamentalmente heterogénea; ningún modelo domina en todos los commodities.

• Persistencia Ingenua: En commodities con dinámicas cercanas a un "paseo aleatorio" (como el chile verde), la persistencia ingenua superó a todos los modelos complejos.
• BiLSTM: Fue el único modelo de aprendizaje profundo que logró una mejora estadísticamente significativa sobre la persistencia ingenua en el ajo y el pepino, sugiriendo que el sesgo inductivo recurrente funciona mejor que la atención en conjuntos de datos pequeños (~1,400 ventanas).

B. Fallos Críticos de Modelos Específicos

• Prophet: Falló sistemáticamente en todos los commodities (MAPE > 29% en todos los casos). La causa es la incompatibilidad arquitectónica: Prophet asume tendencias y estacionalidades suaves y diferenciables, mientras que los mercados minoristas de Bangladesh presentan saltos discretos (funciones escalón) que el modelo no puede capturar, generando sesgos direccionales sistemáticos.
• Informer: Produjo predicciones erráticas y mal calibradas. En el garbanzo, la varianza de la predicción fue 49 veces mayor que la varianza real. Esto confirma que los mecanismos de atención dispersa (ProbSparse) y las convoluciones de destilación requieren conjuntos de datos industriales masivos (>10,000 observaciones) y no funcionan en contextos agrícolas de muestra pequeña, amplificando el ruido en lugar de aprender la señal.

C. Ablación de Codificación Temporal (Time2Vec vs. Fija)
Contrario a las expectativas, la codificación temporal aprendible (Time2Vec) no ofreció ventajas sobre la codificación sinusoidal fija y, de hecho, degradó el rendimiento:

• Degradación Catastrófica: En el chile verde, Time2Vec aumentó el MAE en un 146.1% ($p < 0.001$) en comparación con el Transformador Vanilla.
• Sobreajuste: Los parámetros aprendibles de Time2Vec sobreajustaron el ruido en el periodo de entrenamiento, descubriendo periodicidades espurias que no generalizaron.
• Conclusión: En escalas de entrenamiento pequeñas, las representaciones temporales fijas son superiores o equivalentes a las aprendibles para este tipo de datos.

4. Significancia e Impacto

• Infraestructura para la Investigación: AgriPriceBD es el primer conjunto de datos público de precios minoristas diarios multi-commodity para Bangladesh, permitiendo investigaciones reproducibles.
• Lecciones para la Práctica:
  • Se desaconseja el uso de arquitecturas Transformer complejas (como Informer) o codificaciones temporales aprendibles en conjuntos de datos agrícolas pequeños sin exógenos adicionales.
  • Se advierte contra el uso de Prophet en mercados de economías en desarrollo con precios administrados o con dinámicas de salto discreto.
  • Se demuestra que la complejidad del modelo no garantiza mejor precisión; la estructura señal-ruido de la serie temporal es el determinante principal.
• Política y Seguridad Alimentaria: Los resultados ayudan a los responsables de políticas y a las agencias de seguridad alimentaria a entender las limitaciones actuales de la predicción univariada y la necesidad de incorporar variables exógenas (clima, volúmenes de importación) para mejorar la precisión, especialmente en commodities volátiles como el chile verde.

El código, los modelos y los datos están disponibles públicamente para facilitar la replicación y la extensión de este trabajo en economías en desarrollo similares.