A scalable online machine learning approach for Stock Recommendation

Resumen Técnico: Un Enfoque de Aprendizaje Automático en Línea Escalable para la Recomendación de Acciones

Planteamiento del Problema
Los sistemas de recomendación de acciones enfrentan un desafío dual: la necesidad de adaptarse a las condiciones cambiantes del mercado (deriva de concepto o concept drift) y, simultáneamente, mantener predicciones de baja latencia para los usuarios finales. Los modelos tradicionales entrenados por lotes (batch) no logran capturar los cambios en tiempo real en las preferencias de los usuarios o las tendencias del mercado, y las arquitecturas monolíticas suelen tener dificultades para proporcionar tolerancia a fallos bajo una carga pesada. El artículo aborda el problema específico de cómo construir un sistema de recomendación de acciones que sea tanto escalable como capaz de un aprendizaje continuo sin comprometer la disponibilidad.

Metodología
La solución propuesta es un sistema de aprendizaje profundo en línea distribuido, construido sobre una arquitectura de microservicios utilizando Kubernetes, Docker y RabbitMQ. El núcleo del sistema es una arquitectura híbrida de líder-seguidor:

• Ingesta de Datos: El sistema ingiere datos cuantitativos fundamentales y técnicos (Ganancias por Acción [EPS], MACD-K, MACD-S, precio actual y nombre de la acción) para acciones del S&P 500 a través de la API Alpha Vantage Pro.
• Arquitectura del Modelo: El motor de recomendación utiliza TensorFlow Recommenders para implementar un Perceptrón Multicapa (MLP). Emplea un enfoque basado en contenido donde los usuarios proporcionan calificaciones explícitas (1–5) para las acciones.
  • El Líder: Una única instancia de modelo primaria se entrena continuamente con datos en streaming. Al procesar las observaciones, actualiza los pesos del modelo y los persiste inmediatamente en Google Cloud Object Storage. En caso de falla, el líder puede reentrenar a partir de las observaciones registradas en PostgreSQL.
  • Los Seguidores: Múltiples instancias de modelos sin estado (stateless) sirven recomendaciones orientadas al usuario en paralelo. No escriben en disco; en su lugar, cargan los pesos más recientes del almacenamiento del líder al inicializarse o reiniciarse. Este diseño desacopla el bucle de entrenamiento del bucle de inferencia, permitiendo el escalado horizontal.
• Flujo de Datos: Las solicitudes entrantes de los usuarios y los datos de las acciones se encolan mediante RabbitMQ, que distribuye la información tanto al líder como a los seguidores. El sistema utiliza BigQuery para el almacenamiento de datos históricos de acciones y PostgreSQL para los datos de las carteras de los usuarios.
• Mecanismo de Entrenamiento: El modelo se actualiza de forma incremental. Entrena durante tres épocas en cada nueva observación utilizando el optimizador Adagrad. Utiliza aprendizaje por transferencia (transfer learning) y gestiona la deriva de concepto al adaptarse continuamente a las nuevas calificaciones mientras "olvida" gradualmente los datos más antiguos.

Contribuciones Clave
El artículo describe cinco contribuciones principales al campo de los sistemas de recomendación financiera en línea:

1. Arquitectura Híbrida Líder-Seguidor: Un diseño novedoso que desacopla el entrenamiento continuo del servicio de baja latencia. Esto permite que los seguidores escalen horizontalmente sin comprometer la frescura del modelo y proporciona una ruta clara de recuperación de fallos mediante la persistencia de pesos y la durabilidad de los mensajes.
2. Aprendizaje en Línea Basado en Calificaciones Explícitas: Demuestra que un modelo de aprendizaje profundo en línea que utiliza calificaciones explícitas de los usuarios (1–5) puede personalizar eficazmente las recomendaciones y capturar la deriva de concepto en la tolerancia al riesgo del usuario sin requerir un reentrenamiento completo.
3. Eficacia de un Conjunto de Características Mínimo: Muestra que se pueden generar recomendaciones significativas y casi en tiempo real utilizando solo cinco parámetros (EPS, MACD-K, MACD-S, precio y nombre de la acción), lo que sugiere que no siempre es necesaria una ingeniería de características extensa para los modelos de aprendizaje en línea en este dominio.
4. Arquitectura de Referencia Lista para Producción: Proporciona un stack de código abierto totalmente implementado (Kubernetes, Docker, RabbitMQ, PostgreSQL, TensorFlow Recommenders) con características de rendimiento medidas empíricamente, ofreciendo una hoja de ruta fundamentada para los profesionales.
5. Documentación de Limitaciones: Ofrece transparencia respecto a los modos de fallo prácticos, incluyendo la semántica de recuperación del líder, el comportamiento de inicio en frío (cold start) y la ausencia de seguridad de malla de servicios (service mesh), guiando futuras direcciones de investigación.

Resultados y Rendimiento
El sistema fue evaluado en su capacidad para servir recomendaciones y manejar el rendimiento (throughput):

• Latencia: El sistema genera recomendaciones de acciones en 2–3 segundos por solicitud.
• Rendimiento (Throughput): Cada instancia de seguidor puede procesar de 300 a 500 solicitudes de adición de cartera por segundo.
• Disponibilidad: La arquitectura garantiza una alta disponibilidad; los seguidores pueden recuperarse y recargar los pesos sin problemas tras una falla, y RabbitMQ asegura que no haya pérdida de datos durante el tiempo de inactividad.

Significancia y Limitaciones
El artículo posiciona este trabajo como una arquitectura de referencia práctica que equilibra consistencia, disponibilidad y escalabilidad en un contexto financiero. Reconoce que, si bien el sistema es funcional, opera con compromisos específicos:

• Obsolescencia de Datos: Debido a los límites de tasa de la API (75 solicitudes/minuto en el plan Pro), los datos de las acciones se actualizan cada 150 minutos, lo que genera una potencial obsolescencia en los indicadores.
• Seguridad: La implementación actual carece de una malla de servicios (service mesh) y de Gestión de Identidad y Acceso (IAM) para la seguridad entre clústeres.
• Cuellos de Botella: La velocidad de escritura del líder hacia el almacenamiento en la nube (2–5 segundos) y el uso de bloqueos de espera activa (busy-wait locks) para la seguridad de hilos (thread safety) restringen el rendimiento máximo.

Los autores concluyen que, si bien el sistema demuestra con éxito la viabilidad del aprendizaje en línea escalable para la recomendación de acciones, las iteraciones futuras deben abordar la latencia de datos, las brechas de seguridad y la eficiencia de recuperación (por ejemplo, pasando de la búsqueda de fuerza bruta a algoritmos SCANN) para cumplir con las demandas de grado de producción.