Resumen Técnico: Marco de Trabajo de Resolución de Aprendizaje Automático Público para Novatos

Planteamiento del Problema

El aprendizaje automático (ML) es una herramienta crítica para el descubrimiento de conocimiento en sectores como las finanzas, la salud y el marketing. Sin embargo, la escasez significativa de expertos en ML crea un cuello de botella para los profesionales de negocios que buscan aprovechar los datos. El proceso de consultar a expertos suele ser prolongado e incluso para los expertos, identificar la solución óptima para requisitos específicos puede llevar mucho tiempo.

Las herramientas existentes para asistir a no expertos se dividen en tres categorías principales, cada una con limitaciones:

1. Sistemas AutoML: Aunque son totalmente automatizados, suelen sufrir de una ejecución lenta, cobertura de tareas limitada (centrándose principalmente en clasificación/regresión), criterios de evaluación estrechos (dependiendo de métricas únicas como la precisión), falta de transparencia (naturaleza de caja negra) y flexibilidad limitada.
2. Hojas de Trucos (Cheat Sheets): Proporcionan guías estáticas basadas en árboles (por ejemplo, de Microsoft o Scikit-learn), pero carecen de escalabilidad, flexibilidad y orientación detallada sobre los pasos de preprocesamiento.
3. Sistemas de Criterios de Selección: Ofrecen una selección interactiva, pero suelen estar limitados a recomendaciones de algoritmos únicos, dependen del conocimiento de un pequeño número de autores y carecen de mecanismos para procesar datos de rendimiento narrativos de la investigación.

El problema central abordado es la necesidad de un sistema que cierre la brecha entre el conocimiento experto y los usuarios no expertos, proporcionando una solución transparente, estructurada y semiautomatizada que vaya más allá de la recomendación de un algoritmo único para sugerir procesos (pipelines) completos de ML.

Metodología

Los autores proponen una plataforma novedosa, "I Solve My ML Problem" (disponible en isolvemymlproblem.org), que integra criterios de selección definidos por expertos con análisis basado en datos y aprendizaje por transferencia. El sistema opera a través de los siguientes componentes técnicos:

1. Ingestión y Caracterización de Datos

Los usuarios se conectan a sus propias bases de datos MySQL o cargan archivos Excel. El sistema extrae automáticamente las características de los datos, incluyendo:

• Varianza de atributos y distribución de valores.
• Presencia de valores faltantes.
• Número de características y tamaño del conjunto de datos.
• Correlaciones de atributos.
• Desequilibrio de clases.
  Basándose en estas características, el sistema infiere automáticamente el tipo de aprendizaje (por ejemplo, supervisado vs. no supervisado, clasificación vs. regresión).

2. Comprensión del Problema mediante Aprendizaje por Transferencia

El sistema acepta descripciones textuales del problema de ML del usuario. Utiliza Sentence-BERT (una red neuronal profunda preentrenada) para realizar una coincidencia de similitud semántica entre la descripción del problema del usuario y un portafolio de cadenas de procesamiento (pipelines) existentes. Esto permite al sistema identificar una estructura de pipeline adecuada sin requerir el reentrenamiento manual de los pesos de la red.

3. Selección y Clasificación de Algoritmos

El mecanismo central de selección se basa en una matriz de criterios de selección poblada por expertos en ML a través de una plataforma complementaria (icontributetoml.org).

• Ponderación: Los expertos en el dominio asignan pesos a los criterios (por ejemplo, precisión, interpretabilidad, tiempo de entrenamiento) y a las características de los datos (por ejemplo, datos desequilibrados, alta dimensionalidad).
• Calificación: El sistema calcula los pesos de los algoritmos utilizando un producto cartesiano (producto punto) del vector de pesos del experto y los valores de los criterios del algoritmo de la matriz de la base de conocimientos.
• Medidas Alternativas: El marco también soporta la distancia euclidiana y la similitud de coseno para la clasificación, así como un enfoque de Naive Bayes (actualmente teórico) que trata las respuestas de los expertos como datos de entrenamiento para calcular probabilidades a posteriori.
• Salida: Los algoritmos se clasifican en orden descendente de relevancia.

4. Construcción y Refinamiento del Pipeline

El sistema genera un pipeline de ML completo, no solo un algoritmo único.

• Refinamiento Basado en Reglas: Un motor de lógica de primer orden (implementado usando el solver Z3 de Microsoft en Python) aplica reglas para refinar el pipeline seleccionado. Por ejemplo, si el algoritmo seleccionado es ID3 (un árbol de decisión) y los datos son continuos, el sistema recomienda automáticamente un paso de discretización.
• Visualización: El pipeline final se representa mediante Notación de Modelo de Procesos de Negocio (BPMN), proporcionando una visualización clara y estructurada del flujo de trabajo.
• Ejecución: Actualmente, el sistema entrega el pipeline como una cadena (código/script) para que el usuario lo ejecute de forma independiente, ya que aún no se han implementado los scripts de ejecución completa para todos los algoritmos referenciados.

5. Gestión de la Base de Conocimientos

El sistema está diseñado para ser incremental y abierto. Una plataforma complementaria permite a los expertos en ML contribuir con nuevos algoritmos, criterios de selección y conocimiento conductual. Un mecanismo de sincronización asegura que la plataforma del solver se mantenga actualizada con el conocimiento experto más reciente.

Contribuciones Clave

• Recomendación de Pipeline Semiautomatizada: A diferencia de las herramientas existentes que recomiendan algoritmos únicos, este marco sugiere un pipeline de ML completo y personalizado que incluye preprocesamiento, ingeniería de características y pasos de modelado.
• Integración de Aprendizaje por Transferencia y Lógica: El sistema combina de manera única la similitud semántica (vía Sentence-BERT) para el mapeo de problemas con la lógica de primer orden para el refinamiento del pipeline basado en reglas.
• Transparencia y Control: El proceso de toma de decisiones es explícito. Los usuarios pueden ver la clasificación de los algoritmos basada en criterios específicos y mantienen el control para ajustar los pesos o modificar manualmente el pipeline.
• Arquitectura de Doble Plataforma: La separación de las plataformas "Solver" (para novatos) y "Contributor" (para expertos) permite un enriquecimiento continuo y comunitario de la base de conocimientos.
• Accesibilidad Pública: Se presenta como el primer marco en línea gratuito y de acceso público que operacionaliza sistemáticamente el conocimiento experto para la resolución estructurada de problemas de ML.

Resultados

Los autores reportan resultados de validación basados en el proceso de selección:

• Precisión en la Selección de Algoritmos: El sistema fue probado contra seis algoritmos (Naive Bayes, KNN, Red Bayesiana, Random Forest, Red Neuronal y SVM). Cuando los valores de los criterios de selección proporcionados por los expertos en el dominio coincidieron con los de los expertos en ML en la base de conocimientos, el sistema recomendó correctamente el algoritmo pretendido el 100% de las veces en todas las medidas de similitud probadas (producto punto, distancia euclidiana y distancia de coseno).
• Generación de Pipeline: El sistema genera exitosamente descripciones de pipeline estructuradas (BPMN) adaptadas a contextos de problemas específicos.
• Limitaciones: Los autores reconocen que el rendimiento actual del refinamiento del pipeline y la selección de componentes está limitado por el tamaño reducido de la base de conocimientos de expertos existente. El sistema aún no ejecuta los pipelines directamente.

Significancia y Reivindicaciones

El artículo afirma que este trabajo representa un avance significativo en la accesibilidad del aprendizaje automático para no expertos. Al combinar las fortalezas de las hojas de trucos (guías de expertos) y los sistemas de criterios de selección (soporte de decisión interactivo), el marco ofrece una alternativa estructurada y transparente a los sistemas AutoML de "caja negra".

Los autores enfatizan que su enfoque:

• Proporciona respuestas instantáneas en comparación con la ejecución lenta de los sistemas AutoML de optimización intensiva.
• Prioriza la explicabilidad, permitiendo a los usuarios entender por qué se eligió un algoritmo o pipeline específico.
• Es escalable, permitiendo la integración fluida de nuevos algoritmos y criterios sin necesidad de un nuevo despliegue.
• Aborda la escasez de expertos al operacionalizar el conocimiento experto colectivo en una herramienta utilizable para profesionales de negocios.

El documento concluye delineando el trabajo futuro, que incluye la implementación del sistema AutoML basado en optimizadores propuesto, el enriquecimiento adicional de la base de conocimientos, la habilitación de la ejecución directa de pipelines y la realización de pruebas más amplias con expertos en el dominio.