Riepilogo Tecnico: Framework di Risoluzione di Problemi di Machine Learning Pubblico per Principianti

Definizione del Problema

Il machine learning (ML) è uno strumento critico per la scoperta di conoscenza in settori quali la finanza, l'assistenza sanitaria e il marketing. Tuttavia, una significativa carenza di esperti di ML crea un collo di bottiglia per i professionisti aziendali che desiderano sfruttare i dati. Il processo di consulenza con gli esperti è spesso lungo e, anche per gli esperti, identificare la soluzione ottimale per requisiti specifici può essere dispendioso in termini di tempo.

Gli strumenti esistenti per assistere i non esperti si dividono in tre categorie primarie, ciascuna con i propri limiti:

1. Sistemi AutoML: Sebbene siano completamente automatizzati, spesso soffrono di esecuzione lenta, copertura limitata dei compiti (focalizzandosi principalmente su classificazione/regressione), criteri di valutazione ristretti (basandosi su singoli metrici come l'accuratezza), mancanza di trasparenza (natura black-box) e flessibilità limitata.
2. Cheat Sheets: Forniscono linee guida statiche basate su alberi (ad esempio, da Microsoft o Scikit-learn), ma mancano di scalabilità, flessibilità e di una guida dettagliata sui passaggi di pre-elaborazione.
3. Sistemi di Criteri di Selezione: Offrono una selezione interattiva, ma sono spesso limitati alla raccomandazione di un singolo algoritmo, si basano sulla conoscenza di un numero esiguo di autori e mancano di meccanismi per elaborare dati di performance narrativi provenienti dalla ricerca.

Il problema centrale affrontato è la necessità di un sistema che colmi il divario tra la conoscenza degli esperti e gli utenti non esperti, fornendo una soluzione trasparente, strutturata e semi-automatizzata che vada oltre la raccomandazione di un singolo algoritmo per suggerire pipeline di ML complete.

Metodologia

Gli autori propongono una nuova piattaforma, "I Solve My ML Problem" (disponibile all'indirizzo isolvemymlproblem.org), che integra i criteri di selezione definiti dagli esperti con l'analisi basata sui dati e il transfer learning. Il sistema opera attraverso i seguenti componenti tecnici:

1. Ingestione e Caratterizzazione dei Dati

Gli utenti collegano i propri database MySQL o caricano file Excel. Il sistema estrae automaticamente le caratteristiche dei dati, tra cui:

• Varianza degli attributi e distribuzione dei valori.
• Presenza di valori mancanti.
• Numero di feature e dimensione del dataset.
• Correlazioni tra gli attributi.
• Sbilanciamento delle classi.
  In base a queste caratteristiche, il sistema inferisce automaticamente il tipo di apprendimento (ad esempio, supervisionato vs non supervisionato, classificazione vs regressione).

2. Comprensione del Problema tramite Transfer Learning

Il sistema accetta descrizioni testuali del problema di ML dell'utente. Utilizza Sentence-BERT (una rete neurale profonda pre-addestrata) per eseguire un matching di somiglianza semantica tra la descrizione del problema dell'utente e un portfolio di catene di elaborazione (pipeline) esistenti. Ciò consente al sistema di identificare una struttura di pipeline adeguata senza richiedere il riaddestramento manuale dei pesi della rete.

3. Selezione e Classifica degli Algoritmi

Il meccanismo di selezione principale si basa su una matrice di criteri di selezione popolata da esperti di ML tramite una piattaforma complementare (icontributetoml.org).

• Pesatura: Gli esperti di dominio assegnano pesi ai criteri (ad esempio, accuratezza, interpretabilità, tempo di addestramento) e alle caratteristiche dei dati (ad esempio, dati sbilanciati, alta dimensionalità).
• Scoring: Il sistema calcola i pesi degli algoritmi utilizzando un prodotto cartesiano (prodotto scalare) tra il vettore dei pesi dell'esperto e i valori dei criteri dell'algoritmo presenti nella matrice della base di conoscenza.
• Misure Alternative: Il framework supporta anche la distanza euclidea e la similarità del coseno per la classificazione, nonché un approccio Naive Bayes (attualmente teorico) che tratta le risposte degli esperti come dati di addestramento per calcolare le probabilità a posteriori.
• Output: Gli algoritmi vengono classificati in ordine decrescente di rilevanza.

4. Costruzione e Raffinamento della Pipeline

Il sistema genera una pipeline di ML completa, non solo un singolo algoritmo.

• Raffinamento Basato su Regole: Un motore logico del primo ordine (implementato utilizzando il solver Z3 di Microsoft in Python) applica regole per raffinare la pipeline selezionata. Ad esempio, se l'algoritmo selezionato è ID3 (un albero di decisione) e i dati sono continui, il sistema raccomanda automaticamente un passaggio di discretizzazione.
• Visualizzazione: La pipeline finale è rappresentata tramite Business Process Model and Notation (BPMN), fornendo una visualizzazione chiara e strutturata del flusso di lavoro.
• Esecuzione: Attualmente, il sistema restituisce la pipeline come una stringa (codice/script) affinché l'utente possa eseguirla indipendentamente, poiché l'implementazione degli script di esecuzione completi per tutti gli algoritmi citati non è ancora stata completata.

5. Gestione della Base di Conoscenza

Il sistema è progettato per essere incrementale e aperto. Una piattaforma complementare consente agli esperti di ML di contribuire con nuovi algoritmi, criteri di selezione e conoscenze comportamentali. Un meccanismo di sincronizzazione assicura che la piattaforma del solver rimanga aggiornata con le ultime conoscenze degli esperti.

Contributi Chiave

• Raccomandazione di Pipeline Semi-Automatizzata: A differenza degli strumenti esistenti che raccomandano singoli algoritmi, questo framework suggerisce una pipeline di ML completa e personalizzata, includendo passaggi di pre-elaborazione, ingegneria delle feature e modellazione.
• Integrazione di Transfer Learning e Logica: Il sistema combina in modo unico la somiglianza semantica (tramite Sentence-BERT) per la mappatura del problema con la logica del primo ordine per il raffinamento della pipeline basato su regole.
• Trasparenza e Controllo: Il processo decisionale è esplicito. Gli utenti possono vedere la classifica degli algoritmi basata su criteri specifici e mantengono il controllo per regolare i pesi o modificare manualmente la pipeline.
• Architettura a Doppia Piattaforma: La separazione tra le piattaforme "Solver" (per i principianti) e "Contributor" (per gli esperti) permette un arricchimento continuo e guidato dalla comunità della base di conoscenza.
• Accessibilità Pubblica: È presentato come il primo framework online gratuito e accessibile pubblicamente che operazionalizza sistematicamente la conoscenza degli esperti per la risoluzione strutturata di problemi di ML.

Risultati

Gli autori riportano i risultati di validazione basati sul processo di selezione:

• Accuratezza della Selezione dell'Algoritmo: Il sistema è stato testato contro sei algoritmi (Naive Bayes, KNN, Bayesian Network, Random Forest, Neural Network e SVM). Quando i valori dei criteri di selezione forniti dagli esperti di dominio corrispondevano a quelli degli esperti di ML nella base di conoscenza, il sistema ha raccomandato correttamente l'algoritmo previsto il 100% delle volte in tutte le misure di similarità testate (prodotto scalare, distanza euclidea e distanza del coseno).
• Generazione della Pipeline: Il sistema genera con successo descrizioni strutturate della pipeline (BPMN) adattate a specifici contesti di problema.
• Limitazioni: Gli autori riconoscono che le prestazioni attuali del raffinamento della pipeline e della selezione dei componenti sono vincolate dalle dimensioni limitate dell'attuale base di conoscenza degli esperti. Il sistema non esegue ancora direttamente le pipeline.

Significato e Rivendicazioni

L'articolo sostiene che questo lavoro rappresenta un avanzamento significativo nel rendere il machine learning accessibile ai non esperti. Combinando i punti di forza dei cheat sheets (linee guida degli esperti) e dei sistemi di criteri di selezione (supporto decisionale interattivo), il framework offre un'alternativa strutturata e trasparente ai sistemi AutoML "black box".

Gli autori sottolineano che il loro approccio:

• Fornisce risposte istantanee rispetto all'esecuzione lenta dell'AutoML basato sull'ottimizzazione.
• Privilegia la spiegabilità, permettendo agli utenti di capire perché un determinato algoritmo o pipeline è stato scelto.
• È scalabile, consentendo l'integrazione fluida di nuovi algoritmi e criteri senza necessità di ridistribuzione.
• Affronta la carenza di esperti operazionalizzando la conoscenza collettiva degli esperti in uno strumento utilizzabile dai professionisti aziendali.

L'articolo conclude delineando il lavoro futuro, che include l'implementazione del sistema AutoML proposto basato su ottimizzatori, l'arricchimento della base di conoscenza, l'abilitazione dell'esecuzione diretta della pipeline e l'esecuzione di test più ampi con esperti di dominio.