What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it

Nel mondo del machine learning, dove i computer imparano a riconoscere schemi e fare previsioni, esiste una strategia comune chiamata apprendimento d'insieme (ensemble learning). Immaginate un team di esperti che cerca di risolvere un puzzle difficile. Invece di affidarsi a un singolo specialista, il team combina le risposte di molti individui diversi per raggiungere una conclusione più accurata. Questo approccio funziona perché gli errori di una persona sono spesso corretti dalla saggezza del gruppo. A volte, questi team sono composti da membri che utilizzano tutti lo stesso metodo di pensiero, come un gruppo di statistici. Altre volte, il team è misto, riunendo esperti che utilizzano strumenti e approcci completamente diversi. Questo mix di metodi differenti è noto come ensemble eterogeneo. La domanda centrale per i ricercatori è stata a lungo come costruire al meglio un tale team quando le risorse sono limitate. Se avete un budget per addestrare trecento modelli informatici, quanti dovreste spendere per il primo tipo di esperto, quanti per il secondo e quanti per il terzo? Trovare l'equilibrio perfetto sembra un modo logico per spremere prestazioni extra, e molti ricercatori hanno trascorso anni sviluppando algoritmi complessi per cercare quel mix ideale.

Un nuovo studio di Muhammetalp Erdem della Trabzon University mette in discussione la premessa stessa di questa ricerca. Il ricercatore si è proposto di testare se lo sforzo impiegato per dare la caccia alla proporzione perfetta di diversi tipi di modelli porti effettivamente alcun beneficio reale. Per farlo, ha costruito un esperimento massiccio utilizzando trenta diversi dataset pubblici, che spaziavano dai record medici ai dati finanziari, ed ha eseguito i test dieci volte su ciascuno per garantire che i risultati non fossero solo un caso fortuito. Ha fissato il numero totale di modelli informatici a trecento e li ha divisi tra tre distinte famiglie di algoritmi di apprendimento: random forests, extremely randomized trees e bagged nearest neighbors. Questi sono strumenti standard e ben compresi nel settore. Lo studio ha confrontato sei modi diversi di decidere come suddividere i trecento modelli. Alcuni metodi utilizzavano una regola semplice e fissa, mentre altri utilizzavano ricerche sofisticate per trovare la combinazione migliore basata su quanto performassero su un set di test.

I risultati sono stati chiari e sorprendenti. Lo studio ha confermato che un team con un mix fisso e uguale dei tre tipi di modelli ha performato peggio di qualsiasi metodo che abbia cercato di scegliere un mix specifico. In media, il semplice tentativo di selezionare un mix ha migliorato l'accuratezza di quasi sette decimi di un punto percentuale rispetto a una suddivisione casuale e uniforme. Ciò ha dimostrato che la composizione del team è importante. Tuttavia, la ricerca della composizione perfetta si è rivelata un vicolo cieco. Nessuno dei sofisticati metodi di ricerca, inclusi quelli che cercavano di smussare gli errori o di mediare molti diversi tentativi, riusciva a battere una strategia molto più semplice: scegliere la singola migliore famiglia e riempire l'intero budget con un solo tipo di modello. Infatti, i metodi di ricerca più complessi hanno performato statisticamente allo stesso modo di una semplice scelta della migliore singola famiglia. I ricercatori hanno scoperto che l'extra sforzo per trovare un mix di diversi modelli non forniva alcun guadagno misurabile in termini di accuratezza.

Il documento va oltre per spiegare perché questo accada, rivelando che il potenziale percepito di miglioramento è stato in gran parte un'illusione creata dal modo in cui i ricercatori misurano il successo. In molti studi, il risultato "migliore possibile" viene calcolato guardando tutti i candidati mix e scegliendo quello che ha ottenuto il punteggio più alto sui dati di test. Questo è spesso chiamato limite oracle (oracle bound), che rappresenta un tetto teorico che i metodi del mondo reale dovrebbero cercare di raggiungere. Erdem ha dimostrato che questo tetto è artificialmente alto. Poiché i diversi mix di modelli sono così simili tra loro — differendo solo di pochi modelli su centinaia — i loro punteggi di performance sono altamente correlati e rumorosi. Quando si sceglie il punteggio massimo da un grande gruppo di stime rumorose e simili, si è quasi garantiti nel scegliere un numero che è superiore al vero potenziale. Lo studio ha introdotto un modo più onesto di misurare questo potenziale dividendo a metà i dati di test: usando una metà per scegliere il mix migliore e l'altra metà per vedere come esso performi effettivamente. Quando questo test più equo è stato applicato, il presunto "margine" di miglioramento è svanito completamente. Il vantaggio apparente di trovare un mix perfetto è stato rivelato essere interamente un bias di selezione, un artefatto statistico piuttosto che una reale opportunità.

Lo studio ha anche esplorato se aggiungere più diversità al team cambierebbe l'esito. I ricercatori hanno aggiunto un quarto tipo di modello, una famiglia lineare, per vedere se un gruppo più vario rendesse la ricerca di un mix più utile. Anche con questa diversità aggiunta, i risultati sono rimasti fermi. Sebbene le differenze potenziali tra i mix siano diventate leggermente più grandi, i metodi di ricerca complessi non sono riusciti a battere la semplice strategia di scegliere la singola migliore famiglia di modelli. Infatti, all'aumentare del numero di possibili mix, il vantaggio apparente di trovare un mix perfetto è cresciuto, ma il vantaggio reale e onesto nel mondo reale è rimasto negativo. Ciò ha confermato che il problema non era la mancanza di diversità nei modelli, ma la difficoltà fondamentale di distinguere tra opzioni molto simili quando i dati sono rumorosi. Il panorama delle performance non è un picco acuto dove un mix specifico si distingue chiaramente; è un plateau ampio e piatto dove molti diversi mix performano quasi identicamente, e le piccole differenze tra loro sono facilmente sommerse dal rumore casuale.

Per chiunque costruisca questi modelli informatici, il consiglio pratico è diretto. Non perdete tempo o sforzi di ingegneria cercando di calcolare il rapporto perfetto di diversi tipi di modelli. Invece, scegliete la singola migliore famiglia di modelli disponibile e usate l'intero budget per costruire un grande team di quel solo tipo. L'unica scelta che conta davvero è evitare un mix predefinito e uguale di tutto, che è in modo affidabile l'opzione peggiore. Lo studio suggerisce che il campo dell'apprendimento d'insieme ha inseguito un fantasma. La convinzione che una ricerca complessa della composizione ideale sia necessaria si basa su un errore di misurazione che sovrastima i guadagni potenziali. Utilizzando un metodo di test più rigoroso, la ricerca mostra che il segnale di un mix migliore è spesso troppo debole per essere trovato sopra il rumore dei dati. La via più efficace non è cercare una combinazione complessa, ma selezionare lo strumento più forte e usarlo appieno.