Cooperative Coevolution versus Monolithic Evolutionary Search for Semi-Supervised Tabular Classification

1. Il Problema

Il lavoro affronta il problema della classificazione tabellare semi-supervisionata (SSL) in regimi di etichettatura estremamente scarsa (low-label regime), dove sono disponibili molti dati non etichettati ma solo una frazione minima (1%, 5%, 10%) di dati etichettati.
In questo contesto, i metodi SSL tradizionali (come il Self-Training o il Co-Training) spesso falliscono o degradano le prestazioni a causa di:

• Assunzioni metodologiche violate.
• Errori di pseudo-etichettatura che si accumulano e dominano l'addestramento (confirmation bias).
• Difficoltà nel calibrare manualmente decisioni accoppiate, come la costruzione di "viste" (sottoinsiemi di feature) e le politiche di selezione delle pseudo-etichette.

L'obiettivo è ottimizzare automaticamente queste decisioni accoppiate per massimizzare le prestazioni di classificazione quando i dati etichettati sono molto pochi.

2. Metodologia

L'autore propone e confronta due approcci basati sulla ricerca evolutiva per ottimizzare un pipeline SSL leggero basato su pseudo-labeling con due viste (two-view).

Componenti del Sistema

Il sistema evolve due componenti interdipendenti:

1. Costruttore di Viste (View Builder): Seleziona due sottoinsiemi complementari di feature (viste) dai dati tabellari.
2. Politica di Pseudo-Labeling: Definisce il classificatore di base, le soglie di confidenza, i vincoli di margine, i veto di disaccordo tra le due viste e i criteri di arresto.

Gli Approcci Confrontati

1. CC-SSL (Cooperative Coevolution):

   • Utilizza due popolazioni separate che evolvono indipendentemente ma collaborano.
   • Una popolazione evolve i costruttori di viste, l'altra le politiche di pseudo-labeling.
   • La fitness di un individuo è valutata collaborando con i migliori individui dell'altra popolazione (partner elitisti) e con partner campionati casualmente.
   • L'obiettivo è esplorare se la scomposizione del problema in sottoproblemi cooperativi migliora la ricerca.

2. EA-SSL (Monolithic Evolutionary Search):

   • Utilizza una singola popolazione monolitica.
   • Ogni individuo (genotipo) codifica sia il costruttore di viste che la politica di pseudo-labeling in un'unica stringa concatenata.
   • Serve come baseline per isolare l'effetto della fattorizzazione (CC) rispetto alla codifica monolitica, mantenendo invariato il budget computazionale e i blocchi costruttivi.

Protocollo Sperimentale

• Dataset: 25 dataset OpenML (11 binari, 12 multiclasse) con frazioni di etichette {1%, 5%, 10%}.
• Baseline: Confronto con metodi SSL leggeri classici (Self-Training, Heuristic Co-Training, Label Spreading) e classificatori supervisionati.
• Metriche: MacroF1 (metrica principale), accuratezza, diversità della popolazione, volume delle pseudo-etichette, ProbeDrop (stabilità su un set di prova non etichettato) e ottimismo di validazione.
• Tuning: Un protocollo di tuning a tre stadi per ottimizzare iperparametri, operatori genetici e pesi della funzione di fitness su un set di sviluppo limitato.

3. Contributi Chiave

1. Formulazione di Ottimizzazione Congiunta: Propone un framework che ottimizza simultaneamente la costruzione di feature a due viste e la politica di pseudo-labeling, affrontando la complessità di tuning manuale.
2. Confronto Controllato CC vs. EA: Fornisce un confronto rigoroso tra Coevoluzione Cooperativa e Ricerca Evolutiva Monolitica in un contesto SSL tabellare, utilizzando blocchi costruttivi condivisi e budget computazionali matched.
3. Protocollo di Tuning Staged: Introduce una procedura di tuning a stadi per ridurre la dimensionalità e prevenire l'overfitting sui dati di sviluppo.
4. Benchmark Completo: Valutazione su 25 dataset con reporting multi-metrica (prestazioni, dinamica evolutiva, stabilità delle pseudo-etichette) e artefatti riproducibili.

4. Risultati Principali

Prestazioni Finali (Test MacroF1)

• Superiorità rispetto alle Baseline: Sia CC-SSL che EA-SSL ottengono prestazioni mediane significativamente superiori rispetto ai tre baseline SSL leggeri (Self-Training, Co-Training, Label Spreading), specialmente nel regime più critico (1% di dati etichettati).
• CC vs. EA: Non vi è una differenza sistematica nelle prestazioni finali di test tra i due metodi evolutivi. La maggior parte dei confronti dataset-specifici risulta in un "pareggio" statistico (draw) sia per MacroF1 che per accuratezza.
• Multiclasse vs. Binario: Le differenze sono più marcate nei dataset multiclasse, dove i metodi evolutivi superano nettamente le baseline SSL a bassa etichettatura.

Dinamiche Evolutive e Costi

• Fitness e Diversità: EA-SSL mostra una fitness migliore nel tempo (best-so-far) e mantiene una diversità della popolazione più alta durante la ricerca rispetto a CC-SSL. CC-SSL tende a ridurre la diversità più rapidamente.
• Convergenza (GTT - Generations-to-Target): EA-SSL raggiunge il target di fitness in meno generazioni rispetto a CC-SSL, specialmente nei dataset multiclasse.
• Tempo di Esecuzione (TTT - Time-to-Target): Nonostante la differenza nel numero di generazioni, il tempo reale (wall-clock) per raggiungere la qualità target è comparabile tra i due metodi.

Dinamica delle Pseudo-Etichette

• Non sono state trovate differenze statisticamente significative tra CC-SSL e EA-SSL riguardo al volume delle pseudo-etichette accettate, al ProbeDrop (degradazione su set di prova) o all'ottimismo di validazione. Entrambi i metodi mostrano un comportamento stabile e simile nella gestione delle pseudo-etichette.

5. Significato e Conclusioni

Il paper dimostra che:

1. L'ottimizzazione evolutiva è efficace: In regimi di etichettatura estremamente scarsa (1%), i metodi evolutivi per SSL superano significativamente gli approcci euristici classici.
2. La fattorizzazione non garantisce vantaggi finali: Sebbene la Coevoluzione Cooperativa (CC) offra una struttura di ricerca diversa, in questo contesto specifico non ha portato a un miglioramento sistematico delle prestazioni finali rispetto alla ricerca monolitica (EA), pur mostrando dinamiche di ricerca diverse (minore diversità, convergenza più lenta in termini di generazioni).
3. Efficienza computazionale: EA-SSL appare leggermente più efficiente in termini di iterazioni evolutive (generazioni) necessarie per convergere, rendendolo una scelta preferibile se il costo è misurato in termini di generazioni, mentre i tempi di esecuzione reali sono simili.

In sintesi, il lavoro suggerisce che per la classificazione tabellare semi-supervisionata con risorse computazionali limitate, un approccio evolutivo monolitico ben configurato è sufficiente e competitivo, offrendo una convergenza più rapida in termini di iterazioni rispetto alla coevoluzione cooperativa, pur senza sacrificare la qualità finale della soluzione.