Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection

Sintesi Tecnica: Apprendimento Ibrido Attivo-Online per il Rilevamento dei Guasti nelle Reti Ottiche

Definizione del Problema
La gestione efficace dei guasti nelle reti ottiche è fondamentale per garantire la continuità del servizio. Sebbene siano stati proposti metodi di apprendimento automatico (ML) per automatizzare il rilevamento dei guasti, i modelli statici spesso falliscono quando la distribuzione dei dati sottostante cambia — un fenomeno noto come Concept Drift (CD). Nelle reti ottiche, il CD deriva da fattori quali l'invecchiamento delle apparecchiature e le variazioni delle proprietà dei canali. Una sfida specifica si verifica quando i modelli addestrati su dati di "guasto soft" (soft failure) incontrano eventi di "guasto hard" (hard failure) rari, che sono difficili da simulare e per i quali i dati etichettati sono scarsi.

L'apprendimento online tradizionale si adatta al CD aggiornando i modelli sequenzialmente sui dati in streaming. Tuttavia, gli approcci online standard assumono che le etichette siano costantemente disponibili per ogni campione. Nelle implementazioni reali, questa ipotesi raramente si verifica, poiché la verifica da parte di esperti o gli oracle automatizzati non sono sempre accessibili. Di conseguenza, è necessario un metodo che si adatti al concept drift operando in condizioni di severa scarsità di etichette.

Metodologia
Gli autori propongono un Framework di Apprendimento Ibrido Attivo-Online che integra l'adattabilità dell'apprendimento online con l'efficienza delle etichette dell'apprendimento attivo.

• Dataset e Caratteristiche: Lo studio utilizza un dataset generato da un banco di prova sperimentale contenente quattro caratteristiche: Bit-Error-Rate (BER) e Optical Signal-to-Noise Ratio (OSNR) misurati sia al trasmettitore che al ricevitore. I dati sono suddivisi in set di Guasto Soft (SFD) e Guasto Hard (HFD).
• Architettura del Sistema: Sono stati confrontati tre modelli:
  1. Modello Statico: Pre-addestrato su SFD e utilizzato solo per l'inferenza su nuovi campioni.
  2. Modello Online Supervisionato: Pre-addestrato su SFD, poi aggiornato in modo prequenziale (predizione, poi apprendimento) utilizzando ogni campione disponibile e la sua etichetta.
  3. Modello Ibrido (Attivo+Online): Pre-addestrato su SFD, poi elabora i dati in streaming procedendo prima con la predizione. Utilizza il Campionamento dell'Incertezza (Uncertainty Sampling) per calcolare il margine (differenza di probabilità) tra la classe di guasto e quella normale.
• Strategia di Etichettatura: Il sistema ibrido interroga una etichetta solo se il margine di incertezza supera una Soglia di Margine regolabile e se il sistema dispone di "token di budget". Se viene effettuata una query, il modello si aggiorna; altrimenti, il campione viene saltato per preservare il budget di etichettatura. Il budget si ricarica incrementalmente.
• Rilevamento del Drift: Un procedimento a due stadi (Test di Page-Hinkley seguito dal test di Kolmogorov-Smirnov) è stato implementato per identificare i concept drift nella caratteristica OSNR_Rx, che ha mostrato la più alta correlazione con le etichette di guasto. Questo rilevamento è stato utilizzato per la visualizzazione e l'analisi, ma non ha controllato direttamente il budget di etichettatura.
• Algoritmo: L'ensemble Adaptive Random Forest (ARF) è stato selezionato per tutti e tre i sistemi per la sua idoneità ai compiti di apprendimento online.

Contributi Chiave
Il contributo primario di questo lavoro è la prima applicazione congiunta dell'apprendimento attivo e online per il rilevamento dei guasti nelle reti ottiche. Il framework mira a fornire "il meglio di entrambi i mondi": la capacità dell'apprendimento online di adattarsi al concept drift e l'efficienza delle etichette dell'apprendimento attivo per operare in ambienti con scarsità di etichette.

Risultati
Gli esperimenti sono stati condotti utilizzando l'HFD come dati in streaming, aggiungendo campioni di guasto sintetici alla fine dello stream per simulare un aumento degli eventi di guasto.

• Accuratezza e AUC: L'approccio ibrido ha ottenuto prestazioni paragonabili al modello online completamente supervisionato. Regolando la Soglia di Margine a 0,7, il sistema ha raggiunto un'accuratezza mobile di 0,77 e un AUC di 0,59 nella finestra finale. Fondamentalmente, questa prestazione è stata ottenuta interrogando solo il 3,4% dei campioni in streaming (193 query su tutto lo stream HFD).
• Adattamento al Drift: Entrambi i modelli online (supervisionato e ibrido) hanno superato significativamente il modello statico quando hanno incontrato il concept drift e i guasti hard. L'accuratezza del modello ibrido è migliorata man mano che apprendeva dai pochi campioni di guasto interrogati, arrivando a eguagliare e brevemente superare le prestazioni del modello supervisionato quando sono stati introdotti i campioni sintetici.
• Latenza: Il sistema ibrido ha dimostrato un overhead di latenza trascurabile. La latenza media per evento è stata di 0,1650 ms, quasi identica al modello statico (0,1624 ms). L'overhead online per il modello ibrido è stato di soli 0,0027 ms, una drastica riduzione rispetto allo 0,3522 ms del modello online completamente supervisionato.

Significatività e Rivendicazioni
Il documento afferma che il framework ibrido proposto offre una soluzione pratica per il monitoraggio in tempo reale nelle reti ottiche dove l'etichettatura è limitata. Raggiungendo prestazioni di accuratezza e AUC vicine al limite superiore con un'etichettatura minima (3,4% dei campioni) e mantenendo livelli di latenza comparabili all'inferenza statica, il metodo affronta il critico compromesso tra prestazione di adattamento e costo operativo. Gli autori concludono che questo approccio consente un efficace adattamento al concept drift senza il costo proibitivo di un continuo etichettamento umano o tramite oracle.