Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection

Resumen Técnico: Aprendizaje Híbrido Activo-En Línea para la Detección de Fallos en Redes Ópticas

Planteamiento del Problema
La gestión eficaz de fallos en las redes ópticas es fundamental para mantener la continuidad del servicio. Aunque se han propuesto métodos de aprendizaje automático (ML) para automatizar la detección de fallos, los modelos estáticos suelen fallar cuando la distribución de los datos subyacentes cambia, un fenómeno conocido como Deriva de Concepto (Concept Drift, CD). En las redes ópticas, la CD surge de factores como el envejecimiento de los equipos y las propiedades variables de los canales. Un desafío específico ocurre cuando los modelos entrenados con datos de "fallo suave" (soft failure) se encuentran con eventos de "fallo duro" (hard failure) poco comunes, los cuales son difíciles de simular y para los cuales los datos etiquetados son escasos.

El aprendizaje en línea (online learning) tradicional se adapta a la CD actualizando los modelos secuencialmente sobre datos en flujo. Sin embargo, los enfoques estándar de aprendizaje en línea asumen que las etiquetas están disponibles constantemente para cada muestra. En despliegues del mundo real, esta suposición rara vez se cumple, ya que la verificación de expertos u oráculos automatizados no siempre están accesibles. En consecuencia, existe la necesidad de un método que se adapte a la deriva de concepto mientras opera bajo una severa escasez de etiquetas.

Metodología
Los autores proponen un Marco de Aprendizaje Híbrido Activo-En Línea que integra la adaptabilidad del aprendizaje en línea con la eficiencia de etiquetas del aprendizaje activo.

• Conjunto de Datos y Características: El estudio utiliza un conjunto de datos generado a partir de un banco de pruebas experimental que contiene cuatro características: Tasa de Error de Bit (BER) y Relación Señal-Ruido Óptica (OSNR) medidas tanto en el transmisor como en el receptor. Los datos se dividen en conjuntos de Fallo Suave (SFD) y Fallo Duro (HFD).
• Arquitectura del Sistema: Se compararon tres modelos:
  1. Modelo Estático: Preentrenado en SFD y utilizado únicamente para inferencia en nuevas muestras.
  2. Modelo en Línea Supervisado: Preentrenado en SFD, luego actualizado de manera prequencial (predecir, luego aprender) utilizando cada muestra disponible y su etiqueta.
  3. Modelo Híbrido (Activo+En Línea): Preentrenado en SFD, luego procesa datos en flujo mediante la predicción inicial. Emplea el Muestreo por Incertidumbre (Uncertainty Sampling) para calcular el margen (diferencia en probabilidad) entre la clase de fallo y la clase normal.
• Estrategia de Etiquetado: El sistema híbrido solicita una etiqueta solo si el margen de incertidumbre supera un Umbral de Margen ajustable y si el sistema dispone de "tokens de presupuesto". Si se solicita, el modelo se actualiza; de lo contrario, la muestra se omite para preservar el presupuesto de etiquetado. El presupuesto se recarga incrementalmente.
• Detección de Deriva: Se implementó un procedimiento de dos etapas (Prueba de Page-Hinkley seguida de la prueba de Kolmogorov-Smirnov) para identificar derivas de concepto en la característica OSNR_Rx, que exhibió la mayor correlación con las etiquetas de fallo. Esta detección se utilizó para visualización y análisis, pero no controló directamente el presupuesto de etiquetado.
• Algoritmo: Se seleccionó el ensamble de Bosques Aleatorios Adaptativos (Adaptive Random Forest, ARF) para los tres sistemas debido a su idoneidad para tareas de aprendizaje en línea.

Contribuciones Clave
La principal contribución de este trabajo es la primera aplicación conjunta del aprendizaje activo y en línea para la detección de fallos en redes ópticas. El marco busca proporcionar "lo mejor de ambos mundos": la capacidad del aprendizaje en línea para adaptarse a la deriva de concepto y la eficiencia de etiquetas del aprendizaje activo para operar en entornos con escasez de etiquetas.

Resultados
Los experimentos se realizaron utilizando el HFD como datos en flujo, añadiendo muestras de fallos sintéticos al final del flujo para simular un aumento de eventos de fallo.

• Precisión y AUC: El enfoque híbrido logró un rendimiento comparable al del modelo en línea totalmente supervisado. Al ajustar el Umbral de Margen a 0.7, el sistema alcanzó una precisión rodante de 0.77 y un AUC de 0.59 en la ventana final. Crucialmente, este rendimiento se obtuvo consultando solo el 3.4% de las muestras en flujo (193 consultas de la corriente HFD original).
• Adaptación a la Deriva: Ambos modelos en línea (supervisado e híbrido) superaron significativamente al modelo estático al encontrarse con la deriva de concepto y fallos duros. La precisión del modelo híbrido mejoró a medida que aprendía de las pocas muestras de fallo consultadas, llegando a igualar y superar brevemente el rendimiento del modelo supervisado cuando se introdujeron las muestras sintéticas.
• Latencia: El sistema híbrido demostró una sobrecarga de latencia insignificante. La latencia media por evento fue de 0.1650 ms, casi idéntica a la del modelo estático (0.1624 ms). La sobrecarga en línea para el modelo híbrido fue de solo 0.0027 ms, una reducción drástica comparada con los 0.3522 ms de sobrecarga del modelo en línea totalmente supervisado.

Significancia y Reivindicaciones
El artículo afirma que el marco híbrido propuesto ofrece una solución práctica para el monitoreo en tiempo real en redes ópticas donde el etiquetado está restringido. Al lograr una precisión y un AUC cercanos al techo de rendimiento con un etiquetado mínimo (3.4% de las muestras) y manteniendo niveles de latencia comparables a la inferencia estática, el método aborda el compromiso crítico entre el rendimiento de adaptación y el costo operativo. Los autores concluyen que este enfoque permite una adaptación eficaz a la deriva de concepto sin el costo prohibitivo del etiquetado continuo por parte de humanos u oráculos.