Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection

Resumo Técnico: Aprendizado Híbrido Ativo-Online para Detecção de Falhas em Redes Ópticas

Definição do Problema
A gestão eficaz de falhas em redes ópticas é crítica para manter o serviço contínuo. Embora métodos de aprendizado de máquina (ML) tenham sido propostos para automatizar a detução de falhas, modelos estáticos frequentemente falham quando a distribuição de dados subjacente muda — um fenômeno conhecido como Deriva de Conceito (Concept Drift - CD). Em redes ópticas, a CD surge de fatores como o envelhecimento de equipamentos e variações nas propriedades dos canais. Um desafio específico ocorre quando modelos treinados em dados de "falha suave" (soft failure) encontram eventos raros de "falha dura" (hard failure), que são difíceis de simular e para os quais os dados rotulados são escassos.

O aprendizado online tradicional adapta-se à CD atualizando modelos sequencialmente em dados de fluxo (streaming). No entanto, as abordagens online padrão assumem que os rótulos estão constantemente disponíveis para cada amostra. Em implementações do mundo real, essa suposição raramente se sustenta, pois a verificação por especialistas ou oráculos automatizados nem sempre estão acessíveis. Consequentemente, há uma necessidade de um método que se adapte à deriva de conceito enquanto opera sob severa escassez de rótulos.

Metodologia
Os autores propõem uma Estrutura de Aprendizado Híbrido Ativo-Online que integra a adaptabilidade do aprendizado online com a eficiência de rótulos do aprendizado ativo.

• Conjunto de Dados e Características: O estudo utiliza um conjunto de dados gerado a partir de um banco de testes experimental contendo quatro características: Taxa de Erro de Bit (BER) e Razão Sinal-Ruído Óptico (OSNR) medidas tanto no transmissor quanto no receptor. Os dados são divididos em conjuntos de Falha Suave (SFD) e Falha Dura (HFD).
• Arquitetura do Sistema: Três modelos foram comparados:
  1. Modelo Estático: Pré-treinado em SFD e utilizado apenas para inferência em novas amostras.
  2. Modelo Online Supervisionado: Pré-treinado em SFD, depois atualizado de maneira prequencial (prediz, depois aprende) usando cada amostra disponível e seu respectivo rótulo.
  3. Modelo Híbrido (Ativo+Online): Pré-treinado em SFD, depois processa dados de fluxo realizando primeiro a predição. Ele emprega Amostragem de Incerteza para calcular a margem (diferença de probabilidade) entre a classe de falha e a classe normal.
• Estratégia de Rotulagem: O sistema híbrido solicita um rótulo apenas se a margem de incerteza exceder um Limiar de Margem ajustável e se o sistema possuir "tokens de orçamento" disponíveis. Se solicitado, o modelo é atualizado; caso contrário, a amostra é ignorada para preservar o orçamento de rotulagem. O orçamento é reabastecido incrementalmente.
• Detecção de Deriva: Um procedimento de dois estágios (Teste de Page-Hinkley seguido pelo teste de Kolmogorov-Smirnov) foi implantado para identificar deriva de conceito na característica OSNR_Rx, que exibiu a maior correlação com os rótulos de falha. Esta detecção foi utilizada para visualização e análise, mas não controlou diretamente o orçamento de rotulagem.
• Algoritmo: O ensemble Adaptive Random Forest (ARF) foi selecionado para todos os três sistemas devido à sua adequação para tarefas de aprendizado online.

Principais Contribuições
A principal contribuição deste trabalho é a primeira aplicação conjunta de aprendizado ativo e online para detecção de falhas em redes ópticas. A estrutura visa proporcionar o "melhor de dois mundos": a capacidade do aprendizado online de se adaptar à deriva de conceito e a eficiência de rótulos do aprendizado ativo para operar em ambientes de escassez de rótulos.

Resultados
Experimentos foram conduzidos utilizando o HFD como dados de fluxo, com a adição de amostras de falha sintéticas ao final do fluxo para simular o aumento de eventos de falha.

• Acurácia e AUC: A abordagem híbrida alcançou um desempenho comparável ao modelo online totalmente supervisionado. Ao ajustar o Limiar de Margem para 0,7, o sistema atingiu uma acurácia móvel de 0,77 e um AUC de 0,59 na janela final. Crucialmente, este desempenho foi alcançado consultando apenas 3,4% das amostras de fluxo (193 consultas de um fluxo HFD original).
• Adaptação à Deriva: Ambos os modelos online (supervisionado e híbrido) superaram significativamente o modelo estático ao encontrar deriva de conceito e falhas duras. A acurácia do modelo híbrido melhorou à medida que aprendeu com as poucas amostras de falha consultadas, eventualmente igualando e ultrapassando brevemente o desempenho do modelo supervisionado quando as amostras sintéticas foram introduzidas.
• Latência: O sistema híbrido demonstrou um overhead de latência desprezível. A latência média por evento foi de 0,1650 ms, quase idêntica ao modelo estático (0,1624 ms). O overhead de processamento online para o modelo híbrido foi de apenas 0,0027 ms, uma redução drástica em relação aos 0,3522 ms de overhead do modelo online totalmente supervisionado.

Significância e Alegações
O artigo afirma que a estrutura híbrida proposta oferece uma solução prática para o monitoramento em tempo real em redes ópticas onde a rotulagem é restrita. Ao alcançar níveis de acurácia e AUC próximos ao teto com o mínimo de rotulagem (3,4% das amostras) e manter níveis de latência comparáveis à inferência estática, o método aborda o compromisso crítico entre desempenho de adaptação e custo operacional. Os autores concluem que esta abordagem permite uma adaptação eficaz à deriva de conceito sem o custo proibitivo da rotulagem contínua por humanos ou oráculos.