Adaptive-Hazard Bayesian Online Change-Point Detection for Text Streams: A Dirichlet-Multinomial Formulation

Resumo Técnico: Detecção de Mudança Online Bayesiana com Risco Adaptativo para Fluxos de Texto

Definição do Problema
A Detecção de Mudança Online Bayesiana (BOCPD) oferece uma estrutura recursiva para monitoramento sequencial ao atualizar a distribuição posterior do "comprimento da corrida" (tempo desde o último ponto de mudança). No entanto, as implementações padrão dependem tipicamente de uma função de risco constante ou dependente da duração para determinar a probabilidade a priori de um reset de segmento. Essa limitação é particularmente consequente para fluxos de texto esparsos, onde as observações são vetores de contagem de palavras de alta dimensão e as mudanças distributivas frequentemente se manifestam como deriva lexical gradual, em vez de mudanças abruptas em resumos de baixa dimensão. Na BOCPD padrão, a discrepância entre um documento de entrada e o histórico recente influencia a posterior preditiva apenas através da verossimilhança preditiva, deixando o peso do risco a priori estático. Este artigo aborda a lacuna metodológica de conectar a atualização preditiva baseada em contagens esparsas com uma função de risco que responde explicitamente à evidência de deriva lexical online.

Metodologia
Os autores propõem um método BOCPD de Dirichlet-Multinomial com Risco Adaptativo adaptado para fluxos de texto esparsos. A abordagem integra três componentes principais:

1. Modelo de Observação: Os documentos são representados como vetores de contagem de palavras. O modelo utiliza uma distribuição preditiva Dirichlet-Multinomial, que fornece uma atualização conjugada para contagens esparsas de alta dimensão. Isso permite o cálculo eficiente da probabilidade preditiva posterior de um passo para qualquer comprimento de corrida candidato.
2. Função de Risco Adaptativa: A inovação central é substituir o risco fixo $H_0$ por um risco variável no tempo $H_t$. Este risco é modelado como uma função logística limitada de uma divergência de Jensen–Shannon (JS) online.
   • A divergência JS ($z_t$) mede a discrepância de distribuição lexical-distributiva entre a distribuição empírica suavizada do documento atual e um histórico de janela deslizante recente.
   • O risco é definido como $H_t = h_{min} + (h_{max} - h_{min})\sigma(\alpha + \beta z_t)$, onde $\sigma$ é a sigmoide logística.
   • Esta formulação permite que a probabilidade de reset a priori aumente em resposta a uma deriva lexical significativa, permanecendo limitada para evitar degeneração (0 ou 1).
   • Quando o coeficiente de sensibilidade $\beta = 0$, o modelo reduz-se à BOCPD de risco constante padrão, garantindo que este novo método seja uma extensão aninhada do framework existente.
3. Implementação Computacional: Para lidar com a complexidade quadrática da BOCPD padrão sobre fluxos longos, os autores implementam a poda de probabilidade (probability pruning). Estados com probabilidades posteriores abaixo de um limiar $\epsilon$ são descartados, enquanto o estado de reset ($r=0$) e o estado de Máxima Probabilidade a Posteriori (MAP) são sempre retidos. O algoritmo opera na escala logarítmica para evitar o subfluxo numérico (underflow).

Principais Contribuições
O artigo apresenta três contribuições principais:

1. Formulação: Estabelece um procedimento BOCPD Dirichlet-Multinomial para fluxos de texto esparsos com atualização preditiva posterior explícita para observações de contagem de palavras de alta dimensão.
2. Mecanismo Adaptativo: Introduz um risco adaptativo logístico limitado que vincula a deriva JS online à probabilidade de reset a priori. Isso separa a "plausibilidade de fronteira" (impulsionada pelo risco) da "compatibilidade preditiva de nível de segmento" (impulsionada pelo modelo de observação).
3. Avaliação Empírica: Fornece uma implementação computacional esparsa e avalia o método contra uma linha de base de risco constante (DM-BOCPD-CH) e diversas linhas de base não bayesianas (JS-CUSUM, JS-PH, JS-PELT) em sete regimes controlados: estacionaridade, mudanças abruptas, deriva gradual, tópicos recorrentes, documentos esparsos, vocabulário ruidoso e deriva lexical fraca.

Resultados Experimentais
O método foi testado em 7.000 fluxos de texto sintéticos (700.000 documentos sequenciais) e uma aplicação do mundo real nos metadados semanais do arXiv cs.CL.

• Mudanças Abruptas e Recorrentes: Sob mudanças abruptas e tópicos recorrentes, o filtro de risco adaptativo (DM-BOCPD-AH) apresentou desempenho quase idêntico à linha de base de risco constante (DM-BOCPD-CH). As taxas de detecção válidas foram próximas de 1,0 (ex: 0,998 vs. 1,000) e os atrasos foram insignificantes. Isso indica que a verossimilhança preditiva Dirichlet-Multinomial sozinha fornece evidência suficiente para fronteiras nítidas.
• Deriva Gradual e Fraca: O risco adaptativo mostrou seus ganhos mais claros em cenários onde as mudanças eram distribuídas ao longo do tempo ou fracas.
  • Deriva Gradual: A detecção válida aumentou de 0,929 (constante) para 0,933 (adaptativo), e o atraso médio de detecção diminuiu de 6,829 para 6,391.
  • Deriva Fraca: A detecção válida melhorou de 0,135 para 0,169, com uma redução correspondente no atraso médio.
• Documentos Esparsos: Em cenários com documentos curtos, o método adaptativo tornou-se mais responsivo (atraso diminuiu de 0,614 para 0,551), mas ligeiramente menos conservador, com as taxas de falsos alarmes subindo de 0,050 para 0,077 devido ao aumento da variação de amostragem na divergência JS.
• Estacionaridade: Ambos os métodos BOCPD mantiveram baixas taxas de falsos alarmes (0,004–0,005) sob condições estacionárias, superando significativamente as linhas de base de monitoramento direto de JS (0,050).
• Aplicação no Mundo Real: No fluxo do arXiv cs.CL, o risco adaptativo aumentou ligeiramente a probabilidade média de reset (0,0167 para 0,0190) em resposta à variação lexical, mas não declarou fronteiras espúrias. A posterior permaneceu concentrada em um único segmento contínuo, demonstrando que o filtro distinguiu corretamente entre a flutuação lexical natural e mudanças reais de regime.

Significância e Alegações
O artigo alega que a formulação de risco adaptativo deve ser interpretada como uma extensão condicional da BOCPD de risco constante, em vez de um detector uniformemente dominante. Sua significância reside na capacidade de melhorar a sensibilidade de detecção e reduzir a latência especificamente quando os sinais de mudança são fracos ou graduais, sem sacrificar o desempenho em mudanças abruptas.

Os autores enfatizam que o método preserva a estrutura de filtragem recursiva da BOCPD, permitindo que o peso do risco a priori se adapte à evidência online. Ao contrário das abordagens de modelagem de tópicos que dependem de estruturas de tópicos latentes, este método monitora diretamente vetores esparsos de contagem de palavras. O estudo conclui que o risco adaptativo reage efetivamente à evidência de deriva online, mas a decisão final de resetar um segmento permanece governada pelo efeito conjunto do peso do risco e do suporte preditivo Dirichlet-Multinomial, garantindo um comportamento conservador na ausência de evidência preditiva forte.