Adaptive-Hazard Bayesian Online Change-Point Detection for Text Streams: A Dirichlet-Multinomial Formulation

Sintesi Tecnica: Rilevamento di Cambiamenti Online Bayesiano con Pericolo Adattivo per Flussi di Testo

Problematica
Il Rilevamento di Cambiamenti Online Bayesiano (BOCPD) offre un framework ricorsivo per il monitoraggio sequenziale aggiornando la distribuzione a posteriori della "lunghezza della corsa" (tempo trascorso dall'ultimo punto di cambiamento). Tuttavia, le implementazioni standard si affidano tipicamente a una funzione di pericolo (hazard function) costante o dipendente dalla durata per determinare la probabilità a priori di un reset di segmento. Questa limitazione è particolarmente significativa per i flussi di testo sparsi, dove le osservazioni sono vettori ad alta dimensionalità di conteggio delle parole e i cambiamenti distribuzionali si manifestano spesso come un deriva lessicale graduale piuttosto che come spostamenti bruschi in riassunti a bassa dimensionalità. Nel BOCPD standard, la discrepanza tra un documento in arrivo e la cronologia recente influenza la distribuzione a posteriori solo attraverso la verosimiglianza predittiva, lasciando il peso del reset a priori statico. Questo articolo affronta il divario metodologico tra l'aggiornamento predittivo basato su conteggi sparsi e una funzione di pericolo che risponda esplicitamente all'evidenza di deriva lessicale online.

Metodologia
Gli autori propongono un metodo Adaptive-Hazard Dirichlet-Multinomial BOCPD su misura per flussi di testo sparsi. L'approccio integra tre componenti fondamentali:

1. Modello di Osservazione: I documenti sono rappresentati come vettori di conteggio delle parole. Il modello impiega una distribuzione predittiva Dirichlet-Multinomial, che fornisce un aggiornamento coniugato per conteggi sparsi ad alta dimensionalità. Ciò consente il calcolo efficiente della probabilità predittiva a un passo per qualsiasi candidata lunghezza della corsa.
2. Funzione di Pericolo Adattiva: L'innovazione centrale è la sostituzione del pericolo costante $H_0$ con un pericolo variabile nel tempo $H_t$. Tale pericolo è modellato come una funzione logistica limitata di una divergenza di Jensen–Shannon (JS) online.
   • La divergenza JS ($z_t$) misura la discrepanza distribuzionale-lessicale tra la distribuzione empirica smussata dell'attuale documento e una cronologia recente a finestra mobile.
   • Il pericolo è definito come $H_t = h_{min} + (h_{max} - h_{min})\sigma(\alpha + \beta z_t)$, dove $\sigma$ è la sigmoide logistica.
   • Questa formulazione permette alla probabilità di reset a priori di aumentare in risposta a una significativa deriva lessicale, pur rimanendo limitata per evitare la degenerazione (0 o 1).
   • Quando il coefficiente di sensibilità $\beta = 0$, il modello si riduce al BOCPD standard a pericolo costante, garantendo che il nuovo metodo sia un'estensione annidata del framework esistente.
3. Implementazione Computazionale: Per gestire la complessità quadratica del BOCPD standard su flussi prolungati, gli autori implementano il pruning della probabilità (probability pruning). Gli stati con probabilità a posteriori inferiore a una soglia $\epsilon$ vengono scartati, mentre lo stato di reset ($r=0$) e lo stato di Massima A Posteriori (MAP) sono sempre mantenuti. L'algoritmo opera su scala logaritmica per prevenire l'underflow numerico.

Contributi Chiave
L'articolo apporta tre contributi principali:

1. Formulazione: Stabilisce una procedura BOCPD Dirichlet-Multinomial per flussi di testo sparsi con esplicito aggiornamento della predizione a posteriori per osservazioni di conteggio parole ad alta dimensionalità.
2. Meccanismo Adattivo: Introduce un pericolo adattivo logistico limitato che collega la deriva JS online alla probabilità di reset a priori. Ciò separa la "plausibilità del confine" (guidata dal pericolo) dalla "compatibilità predittiva a livello di segmento" (guidata dal modello di osservazione).
3. Valutazione Empirica: Fornisce un'implementazione computazionale sparsa e valuta il metodo contro un baseline a pericolo costante (DM-BOCPD-CH) e diversi baseline non bayesiani (JS-CUSUM, JS-PH, JS-PELT) attraverso sette regimi controllati: stazionarietà, spostamenti bruschi, deriva graduale, temi ricorrenti, documenti sparsi, vocabolario rumoroso e debole deriva lessicale.

Risultati Sperimentali
Il metodo è stato testato su 7.000 flussi di testo sintetici (700.000 documenti sequenziali) e su un'applicazione nel mondo reale sui metadati settimanali di arXiv cs.CL.

• Spostamenti Bruschi e Ricorrenti: Sotto spostamenti bruschi e temi ricorrenti, il filtro a pericolo adattivo (DM-BOCPD-AH) ha performato quasi identicamente al baseline a pericolo costante (DM-BOCPD-CH). I tassi di rilevamento validi erano vicini a 1.0 (ad esempio, 0.998 vs 1.000) e i ritardi erano trascurabili. Ciò indica che la verosimiglianza predittiva Dirichlet-Multinomial da sola fornisce evidenza sufficiente per confini netti.
• Deriva Graduale e Debole: Il pericolo adattivo ha mostrato i suoi guadagni più chiari in scenari in cui i cambiamenti erano distribuiti nel tempo o deboli.
  • Deriva Graduale: Il rilevamento valido è aumentato da 0.929 (costante) a 0.933 (adattivo), e il ritardo medio di rilevamento è diminuito da 6.829 a 6.391.
  • Deriva Debole: Il rilevamento valido è migliorato da 0.135 a 0.169, con una corrispondente riduzione del ritardo medio.
• Documenti Sparsi: In scenari con documenti brevi, il metodo adattivo è diventato più reattivo (il ritardo è diminuito da 0.614 a 0.551) ma leggermente meno conservativo, con tassi di falsi allarmi aumentati da 0.050 a 0.077 a causa della maggiore variazione di campionamento nella divergenza JS.
• Stazionarietà: Entrambi i metodi BOCPD hanno mantenuto bassi tassi di falsi allarmi (0.004–0.005) in condizioni stazionarie, superando significativamente i baseline di monitoraggio diretto JS (0.050).
• Applicazione nel Mondo Reale: Sul flusso arXiv cs.CL, il pericolo adattivo ha aumentato leggermente la probabilità media di reset (da 0.0167 a 0.0190) in risposta alla variazione lessicale, ma non ha dichiarato confini spurii. La distribuzione a posteriori è rimasta concentrata su un singolo segmento continuo, dimostrando che il filtro ha correttamente distinto tra naturale fluttuazione lessicale e veri cambiamenti di regime.

Significatività e Rivendicazioni
L'articolo sostiene che la formulazione del pericolo adattivo debba essere interpretata come un'estensione condizionale del BOCPD a pericolo costante piuttosto che come un rilevatore uniformemente dominante. La sua significatività risiede nella capacità di migliorare la sensibilità del rilevamento e ridurre la latenza specificamente quando i segnali di cambiamento sono deboli o graduali, senza sacrificare le prestazioni sugli cambiamenti bruschi.

Gli autori sottolineano che il metodo preserva la struttura di filtraggio ricorsivo del BOCPD consentendo al contempo al peso del reset a priori di adattarsi all'evidenza online. A differenza degli approcci di topic modeling che si affidano a strutture di topic latenti, questo metodo monitora direttamente i vettori di conteggio parole sparsi. Lo studio conclude che il pericolo adattivo reagisce efficacemente all'evidenza di deriva online, ma la decisione finale di resettare un segmento rimane governata dall'effetto congiunto della ponderazione del pericolo e del supporto predittivo Dirichlet-Multinomial, garantendo un comportamento conservativo in assenza di forte evidenza predittiva.