Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

Riepilogo Tecnico: Compilazione di Conoscenza in Streaming per Wiki LLM Evolutive nel Tempo

1. Formulazione del Problema

Il documento affronta il limite dei sistemi wiki esistenti per LLM, che compilano la conoscenza in cache KV pre-compilate per un'inferenza efficiente ma assumono un corpus statico. In domini ad alto valore come la finanza e le enciclopedie in tempo reale, i paesaggi informativi evolvono continuamente. La sfida fondamentale è la Compilazione di Conoscenza in Streaming: dato uno stream continuo di documenti, un budget fisso di token e query future sconosciute al momento dell'ingestione, come si può mantenere una wiki compilata che minimizzi il regret cumulativo rispetto a un oracle offline con perfetta preveggenza?

La difficoltà principale risiede nel decidere quali, tra le centinaia di pubblicazioni giornaliere, meritino l'incorporazione entro un budget fisso senza attendere che una query esponga una lacuna di conoscenza. Il documento formalizza questo come un problema di ottimizzazione online con vincolo di budget, dove l'obiettivo è minimizzare il regret definito come la differenza nella qualità delle risposte tra la wiki online e una wiki oracle compilata con la conoscenza perfetta di futuri eventi ad alta materialità.

2. Metodologia: Online WiCER

Gli autori introducono Online WiCER, un algoritmo che trasforma il ciclo reattivo "Compile–Evaluate–Refine" (Compila–Valuta–Raffina) dell'originale WiCER (ispirato al Counterexample-Guided Abstraction Refinement, CEGAR) in un processo proattivo guidato dalla predizione.

Componenti Chiave:

• Segnale di Materialità ($\phi_t$): Il framework si basa su un segnale specifico del dominio $\phi_t(k, n) \in [0, 1]$ che valuta l'importanza informativa di un documento $n$ per un'entità $k$ al tempo $t$. Questo segnale funge da surrogato della rilevanza rispetto alle query, consentendo un pinning proattivo prima che arrivino le query.
  • Istanza Finanziaria: Volatilità anomala dei titoli (Abnormal Volatility Ratio, AVR), definita come il rapporto tra la volatilità realizzata forward a 5 giorni di un titolo e la media cross-sezionale del mercato.
  • Istanza Wikipedia: Rapporto di modifica anomalo (Abnormal Edit Ratio, AER), definito come il rapporto tra la velocità di modifica di un'entità e la media cross-sezionale.
• Scorer di Regret Marginale Consapevole dello Stato: Invece di valutare i fatti isolatamente, il sistema utilizza una testa di regressione su un backbone LLM congelato per stimare la riduzione del regret marginale atteso di un candidato fatto data l'attuale serie di fatti "pinned". Ciò tiene conto della ridondanza; se un fatto è già coperto dai pin esistenti, il suo valore marginale diminuisce.
• Selezione e Evizione dei Pin:
  • Selezione: Un algoritmo greedy seleziona i fatti che massimizzano la riduzione del regret marginale sotto il budget di token. Teoricamente, questo raggiunge un'approssimazione $(1 - 1/e)$ dell'insieme ottimale se la qualità della wiki è submodulare.
  • Evizione: Una coda a priorità con decadimento pesato gestisce il budget dei pin. I pin decadono nel tempo ($\exp(-\lambda \cdot \Delta t)$), garantendo che i fatti ad alto punteggio ma obsoleti vengano evitti per fare spazio a nuovi eventi.
• Compilazione: Il sistema esegue aggiornamenti incrementali giornalieri e una ricompilazione completa (usando l'algoritmo WiCER originale) a intervalli periodici ($T_r$) per integrare i fatti pinned nella struttura narrativa.
• Predictive CEGAR: Il framework formalizza il "Predictive CEGAR", dove i "controesempi" (lacune di conoscenza) sono predetti dallo stream (es. alta volatilità) piuttosto che scoperti reattivamente attraverso probe di QA falliti.

Garanzie Teoriche:
Il documento dimostra un limite di regret cumulativo di $O(\sqrt{T} \log K)$. Il limite si decompone in un termine di regret di evizione e un termine di errore di predizione ($\epsilon = E[|\phi_t - \hat{\phi}_t|]$). Crucialmente, il limite di regret è agnostico rispetto al dominio; l'unica quantità specifica del dominio è l'errore di predizione del segnale di materialità.

3. Risultati Sperimentali

Il framework è stato istanziato in due domini: Finanza (76k articoli, 39 società S&P 500) e Wikipedia (25 entità, 50k–200k modifiche).

Dominio Finanziario:

• Predizione della Materialità: Una testa di classificazione leggera addestrata su un backbone Llama 3.1 8B congelato ha raggiunto un AUROC di 0,728 su un split temporale rigoroso per predire la volatilità anomala. Il modello ha identificato con successo gli articoli associati a una volatilità realizzata forward 1,49× superiore.
• Architettura dello Scorer: Un approccio ibrido (zero-shot prompting + testa di classificazione lineare) ha mostrato che la testa di classificazione da sola catturava il segnale discriminante, con il percorso zero-shot che fungeva principalmente da router a bassa latenza per casi ambigui.
• QA End-to-End: La valutazione ha rivelato un confondimento significativo: quando si utilizza un LLM-as-judge (lo stesso backbone) per valutare le risposte su fatti post-training, la baseline "No Wiki" spesso otteneva il punteggio più alto a causa della preferenza del giudice per risposte parametriche fluide e sicure rispetto a contenuti wiki fattuali ma specifici.
• Analisi del Regret: Nonostante il confondimento del punteggio QA, l'analisi del regret su coppie corrispondenti ha mostrato che Online WiCER converge a un regret cumulativo di -20,0 (media -0,12/step) rispetto all'oracle. Gli autori interpretano il segno negativo non come superiorità algoritmica, ma come prova del confondimento dell'LLM-judge (i fatti densi e specifici dell'oracle venivano penalizzati dal giudice).

Dominio Wikipedia:

• Segnale di Materialità: L'Abnormal Edit Ratio (AER) ha funto da segnale.
• Analisi del Regret: In questo dominio, il confondimento dell'LLM-judge era assente (il backbone mancava di conoscenza parametrica delle specifiche modifiche 2024–2025). Qui, un contesto più ricco migliorava costantemente i punteggi. Online WiCER ha mostrato un regret cumulativo di +16,0 (media +0,13/step) rispetto all'oracle. Il segno positivo conferma che l'algoritmo ha tracciato con successo l'oracle, con il divario attribuito al segnale AER più rumoroso rispetto al predittore di volatilità finanziaria.
• Confronto: La baseline FIFO (basata solo sulla ricenza) è stata quasi altrettanto performante dell'Oracle in Wikipedia, suggerendo che per entità con alta velocità di modifica, la ricenza è un forte proxy, sebbene il segnale AER fornisca un meccanismo di selezione basato su principi e agnostico rispetto al dominio.

Efficienza:
Il sistema ha dimostrato un alto throughput su hardware comune (Apple M4), elaborando articoli a ritmi superiori a 30.000 articoli/ora, ovvero 63× il tasso di picco degli stream di notizie finanziarie. Lo scorer consapevole dello stato ha aggiunto una latenza trascurabile (singolo prodotto scalare) rispetto al forward pass del backbone congelato.

4. Contributi Chiave

1. Formalizzazione della Compilazione di Conoscenza in Streaming: Definizione del problema del mantenimento di una wiki con budget limitato contro un corpus in streaming con query future sconosciute.
2. Algoritmo Online WiCER: Un algoritmo di pinning proattivo che utilizza la selezione basata sul punteggio di materialità, l'evizione con decadimento pesato e la ricompilazione periodica.
3. Scorer Marginale Consapevole dello Stato: Una testa di regressione su un backbone congelato che si condiziona sull'attuale set di pin per selezionare fatti non ridondanti, con una garanzia di approssimazione submodulare $(1-1/e)$.
4. Teorema di Decomposizione del Regret: Dimostrazione di un limite di regret $O(\sqrt{T} \log K)$ dove l'unico termine specifico del dominio è l'errore di predizione del segnale di materialità.
5. Predictive CEGAR: Estensione del paradigma CEGAR dalla scoperta reattiva di controesempi alla predizione proattiva di lacune di conoscenza.
6. Risultato Metodologico: Dimostrazione che l'evaluazione "LLM-as-judge" è confusa sui fatti post-training, stabilendo l'analisi del regret su coppie corrispondenti come metrica affidabile per i sistemi di conoscenza compilata.

5. Significato e Rivendicazioni

Il documento afferma che la Compilazione di Conoscenza in Streaming è un problema generale applicabile a qualsiasi dominio in cui le lacune di conoscenza possano essere predette da segnali in streaming (es. finanza, letteratura clinica, documenti legali). La significatività risiede in:

• Proattività: Spostamento da aggiornamenti reattivi (attendere il fallimento di una query) a manutenzione proattiva (predire eventi ad alto valore).
• Agnosticismo del Dominio: L'algoritmo e le garanzie teoriche sono indipendenti dal segnale di materialità specifico; l'esperto di dominio deve solo fornire un segnale $\phi_t$.
• Fondamento Teorico: Fornitura di garanzie formali di convergenza e limiti di regret per un sistema operante sotto incertezza di query.
• Viabilità Pratica: Dimostrazione che un singolo backbone LLM congelato può servire sia come compilatore di conoscenza che come scorer di materialità, raggiungendo un alto throughput e bassa latenza adatta a stream in tempo reale.

Gli autori rimangono modesti, notando limitazioni come l'intrinseca imperfezione della predizione della materialità (mancata individuazione di eventi "black swan"), il potenziale disturbo della normalizzazione cross-sezionale durante crisi correlate e l'attuale dipendenza da segnali di dominio specifici. Non rivendicano che il sistema sia uno strumento di trading, bensì un meccanismo di cura della conoscenza.