Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

Resumen Técnico: Compilación de Conocimiento en Streaming para Wikis de LLM en Evolución Temporal

1. Formulación del Problema

El artículo aborda la limitación de los sistemas de wikis de LLM existentes, que compilan el conocimiento en cachés KV pre-rellenados para una inferencia eficiente, pero asumen un corpus estático. En dominios de alto valor como las finanzas y las enciclopedias en tiempo real, los paisajes informativos evolucionan continuamente. El desafío fundamental es la Compilación de Conocimiento en Streaming: dado un flujo continuo de documentos, un presupuesto fijo de tokens y consultas futuras que son desconocidas al momento de la ingesta, ¿cómo se mantiene una wiki compilada que minimice el arrepentimiento (regret) acumulado frente a un oráculo offline con previsión perfecta?

La dificultad central radica en decidir qué parte de los cientos de documentos diarios amerita ser incorporada dentro de un presupuesto fijo sin esperar a que una consulta exponga una brecha de conocimiento. El artículo formaliza esto como un problema de optimización online con restricciones de presupuesto, donde el objetivo es minimizar el arreglo (regret) definido como la diferencia en la calidad de las respuestas entre la wiki online y una wiki oráculo compilada con conocimiento perfecto de los eventos de alta materialidad futuros.

2. Metodología: Online WiCER

Los autores introducen Online WiCER, un algoritmo que transforma el bucle reactivo de "Compilar–Evaluar–Refinar" del WiCER original (inspirado en la Refinación de Abstracción Guiada por Contraejemplos, CEGAR) en un proceso proactivo impulsado por la predicción.

Componentes Clave:

• Señal de Materialidad ($\phi_t$): El marco se basa en una señal de dominio específico $\phi_t(k, n) \in [0, 1]$ que califica la importancia de la información de un documento $n$ para una entidad $k$ en el tiempo $t$. Esta señal actúa como un sustituto de la relevancia de la consulta, permitiendo el anclaje (pinning) proactivo antes de que lleguen las consultas.
  • Instanciación Financiera: Volatilidad anormal de las acciones (Ratio de Volatilidad Anormal, AVR), definida como la relación entre la volatilidad realizada a 5 días de adelanto de una acción y el promedio del mercado transversal.
  • Instanciación de Wikipedia: Ratio de Edición Anormal (AER), definida como la relación entre la velocidad de edición de una entidad y el promedio transversal.
• Calificador de Arrepentimiento Marginal Consciente del Estado: En lugar de calificar hechos de forma aislada, el sistema utiliza una cabeza de regresión en un backbone de LLM congelado para estimar la reducción marginal esperada del arrepentimiento de un hecho candidato dado el conjunto actual de hechos anclados. Esto tiene en cuenta la redundancia; si un hecho ya está cubierto por los anclajes existentes, su valor marginal disminuye.
• Selección y Evicción de Anclajes (Pins):
  • Selección: Un algoritmo voraz (greedy) selecciona hechos que maximizan la reducción del arrepentimiento marginal bajo el presupuesto de tokens. Teóricamente, esto logra una aproximación de $(1 - 1/e)$ al conjunto óptimo si la calidad de la wiki es submodular.
  • Evicción: Una cola de prioridad ponderada por decaimiento gestiona el presupuesto de anclajes. Los anclajes decaen con el tiempo ($\exp(-\lambda \cdot \Delta t)$), asegurando que los hechos de alta puntuación pero obsoletos sean desalojados para dar lugar a nuevos eventos.
• Compilación: El sistema realiza actualizaciones incrementales diariamente y una recompilación completa (usando el algoritmo WiCER original) en intervalos periódicos ($T_r$) para integrar los hechos anclados en la estructura narrativa.
• CEGAR Predictivo: El marco formaliza el "CEGAR Predictivo", donde los "contraejemplos" (brechas de conocimiento) se predicen a partir del flujo (por ejemplo, alta volatilidad) en lugar de descubrirse reactivamente mediante sondas de QA fallidas.

Garantías Teóricas:
El artículo demuestra un límite de arrepentimiento acumulado de $O(\sqrt{T} \log K)$. El límite se descompone en un término de arrepentimiento de evicción y un término de error de predicción ($\epsilon = E[|\phi_t - \hat{\phi}_t|]$). Crucialmente, el límite de arrepentimiento es agnóstico al dominio; la única cantidad dependiente del dominio es el error de predicción de la señal de materialidad.

3. Resultados Experimentales

El marco fue instanciado en dos dominios: Finanzas (76k artículos, 39 empresas del S&P 500) y Wikipedia (25 entidades, 50k–200k ediciones).

Dominio Financiero:

• Predicción de Materialidad: Una cabeza de clasificación ligera entrenada en un backbone Llama 3.1 8B congelado logró un AUROC de 0.728 en una división temporal estricta para predecir la volatilidad anormal. El modelo identificó con éxito artículos asociados con una volatilidad realizada futura 1.49$\times$ mayor.
• Arquitectura del Calificador: Un enfoque híbrido (prompting zero-shot + cabeza de clasificación lineal) mostró que la cabeza de clasificación por sí sola capturaba la señal discriminativa, sirviendo la vía zero-shot principalmente como un enrutador de baja latencia para casos ambiguos.
• QA End-to-End: La evaluación reveló un confundido significativo: cuando se utilizaba un LLM-como-juez (el mismo backbone) para evaluar respuestas sobre hechos de post-entrenamiento, la línea base "No Wiki" a menudo obtenía la puntuación más alta debido a la preferencia del juez por respuestas paramétricas fluidas y seguras sobre contenido de la wiki factualmente fundamentado pero específico.
• Análisis de Arrepentimiento: A pesar del confundido de la puntuación de QA, el análisis de arrepentimiento en pares emparejados mostró que Online WiCER converge a un arrepentimiento acumulado de -20.0 (media de -0.12/paso) contra el oráculo. Los autores interpretan el signo negativo no como una superioridad algorítmica, sino como evidencia del confundido del LLM-juez (los hechos densos y específicos del oráculo fueron penalizados por el juez).

Dominio de Wikipedia:

• Señal de Materialidad: El Ratio de Edición Anormal (AER) sirvió como la señal.
• Análisis de Arrepentimiento: En este dominio, el confundido del LLM-juez estuvo ausente (el backbone carecía de conocimiento paramétrico de ediciones específicas de 2024–2025). Aquí, un contexto más rico mejoró consistentemente las puntuaciones. Online WiCER mostró un arrepentimiento acumulado de +16.0 (media de +0.13/paso) contra el oráculo. El signo positivo confirma que el algoritmo rastreó con éxito al oráculo, con la brecha atribuida al AER más ruidoso en comparación con el predictor de volatilidad financiera.
• Comparación: La línea base FIFO (solo recencia) se desempeñó casi tan bien como el Oráculo en Wikipedia, sugiriendo que para entidades de alta velocidad de edición, la recencia es un proxy fuerte, aunque el mecanismo de selección basado en AER proporcionó un mecanismo de selección basado en principios y agnóstico al dominio.

Eficiencia:
El sistema demostró un alto rendimiento en hardware comercial (Apple M4), procesando artículos a tasas que superan los 30,000 artículos/hora, lo cual es 63$\times$ la tasa máxima de flujo de los feeds de noticias financieras. El calificador consciente del estado añadió una latencia insignificante (un solo producto punto) sobre el paso hacia adelante del backbone congelado.

4. Contribuciones Clave

1. Formalización de la Compilación de Conocimiento en Streaming: Definición del problema de mantener una wiki con presupuesto limitado frente a un corpus en streaming con consultas futuras desconocidas.
2. Algoritmo Online WiCER: Un algoritmo de anclaje proactivo utilizando selección basada en puntuación de materialidad, evicción ponderada por decaimiento y recompilación periódica.
3. Calificador Marginal Consciente del Estado: Una cabeza de regresión en un backbone congelado que condiciona sobre el conjunto de anclajes actuales para seleccionar hechos no redundantes, con una garantía de aproximación submodular de $(1-1/e)$.
4. Teorema de Descomposición de Arrepentimiento: Demostración de un límite de arrepentimiento de $O(\sqrt{T} \log K)$ donde el único término dependiente del dominio es el error de predicción de la señal de materialidad.
5. CEGAR Predictivo: Extensión del paradigma CEGAR de la descubrimiento reactivo de contraejemplos a la predicción proactiva de brechas de conocimiento.
6. Hallazgo Metodológico: Demostración de que la evaluación "LLM-as-judge" está confundida en hechos de post-entrenamiento, estableciendo el análisis de arrepentimiento en pares emparejados como la métrica fiable para sistemas de conocimiento compilado.

5. Significado y Reivindicaciones

El artículo afirma que la Compilación de Conocimiento en Streaming es un problema general aplicable a cualquier dominio donde las brechas de conocimiento puedan predecirse a partir de señales en streaming (por ejemplo, finanzas, literatura clínica, presentaciones legales). La significancia radica en:

• Proactividad: Cambio de actualizaciones reactivas (esperar a un fallo de consulta) a mantenimiento proactivo (predecir eventos de alto valor).
• Agnosticismo de Dominio: El algoritmo y las garantías teóricas son independientes de la señal de materialidad específica; el experto del dominio solo necesita proporcionar una señal $\phi_t$.
• Fundamentación Teórica: Provisión de garantías de convergencia formal y límites de arrepentimiento para un sistema que opera bajo incertidumbre de consulta.
• Viabilidad Práctica: Demostración de que un único backbone de LLM congelado puede servir tanto como compilador de conocimiento como calificador de materialidad, logrando un alto rendimiento y baja latencia adecuada para flujos en tiempo real.

Los autores mantienen la modestia, señalando limitaciones como la imperfección inherente de la predicción de materialidad (eventos de "cisne negro" perdidos), el potencial de distorsión durante la normalización transversal durante crisis correlacionadas, y la dependencia actual de señales de dominio específicas. No reclaman que el sistema sea una herramienta de trading, sino un mecanismo de curación de conocimiento.