Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

Resumo Técnico: Compilação de Conhecimento em Fluxo para Wikis de LLM Evolutivas no Tempo

1. Formulação do Problema

O artigo aborda a limitação dos sistemas de wiki de LLM existentes, que compilam o conhecimento em caches KV pré-preenchidos para inferência eficiente, mas assumem um corpus estático. Em domínios de alto valor, como finanças e enciclopédias em tempo real, os cenários de informação evoluem continuamente. O desafio fundamental é a Compilação de Conhecimento em Fluxo (Streaming Knowledge Compilation): dado um fluxo contínuo de documentos, um orçamento fixo de tokens e consultas futuras que são desconhecidas no momento da ingestão, como manter uma wiki compilada que minimize o regret cumulativo contra um oráculo offline com previsão perfeita?

A dificuldade central reside em decidir quais dos centenas de documentos diários merecem incorporação dentro de um orçamento fixo sem esperar por uma consulta que exponha uma lacuna de conhecimento. O artigo formaliza isso como um problema de otimização online com restrição de orçamento, onde o objetivo é minimizar o regret definido como a diferença na qualidade da resposta entre a wiki online e uma wiki oráculo compilada com conhecimento perfeito de eventos de alta materialidade.

2. Metodologia: Online WiCER

Os autores introduzem o Online WiCER, um algoritmo que transforma o loop reativo "Compilar–Avaliar–Refinar" do WiCER original (inspirado na Refinação de Abstração Guiada por Contraexemplos, CEGAR) em um processo proativo e orientado por predição.

Componentes Principais:

• Sinal de Materialidade ($\phi_t$): O framework baseia-se em um sinal de domínio específico $\phi_t(k, n) \in [0, 1]$ que pontua a importância informacional de um documento $n$ para uma entidade $k$ no tempo $t$. Este sinal atua como um substituto para a relevância da consulta, permitindo o "pinning" (fixação) proativo antes que as consultas cheguem.
  • Instanciação Financeira: Volatilidade anormal de ações (Razão de Volatilidade Anormal, AVR), definida como a razão entre a volatilidade realizada projetada de 5 dias de uma ação e a média transversal do mercado.
  • Instanciação Wikipedia: Razão de Edição Anormal (AER), definida como a razão entre a velocidade de edição de uma entidade e a média transversal.
• Pontuador de Regret Marginal Consciente de Estado: Em vez de pontuar fatos isoladamente, o sistema utiliza uma cabeça de regressão em um backbone de LLM congelado para estimar a redução do regрьеt marginal esperado de um fato candidato dado o conjunto atual de fatos fixados (pinned facts). Isso considera a redundância; se um fato já é coberto pelos pins existentes, seu valor marginal diminui.
• Seleção e Expulsão de Pins:
  • Seleção: Um algoritmo ganancioso seleciona fatos que maximizam a redução do regret marginal sob o orçamento de tokens. Teoricamente, isso alcança uma aproximação de $(1 - 1/e)$ para o conjunto ótimo se a qualidade da wiki for submodular.
  • Expulsão: Uma fila de prioridade ponderada por decaimento gerencia o orçamento de pins. Os pins decaem ao longo do tempo ($\exp(-\lambda \cdot \Delta t)$), garantindo que fatos de alta pontuação, mas obsoletos, sejam expulsados para abrir espaço para novos eventos.
• Compilação: O sistema realiza atualizações incrementais diariamente e recompilações completas (usando o algoritmo WiCER original) em intervalos periódicos ($T_r$) para integrar os fatos fixados à estrutura narrativa.
• CEGAR Preditivo: O framework formaliza o "CEGAR Preditivo", onde "contraexemplos" (lacunas de conhecimento) são previstos a partir do fluxo (ex: alta volatilidade) em vez de descobertos reativamente através de falhas em sondagens de QA.

Garantias Teóricas:
O artigo prova um limite de regret cumulativo de $O(\sqrt{T} \log K)$. O limite se decompõe em um termo de regret de expulsão e um termo de erro de predição ($\epsilon = E[|\phi_t - \hat{\phi}_t|]$). Crucialmente, o limite de regret é agnóstico ao domínio; a única quantidade específica do domínio é o erro de predição do sinal de materialidade.

3. Resultados Experimentais

O framework foi instanciado em dois domínios: Finanças (76k artigos, 39 empresas do S&P 500) e Wikipedia (25 entidades, 50k–200k edições).

Domínio Financeiro:

• Predição de Materialidade: Uma cabeça de classificação leve treinada em um backbone Llama 3.1 8B congelado alcançou um AUROC de 0,728 em uma divisão temporal estrita para prever volatilidade anormal. O modelo identificou com sucesso artigos associados a uma volatilidade realizada futura 1,49$\times$ maior.
• Arquitetura do Pontuador: Uma abordagem híbrida (prompting zero-shot + cabeça de classificação linear) mostrou que a cabeça de classificação sozinha capturava o sinal discriminativo, com o caminho zero-shot servindo primariamente como um roteador de baixa latência para casos ambíguos.
• QA End-to-End: A avaliação revelou um confundimento significativo: ao usar um LLM-como-juiz (o mesmo backbone) para avaliar respostas sobre fatos pós-treinamento, a linha de base "No Wiki" frequentemente pontuou mais alto devido à preferência do juiz por respostas paramétricas fluentes e confiantes em vez de conteúdo de wiki factual, porém específico.
• Análise de Regret: Apesar do confundimento de pontuação de QA, a análise de regret em pares correspondentes mostrou o Online WiCER convergindo para um reget cumulativo de -20,0 (média de -0,12/passo) contra o oráculo. Os autores interpretam o sinal negativo não como superioridade algorítmica, mas como evidência do confundimento do LLM-juiz (os fatos densos e específicos do oráculo foram penalizados pelo juiz).

Domínio Wikipedia:

• Sinal de Materialidade: A Razão de Edição Anormal (AER) serviu como o sinal.
• Análise de Regret: Neste domínio, o confundimento do LLM-juiz estava ausente (o backbone carecia de conhecimento paramétrico de edições específicas de 2024–2025). Aqui, contextos mais ricos melhoraram consistentemente as pontuações. O Online WiCER mostrou um regret cumulativo de +16,0 (média de +0,13/passo) contra o oráculo. O sinal positivo confirma que o algoritmo rastreou com sucesso o oráculo, com a lacuna atribuída ao sinal AER mais ruidoso em comparação ao preditor de volatilidade financeira.
• Comparação: A linha de base FIFO (apenas recência) teve desempenho quase tão bom quanto o Oráculo na Wikipedia, sugerindo que, para entidades de alta velocidade de edição, a recência é um forte substituto, embora o sinal AER forneça um mecanismo de seleção principista e agnóstico ao domínio.

Eficiência:
O sistema demonstrou alto rendimento em hardware comum (Apple M4), processando artigos a taxas superiores a 30.000 artigos/hora, o que é 63$\times$ a taxa de pico de fluxos de notícias financeiras. O pontuador consciente de estado adicionou latência desprezível (produto escalar único) sobre o forward pass do backbone congelado.

4. Principais Contribuições

1. Formalização da Compilação de Conhecimento em Fluxo: Definindo o problema de manter uma wiki com orçamento limitado contra um corpus em fluxo com consultas futuras desconhecidas.
2. Algoritmo Online WiCER: Um algoritmo de pinning proativo usando seleção baseada em pontuação de materialidade, expulsão ponderada por decaimento e recompilação periódica.
3. Pontuador Marginal Consciente de Estado: Uma cabeça de regressão em um backbone congelado que condiciona no conjunto de pins atual para selecionar fatos não redundantes, com uma garantia de aproximação submodular de $(1-1/e)$.
4. Teorema de Decomposição de Regret: Provando um limite de regret de $O(\sqrt{T} \log K)$ onde o único termo dependente do domínio é o erro de predição do sinal de materialidade.
5. CEGAR Preditivo: Estendendo o paradigma CEGAR da descoberta reativa de contraexemplos para a predição proativa de lacunas de conhecimento.
6. Achado Metodológico: Demonstrando que a avaliação "LLM-como-juiz" é confundida em fatos pós-treinamento, estabelecendo a análise de regret em pares correspondentes como a métrica confiável para sistemas de conhecimento compilado.

5. Significância e Alegações

O artigo afirma que a Compilação de Conhecimento em Fluxo é um problema geral aplicável a qualquer domínio onde lacunas de conhecimento possam ser previstas a partir de sinais de fluxo (ex: finanças, literatura clínica, registros legais). A significância reside na:

• Proatividade: Mudança do update reativo (esperar por uma falha de consulta) para a manutenção proativa (prever eventos de alto valor).
• Agnosticismo de Domínio: O algoritmo e as garantias teóricas são independentes do sinal de materialidade específico; o especialista do domínio só precisa fornecer um sinal $\phi_t$.
• Fundamentação Teórica: Fornecer garantias de convergência formal e limites de regret para um sistema operando sob incerteza de consulta.
• Viabilidade Prática: Demonstrar que um único backbone de LLM congelado pode servir tanto como o compilador de conhecimento quanto como o pontuador de materialidade, alcançando alto rendimento e baixa latência adequados para fluxos em tempo real.

Os autores mantêm a modéstia, observando limitações como a imperfeição inerente da predição de materialidade (perdendo eventos de "cisne negro"), o potencial de distorção da normalização transversal durante crises correlacionadas e a dependência atual de sinais de domínio específicos. Eles não alegam que o sistema é uma ferramenta de trading, mas sim um mecanismo de curadoria de conhecimento.