Bounded Context Management for Tabular Foundation Models on Stream Learning

Resumo Técnico: Gestão de Contexto Limitado para Modelos de Fundação Tabulares em Aprendizado de Fluxo (Stream Learning)

1. Definição do Problema

O artigo aborda o aprendizado de fluxo tabular (tabular stream learning), um cenário onde um modelo deve realizar previsões supervisionadas sobre exemplos que chegam sequencialmente sob restrições de memória limitada, resposta em tempo real e potenciais mudanças de distribuição.

Enquanto os aprendizes de fluxo padrão (ex: Árvores de Hoeffding, Florestas Aleatórias Adaptativas) se adaptam atualizando seus estados internos do modelo (ex: estatísticas de árvore ou membros do ensemble), os Modelos de Fundação Tabulares (TFMs) operam de forma diferente. Os TFMs são modelos pré-treinados que realizam previsões via aprendizado em contexto (in-context learning): dados um query $x_t$ e um contexto rotulado $D_t$, eles produzem uma distribuição preditiva posterior $q_\theta(\cdot | x_t, D_t)$ sem atualizar os parâmetros do modelo $\theta$.

Consequentemente, o mecanismo de adaptação para TFMs aplicados a fluxos de dados muda da atualização dos pesos do modelo para a gestão do contexto limitado $D_t$. O desafio central é definido como gestão de contexto limitado: projetar uma política online $U$ para selecionar quais exemplos rotulados devem ser retidos em um contexto de orçamento fixo $B$ conforme novos dados chegam, de modo que o contexto permaneça maximamente útil para queries futuras.

2. Metodologia: A Visão da Informação Futura e o CURE

Os autores propõem um framework teórico chamado Visão da Informação Futura (Future-Information View) para determinar quais exemplos devem ser mantidos ou descartados. Eles definem a "utilidade futura" de um contexto $D_t$ como a informação mútua que ele fornece sobre os rótulos de queries próximas no futuro. Como a distribuição exata do futuro é desconhecida, eles decompõem esse objetivo em três sinais práticos:

1. Recência: Exemplos recentes servem como um proxy para a distribuição de características do futuro próximo.
2. Incerteza: Exemplos que foram incertos no momento da previsão (alta entropia) provavelmente fornecerão alto ganho de informação assim que seus rótulos forem revelados.
3. Redundância: Exemplos que estão próximos no espaço de representação e compartilham o mesmo rótulo fornecem evidências sobrepostas; remover um deles acarreta perda mínima de informação.

Com base nesses sinais, os autores introduzem o CURE (Gestão de contexto via admissão consciente de Incerteza e expulsão consciente de Redundância). O CURE implementa uma arquitetura de banco duplo:

• Banco Curto ($S_t$): Um buffer FIFO (First-In-First-Out) que armazena os exemplos rotulados mais recentes. Isso garante que o contexto sempre cubra o regime de dados atual.
• Banco Longo ($L_t$): Um buffer para exemplos mais antigos selecionados para retenção de longo prazo.

Política de Atualização do CURE:

1. Admissão: Novos exemplos rotulados entram no Banco Curto. Quando o Banco Curto transborda, o item mais antigo ($z^+$) torna-se um candidato para o Banco Longo.
   • Admissão com Filtro de Entropia: O candidato é admitido ao Banco Longo apenas se sua entropia no momento da predição exceder um limiar $\tau$. Isso garante que o Banco Longo retenha exemplos que foram informativos (incertos) no momento da observação.
2. Expulsão (Eviction): Quando o Banco Longo excede seu orçamento, um exemplo deve ser removido.
   • Expulsão Consciente de Redundância: A política identifica a classe mais representada no Banco Longo. Dentro dessa classe, ela encontra o par de exemplos mais próximos no espaço de características brutas normalizadas. Em seguida, remove o exemplo deste par que está mais distante do centroide do Banco Curto atual (atuando como uma referência para o regime atual). Isso remove a evidência redundante enquanto preserva exemplos que são distintos em relação à distribuição de dados atual.

3. Principais Contribuições

• Mudança de Paradigma: O artigo reformula o aprendizado de fluxo para TFMs da adaptação do estado do modelo para a gestão de contexto, identificando que a utilidade de um TFM em um fluxo depende inteiramente da qualidade de seu contexto retido.
• Framework Teórico: Formaliza a "Visão da Informação Futura", fornecendo uma justificativa teórica para o uso de recência, incerteza e redundância como proxies para maximizar a informação sobre queries futuras.
• Política CURE: Propõe uma política concreta e eficiente (CURE) que combina admissão consciente de entropia e expulsão consciente de redundância dentro de uma estrutura de banco duplo.
• Validação Empírica: Os autores demonstram que o CURE supera significativamente os aprendizes de fluxo clássicos e as bases anteriores de gestão de contexto (como o DualFIFO) em múltiplos datasets e backbones de TFM.

4. Resultados Experimentais

Os autores avaliaram o CURE em sete fluxos de dados (seis reais, um sintético) utilizando quatro backbones de TFM (TabICL-v2, LimiX-v1, TabPFN-v2.5, TabDPT-v1).

• Desempenho vs. Baselines Clássicos: O CURE alcançou a melhor acurácia prequencial em todos os sete fluxos ao usar o TabICL-v2. Ele mostrou melhorias relativas de até 27,0% sobre aprendizes de fluxo clássicos (ex: ARF, BOLE, EFDT). Ganhos absolutos notáveis incluíram +19,59 pontos no dataset RIALTO e +19,31 no METER.
• Robustez do Backbone: O CURE melhorou em relação ao baseline DualFIFO em 17 de 18 comparações entre diferentes backbones de TFM, indicando que a estratégia de gestão de contexto é transferível e não específica para uma única arquitetura de modelo.
• Estudos de Ablação: Comparações com variantes controladas (ex: usando apenas entropia ou apenas redundância) mostraram que a combinação de sinais do CURE produz o melhor ranking médio, sugerindo que os componentes são complementares.
• Eficiência: O overhead computacional adicional da lógica de expulsão do CURE é mínimo (aprox. 0,0024 segundos por passo), com a maior parte do tempo de execução ainda sendo dominada pela predição do TFM e pelo ajuste de contexto.

5. Significância e Alegações

O artigo afirma que a gestão de contexto é um mecanismo central para tornar os Modelos de Fundação Tabulares eficazes em fluxos de dados evolutivos. Ao contrário dos métodos clássicos que exigem treinamento online complexo ou atualizações de estado, o CURE permite que um TFM congelado se adapte simplesmente ao curar seu contexto.

Os autores posicionam o CURE como uma solução prática que preenche a lacuna entre a natureza estática dos modelos de fundação e os requisitos dinâmicos do aprendizado de fluxo. Ao alavancar a "visão da informação futura", eles demonstram que uma política simples combinando recência, incerteza e redundância pode gerar ganhos substanciais de desempenho, tornando os TFMs competititivos com, e muitas vezes superiores, aos aprendizes de fluxo clássicos de última geração. O trabalho sugere que, para TFMs, o "modelo" é efetivamente o contexto, e gerir este contexto é o principal problema de otimização em cenários de streaming.