Bounded Context Management for Tabular Foundation Models on Stream Learning

Résumé Technique : Gestion du Contexte Borné pour les Modèles de Fondation Tabulaires sur l'Apprentissage de Flux

1. Définition du Problème

L'article traite de l'apprentissage de flux tabulaire, un cadre où un modèle doit effectuer des prédictions supervisées sur des exemples arrivant séquentiellement sous des contraintes de mémoire bornée, de réponse en temps réel et de potentiels changements de distribution.

Alors que les apprenurs de flux classiques (par exemple, les arbres de Hoeffding, les forêts aléatoires adaptatives) s'adaptent en mettant à jour leurs états de modèle internes (par exemple, les statistiques d'arbres ou les membres d'un ensemble), les Modèles de Fondation Tabulaires (TFM) fonctionnent différemment. Les TFM sont des modèles pré-entraînés qui effectuent des prédictions via l'apprentissage en contexte : étant donné une requête $x_t$ et un contexte étiqueté $D_t$, ils produisent une distribution prédictive postérieure $q_\theta(\cdot | x_t, D_t)$ sans mettre à jour les paramètres du modèle $\theta$.

Par conséquent, pour les TFM appliqués aux flux de données, le mécanisme d'adaptation passe de la mise à jour des poids du modèle à la gestion du contexte borné $D_t$. Le défi central est défini comme la gestion du contexte borné : concevoir une politique en ligne $U$ pour sélectionner quels exemples étiquetés conserver dans un contexte de budget fixe $B$ à mesure que de nouvelles données arrivent, de sorte que le contexte reste maximalement utile pour les requêtes futures.

2. Méthodologie : La Vue de l'Information Future et CURE

Les auteurs proposent un cadre théorique appelé la Vue de l'Information Future pour déterminer quels exemples doivent être conservés ou écartés. Ils définissent l'« utilité future » d'un contexte $D_t$ comme l'information mutuelle qu'il fournit sur les étiquettes des requêtes futures proches. Puisque la distribution future exacte est inconnue, ils décomposent cet objectif en trois signaux pratiques :

1. Récence : Les exemples récents servent de proxy pour la distribution de caractéristiques du futur proche.
2. Incertitude : Les exemples qui étaient incertains au moment de la prédiction (entropie élevée) sont susceptibles de fournir un gain d'information élevé une fois leurs étiquettes révélées.
3. Redondance : Les exemples qui sont proches dans l'espace de représentation et partagent la même étiquette fournissent des preuves chevauchantes ; en supprimer un entraîne une perte d'information minimale.

Sur la base de ces signaux, les auteurs introduisent CURE (Gestion de contexte par admission sensible à l'incertitude et éviction sensible à la redondance). CURE implémente une architecture à double banque :

• Banque Courte ($S_t$) : Un tampon FIFO (First-In-First-Out) qui stocke les exemples étiquetés les plus récents. Cela garantit que le contexte couvre toujours le régime de données actuel.
• Banque Longue ($L_t$) : Un tampon pour les exemples plus anciens sélectionnés pour une rétention à long terme.

Politique de mise à jour de CURE :

1. Admission : Les nouveaux exemples étiquetés entrent dans la Banque Courte. Lorsque la Banque Courte déborde, l'élément le plus ancien ($z^+$) devient un candidat pour la Banque Longue.
   • Admission par porte d'entropie : Le candidat est admis dans la Banque Longue uniquement si son entropie au moment de la prédiction dépasse un seuil $\tau$. Cela garantit que la Banque Longue conserve des exemples qui étaient informatifs (incertains) au moment de l'observation.
2. Éviction : Lorsque la Banque Longue dépasse son budget, un exemple doit être retiré.
   • Éviction sensible à la redondance : La politique identifie la classe la plus représentée dans la Banque Longue. Au sein de cette classe, elle trouve la paire d'exemples les plus proches dans l'espace des caractéristiques brutes normalisées. Elle retire ensuite l'exemple de cette paire qui est le plus éloigné du centroïde de la Banque Courte actuelle (faisant office de référence pour le régime actuel). Cela supprime les preuves redondantes tout en préservant les exemples qui sont distincts par rapport à la distribution de données actuelle.

3. Principales Contributions

• Changement de Paradigme : L'article recadre l'apprentissage de flux pour les TFM, passant de l'adaptation de l'état du modèle à la gestion du contexte, identifiant que l'utilité d'un TFM dans un flux dépend entièrement de la qualité de son contexte conservé.
• Cadre Théorique : Il formalise la « Vue de l'Information Future », fournissant une justification théorique à l'utilisation de la récence, de l'incertitude et de la redondance comme proxies pour maximiser l'information sur les requêtes futures.
• Politique CURE : Il propose une politique concrète et efficace (CURE) qui combine l'admission par porte d'entropie et l'éviction sensible à la redondance au sein d'une structure à double banque.
• Validation Empirique : Les auteurs démontrent que CURE surpasse significativement les apprenurs de flux classiques et les précédentes bases de gestion de contexte (comme DualFIFO) à travers de multiples jeux de données et architectures de fondation (backbones).

4. Résultats Expérimentaux

Les auteurs ont évalué CURE sur sept flux de données (six réels, un synthétique) en utilisant quatre architectures de fondation (TabICL-v2, LimiX-v1, TabPFN-v2.5, TabDPT-v1).

• Performance vs Baselines Classiques : CURE a obtenu la meilleure précision préquennielle sur les sept flux en utilisant TabICL-v2. Il a montré des améliorations relatives allant jusqu'à 27,0 % par rapport aux apprenurs de flux classiques (ex: ARF, BOLE, EFDT). Les gains absoluts notables incluent +19,59 points sur le jeu de données RIALTO et +19,31 sur METER.
• Robustesse de l'Architecture : CURE a amélioré les performances par rapport à la base DualFIFO dans 17 cas sur 18 à travers différentes architectures de fondation, indiquant que la stratégie de gestion de contexte est transférable et n'est pas spécifique à une architecture de modèle unique.
• Études d'Ablation : Les comparaisons avec des variantes contrôlées (par exemple, en utilisant uniquement l'entropie ou uniquement la redondance) ont montré que la combinaison des signaux de CURE produit le meilleur rang moyen, suggérant que les composants sont complémentaires.
• Efficacité : Le surcoût computationnel supplémentaire de la logique d'éviction de CURE est minime (environ 0,0024 seconde par étape), la majeure partie du temps d'exécution étant toujours dominée par la prédiction du TFM et l'ajustement du contexte.

5. Signification et Revendications

L'article affirme que la gestion du contexte est un mécanisme central pour rendre les Modèles de Fondation Tabulaires efficaces sur les flux de données évolutifs. Contraéndose aux méthodes classiques qui nécessitent un entraînement en ligne complexe ou des mises à jour d'état, CURE permet à un TFM gelé de s'adapter simplement en organisant son contexte.

Les auteurs positionnent CURE comme une solution pratique qui comble le fossé entre la nature statique des modèles de fondation et les exigences dynamiques de l'apprentissage de flux. En exploitant la « vue de l'information future », ils démontent qu'une politique simple combinant récence, incertitude et redondance peut engendrer des gains de performance substantiels, rendant les TFM compétitifs avec, et souvent supérieurs aux, apprenurs de flux classiques de pointe. Le travail suggère que pour les TFM, le « modèle » est effectivement le contexte, et la gestion de ce contexte est le problème d'optimisation primaire dans les scénarios de flux.