Résumé Technique : Processus Neuraux Transformers Incrémentaux (incTNP)

1. Énoncé du Problème

Les Processus Neuraux (NP), en particulier les Transformer Neural Processes (TNP), ont démontré de fortes performances dans les tâches de méta-apprentissage allant de la prévision spatiotemporelle à la modélisation de données tabulaires. Cependant, les variantes existantes des TNP font face à un goulot d'étranglement critique dans les scénarios de streaming où les données arrivent de manière séquentielle et continue (par exemple, des lectures de capteurs en temps réel ou des mises à jour de bases de données).

Les TNP standards reposent sur des mécanismes d'auto-attention bidirectionnels. Lorsqu'une nouvelle observation arrive, ces modèles doivent ré-encoder l'intégralité de l'historique du contexte pour mettre à jour leurs représentations internes. Cela entraîne un coût computationnel quadratique ($O(N^2)$) par mise à jour et un coût cumulé cubique ($O(N^3)$) sur un flux de longueur $N$. Dans les modes de déploiement autoregressifs (AR), où les points cibles sont prédits séquentiellement et ajoutés au contexte, cette inefficacité est exacerbée, rendant les mises à jour à haute fréquence prohibitives pour les applications du monde réel.

Le défi central consiste à concevoir une architecture de NP qui supporte des mises à jour incrémentales peu coûteuses (complexité temporelle linéaire) sans sacrifier la performance prédictive ou la cohérence probabiliste (cohérence bayésienne) des TNP standards.

2. Méthodologie

Les auteurs introduisent le Transformer Neural Process Incrémental (incTNP), une variante de TNP adaptée des avancées des Grands Modèles de Langage (LLM) à masquage causal. La méthodologie repose sur trois piliers :

A. Masquage Causal et Mise en Cache KV

Contra-rent aux TNP standards qui utilisent une attention bidirectionnelle, l'incTNP emploie un masquage causal dans le mécanisme d'auto-attention. Cela impose un masque d'attention triangulaire inférieur où un jeton $i$ ne peut porter attention qu'aux jetons $j \leq i$.

• Mécanisme : En combinant le masquage causal avec la mise en cache des Clés-Valeurs (KV Caching), le modèle stocke les matrices de clés et de valeurs des jetons passés.
• Avantage : Lorsqu'un nouveau point de donnée arrive, le modèle traite uniquement le nouveau jeton par rapport à l'historique mis en cache. Cela réduit le coût de mise à jour du contexte de $O(N^2)$ à un temps linéaire $O(N)$.

B. Entraînement Autorégressif Dense (incTNP-Seq)

Pour maximiser l'efficacité des données et contrer la baisse potentielle de performance due à la restriction du champ récepteur via le masquage causal, les auteurs proposent une stratégie d'entraînement autorégressif dense (nommée incTNP-Seq).

• Approche : Au lieu de partitionner les données en ensembles de contexte et de cible disjoints, l'ensemble du jeu de données est traité comme une séquence unique $D_{seq} = [(x_1, y_1), \dots, (x_N, y_N)]$.
• Masquage : Le masquage causal est appliqué non seulement à l'auto-attention, mais aussi aux blocs d'attention croisée (cross-attention). Cela garantit que la prédiction pour le $n$-ième objectif repose uniquement sur l'historique $(x_{1:n}, y_{1:n})$.
• Résultat : Cela permet au modèle de calculer la perte pour chaque préfixe de contexte possible simultanément lors d'une seule passe avant (forward pass), amortissant les coûts d'entraînement sur toutes les tailles de contexte et fournissant un signal de supervision plus dense.

C. Cadre Théorique : Bayesianité Implicite

L'article aborde la préoccupation selon laquelle le masquage causal brise la propriété d'invariance par permutation inhérente aux NP standards. Pour quantifier l'impact sur la cohérence probabiliste, les auteurs adaptent la métrique de « bayesianité implicite » (Mlodozeniec et al., 2024).

• Ils définissent un Écart KL (KL Gap) pour mesurer la déviation de la règle de prédiction d'un modèle par rapport à une distribution échangeable conditionnellement (bayésienne).
• Le cadre décompose la divergence de Kullback-Leibler entre la prédiction du modèle et la distribution réelle des données en une divergence d'une version « échangeabilifiée » plus un terme d'écart. Un écart nul implique une parfaite échangeabilité conditionnelle.

3. Contributions Clés

1. Architecture : Proposition d'incTNP, une variante de TNP utilisant le masquage causal et la mise en cache KV pour permettre des mises à jour de contexte en temps linéaire, débloquant des accélérations de plusieurs ordres de grandeur pour les prédictions en streaming tant en modes factorisés qu'autorégressifs.
2. Stratégie d'Entraînement : Démonstration qu'une stratégie d'entraînement autorégressif dense (incTNP-Seq) permet au modèle d'égaler ou de surpasser les performances prédictives des TNP standards sous un budget d'entraînement égal, atténuant efficacement les limitations du masquage causal.
3. Analyse de Cohérence : Validation empirique utilisant une nouvelle métrique de bayesianité implicite. L'étude montre que malgré la structure causale, l'incTNP conserve une règle de prédiction avec une cohérence bayésienne comparable aux TNP standards par permutation sous des protocoles de streaming un par un.

4. Résultats Expérimentaux

Les auteurs ont évalué l'incTNP sur des tâches synthétiques et réelles, incluant la régression par processus gaussiens 1D, la régression de données tabulaires (benchmarks UCI) et la prédiction de température stationnaire (jeu de données HadISD).

• Performance Prédictive :

  • Dans les contextes statiques, l'incTNP-Seq atteint une parité avec ou surpasse la ligne de base TNP-D sur les tâches synthétiques et réelles.
  • En mode autorégressif (AR), l'incTP-Seq surpasse significativement le TNP-D tout en réduisant les coûts de calcul. Par exemple, sur les tâches de prédiction de température, il obtient une accélération de 3,5$\times$ par rapport au TNP-D sans sacrifier la précision.
  • Le modèle démontre une forte généralisation de longueur, performant bien sur des flux de contexte dépassant 30 000 points malgré un entraînement sur des contextes allant jusqu'à 1 024 points.

• Efficacité Computationnelle :

  • Mises à jour en Streaming : L'incTNP réduit le coût de mise à jour par étape de $O(N^2)$ à $O(N)$.
  • Coût Cumulé : Sur un flux de longueur $N$, le coût cumulé suit une progression quadratique ($O(N^2)$) pour l'incTNP, comparé à la progression cubique ($O(N^3)$) des TNP standards.
  • Inférence AR : En déploiement AR, l'incTNP réduit la complexité de $O(N_t \cdot N_s^2)$ à $O(N_t \cdot N_s)$, rendant l'inférence AR haute fidélité réalisable pour de longs flux.

• Cohérence Probabiliste :

  • En utilisant la métrique de l'Écart KL, les auteurs ont constaté que l'incTNP-Seq présente un écart KL comparable au TNP-D non causal. Cela suggère que la principale source d'incohérence dans les environnements de streaming est le manque de cohérence conditionnelle commun à de nombreuses variantes de NP, plutôt que le mécanisme spécifique de masquage causal de l'incTNP.
  • L'incTNP surpasse les bases de processus gausiens scalables en streaming (comme WISKI) tant en précision prédictive qu'en cohérence bayésienne.

5. Signification et Revendications

L'article affirme que l'incTNP parvient à combler le fossé entre l'évolutivité computationnelle et la cohérence probabiliste dans les processus neuraux en streaming.

• Évolutivité : En exploitant le masquage causal et la mise en cache KV, l'incTNP rend les mises à jour à haute fréquence et en temps réel calculablement réalisables pour des tâches complexes impliquant de longs flux d'historique, une capacité qui faisait défaut aux variantes de TNP jusqu'alors.
• Performance : Contrairement à l'intuition selon laquelle le masquage causal pourrait dégrader la performance, la stratégie d'entraînement dense permet à l'incTNP-Seq d'égaler ou de dépasser les performances des TNP standards, même dans les scénarios de transfert (Sim-to-Real).
• Cohérence : Ce travail remet en question l'hypothèse selon laquelle le masquage causal compromet nécessairement la « rationalité » des mises à jour bayésiennes. Les résultats empiriques indiquent que l'incTNP maintient un niveau de bayesianité implicite similaire aux bases invariantes par permutation, validant son utilisation dans l'inférence en streaming où l'ordre des données est fixé par le temps.

Les auteurs concluent que l'incTNP offre une voie pratique pour passer à l'échelle les modèles de fondation pour les données structurées (comme les données tabulaires ou de séries temporelles) vers des ensembles de données massifs et évolutifs, sans abandonner l'information historique, tout en maintenant les garanties probabilistes requises pour une inférence fiable.