Latent Chain-of-Thought Improves Structured-Data Transformers

Résumé technique : La chaîne de pensée latente améliore les transformateurs de données structurées

Énoncé du problème
Les récents progrès des grands modèles de langage (LLM) ont démontré que l'augmentation de la puissance de calcul au moment de l'inférence, en particulier grâce au raisonnement par chaîne de pensée (CoT), peut considérablement améliorer les capacités de raisonnement, surpassant parfois le simple passage à l'échelle des paramètres. Alors que des mécanismes tels que « Coconut » (réintroduction des états cachés sous forme d'embeddings) et la profondeur récurrente (application itérative de blocs transformateurs partagés) ont été explorés dans le domaine du langage naturel, il reste à déterminer si ces avantages se transfèrent aux domaines des données structurées. Les modèles les plus avancés pour la prédiction sur tableaux (par exemple TabPFN, TabICL) et la prévision de séries temporelles (par exemple Chronos, TimesFM) fonctionnent actuellement via un seul passage avant sur des observations structurées. Cet article examine si l'introduction d'une chaîne de pensée latente — plusieurs cycles de calcul latent avant la prédiction — peut améliorer les performances dans ces contextes de données structurées.

Méthodologie
Les auteurs proposent un schéma récurrent pour les transformateurs de données structurées permettant plusieurs cycles de calcul avant de générer une prédiction finale. Le mécanisme central fonctionne comme suit :

1. Passage initial : Un transformateur $f_\theta$ traite l'entrée (tokens de contexte et tokens de requête) pour produire des états cachés.
2. Compression : Les états cachés aux positions de requête ($H_q$) sont compressés via un petit Perceptron Multicouche (MLP) $\phi_\theta$ en « tokens de rétroaction » ($Z$).
3. Récurrence : Ces tokens de rétroaction sont ajoutés à la séquence d'entrée originale. Le transformateur est ensuite exécuté à nouveau sur cette séquence augmentée.
4. Itération : Ce processus se répète pour $R$ récurrences. La prédiction finale est décodée à partir des états cachés aux positions de requête originales après le $R$-ième passage.

L'étude évalue cette approche sur deux domaines :

• Prédiction sur tableaux : Utilisation de l'architecture en trois étapes de TabICL (transformateurs par colonne, par ligne et par apprentissage en contexte). La récurrence est appliquée spécifiquement à l'étape d'apprentissage en contexte, où les tokens de rétroaction sont ajoutés à la séquence d'embeddings de ligne.
• Prévision de séries temporelles : Utilisation d'un transformateur de prévision basé sur des patches. Les états cachés des futures requêtes sont compressés et ajoutés à la séquence d'entrée avant de relancer la pile de transformateurs.

Conception expérimentale et bases de référence
Pour isoler les contributions spécifiques de la chaîne de pensée latente, les auteurs entraînent des modèles à partir de zéro sur des ensembles de données individuels et les comparent à trois bases de référence distinctes :

1. Base de référence de même profondeur : Un transformateur standard sans récurrence ($R=0$) et avec le même nombre de couches. Cela contrôle le nombre de paramètres.
2. Base de référence plus profonde : Un transformateur avec le double de couches ($2L$) entraîné sans récurrence. Cela correspond à la profondeur effective du passage avant et aux FLOPs d'un modèle CoT avec $R=1$, mais double le nombre de paramètres, isolant ainsi les gains liés à la profondeur/capacité par rapport à la récurrence.
3. Bases de référence en boucle : Des modèles qui partagent les poids sur les passages (profondeur récurrente) mais n'ajoutent pas de tokens de rétroaction à l'entrée. Ceux-ci incluent la boucle avec un seul bloc lié par les poids et la boucle de type Universal-Transformer sur des piles multi-blocs. Cela isole la contribution des tokens explicites de chaîne de pensée par rapport à une simple récurrence liée par les poids.

Résultats clés
L'approche a été évaluée sur 36 ensembles de données : 9 issus du benchmark LTSF-9 de séries temporelles et 27 issus d'un sous-ensemble OpenML utilisé dans les évaluations TabPFN.

• Gains de performance : La chaîne de pensée latente a surpassé la base de référence de même profondeur sur 8/9 ensembles de données de séries temporelles (gain moyen de +10,99 % en perte de quantile) et 22/27 ensembles de données tabulaires (gain moyen de +5,31 % en précision).
• Comparaison avec les bases de référence plus profondes : Les modèles CoT ont surpassé les bases de référence plus profondes et non récurrentes en moyenne de 21,01 % (séries temporelles) et 4,75 % (tableaux). Les bases de référence plus profondes ont souvent obtenu de moins bons résultats que la base de référence de même profondeur originale sur les tâches de séries temporelles, suggérant un surapprentissage sur les petits ensembles de données.
• Comparaison avec les bases de référence en boucle : Les modèles CoT ont surpassé les modèles en boucle liés par les poids (qui manquent de tokens de rétroaction) de 7,74 % (séries temporelles) et 3,82 % (tableaux).
• Passage à l'échelle de la profondeur :
  • Séries temporelles : Les performances se sont améliorées sur toutes les profondeurs testées ($R \in \{1, 2, 4, 8\}$), sans tendance monotone claire, bien que les gains aient atteint un plateau. Notamment, un modèle entraîné avec $R=4$ s'est généralisé à $R=8$ lors de l'évaluation.
  • Tableaux : Les performances ont montré une tendance non monotone ; une seule récurrence ($R=1$) a légèrement dégradé les performances, mais des récurrences supplémentaires ($R=2, 4$) ont permis de récupérer et de dépasser la base de référence.

Signification et affirmations
L'article affirme que la chaîne de pensée est un axe utile pour passer à l'échelle le calcul au moment de l'inférence pour les données structurées, distinct du simple accroissement de la profondeur du modèle ou du nombre de paramètres. Les résultats démontrent que :

1. Mécanisme d'amélioration : Les gains ne sont pas uniquement dus à l'augmentation du calcul ou au partage des poids. Le mécanisme spécifique de compression des états cachés aux positions de requête en tokens de rétroaction et de leur retraitement est crucial. La sous-performance des bases de référence en boucle suggère que le bénéfice provient de la capacité à « écrire » un calcul intermédiaire dans une séquence à laquelle les passages ultérieurs peuvent prêter attention, plutôt que d'une simple raffinement itératif d'un état caché.
2. Transférabilité : Le paradigme de la chaîne de pensée latente, précédemment réussi dans la modélisation du langage, se transfère avec succès aux tâches de prévision sur tableaux et de séries temporelles.
3. Limites : Les auteurs notent que leurs conclusions sont basées sur des modèles entraînés à partir de zéro ; l'efficacité de la chaîne de pensée latente sur des modèles de base pré-entraînés à grande échelle reste une question empirique ouverte. De plus, l'implémentation actuelle utilise une profondeur de récurrence fixe par modèle plutôt qu'un mécanisme adaptatif par entrée, et l'interaction avec le décalage de distribution n'a pas été explorée.