💬 NLP

TSLM: Tree-Structured Language Modeling for Divergent Thinking

Cet article introduit la modélisation de langage à structure arborescente (TSLM), une nouvelle approche qui encode des chemins de recherche ramifiés dans un processus de génération unique à l'aide de jetons spéciaux et d'un entraînement sur des arbres de recherche complets afin de permettre une pensée divergente efficace et systématique sans le calcul redondant des méthodes de recherche externes.

Auteurs originaux : Doyoung Kim, Jaehyeok Doo, Minjoon Seo

Publié 2026-02-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Doyoung Kim, Jaehyeok Doo, Minjoon Seo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un labyrinthe très complexe.

L'ancienne méthode (Pensée séquentielle)
La plupart des modèles d'IA actuels sont comme une personne traversant ce labyrinthe les yeux fermés, faisant un pas à la fois. Ils choisissent un chemin, avancent, et s'ils heurtent un mur, ils doivent revenir tout au début pour essayer un autre itinéraire. S'ils commettent une erreur au début, ils peuvent continuer à marcher dans une impasse pendant longtemps avant de s'en rendre compte. Ils ne peuvent penser qu'à un seul chemin à la fois.

La nouvelle méthode (TSLM : Modélisation du langage à structure arborescente)
La recherche présente une nouvelle méthode appelée TSLM. Imaginez qu'au lieu de marcher seul dans le labyrinthe, vous êtes un explorateur magique capable de voir instantanément tous les chemins possibles qui bifurquent de l'endroit où vous vous trouvez.

TSLM apprend à l'IA à faire cela en utilisant des « marqueurs magiques » (tokens) dans son texte. Au lieu d'écrire simplement une phrase, l'IA dessine une carte complète d'un seul coup :

Elle écrit le Chemin A et place un drapeau vert ([SEP]) disant : « Ce chemin semble bon, continuez ! »
Elle écrit le Chemin B et place un dra flag rouge ([FAIL]) disant : « Ce chemin mène à une impasse, arrêtez-vous ici. »
Elle écrit le Chemin C et place une étoile dorée ([GOAL]) disant : « Nous avons trouvé le trésor ! »

Comment cela fonctionne

Entraînement : L'IA est entraînée en lui montant ces cartes complètes, incluant les impasses et les chemins gagnants. Elle apprend à voir toute la forêt, pas seulement un arbre. Elle apprend que parfois, il faut tester un chemin juste pour réaliser que c'est une impasse, et que ce n'est pas grave.
Réflexion : Lorsqu'elle résout un problème plus tard, l'IA ne se contente pas de deviner une réponse. Elle génère tout un « arbre » de possibilités en une seule fois. Elle voit les branches, vérifie lesquelles sont des impasses et suit celles qui semblent prometteuses.

Pourquoi c'est une avancée majeure
L'article compare TSLM à d'autres méthodes en utilisant des analogies amusantes :

Le « Jeu du 24 » (Un puzzle mathématique) : Imaginez un jeu avec quatre nombres et vous devez utiliser les mathématiques pour obtenir 24.
- L'ancienne IA : Essaie une combinaison, échoue, essaie une autre. Elle se bloque facilement.
- TSLM : Déploie toutes les combinaisons mathématiques à la fois. Elle a trouvé la solution 100 % du temps lors des tests, alors que l'ancienne méthode ne l'a réussie que 17 % du temps.
Le « Gridworld » (Un puzzle de navigation) : Imaginez un robot naviguant dans une grille avec des murs et des trous.
- L'ancienne IA : Quand la grille devient plus grande (de 10x10 à 20x20), l'ancienne IA se perd complètement et s'embrouille. C'est comme une personne qui connaît une petite pièce mais qui se perd dans un immense entrepôt.
- TSLM : Même quand la grille a doublé de taille, le robot TSLM a toujours trouvé son chemin 91,5 % du temps. Il a appris la stratégie de navigation, pas seulement la carte spécifique.
Le problème de l'« Hallucination » : Parfois, un problème n'a aucune solution (comme essayer de faire 24 avec les nombres 1, 1, 2 et 3).
- L'ancienne IA : Parce qu'elle est désespérée de donner une réponse, elle peut inventer une fausse astuce mathématique qui ne fonctionne pas.
- TSLM : Parce qu'elle voit l'arbre entier des possibilités, elle peut regarder la carte, voir que chaque chemin mène à une impasse, et affirmer avec confiance : « C'est impossible. » Elle a identifié correctement les problèmes impossibles 97 % du temps.

L'idée principale
L'article soutient que nous n'avons pas besoin de faire « réfléchir plus intensément » l'IA en l'exécutant de nombreuses fois en parallèle (ce qui est lent et coûteux). Au lieu de cela, nous pouvons apprendre à l'IA à réfléchir selon une structure d'arbre pendant son entraînement. En apprenant à voir toute la carte — y compris les mauvais virages — elle devient un résolveur de problèmes bien meilleur, plus rapide et plus fiable. C'est la différence entre une personne qui sait seulement marcher en ligne droite et une personne qui peut regarder une carte, voir tous les chemins et choisir le meilleur.

Résumé Technique : TSLM : Modélisation du Langage à Structure d'Arbre pour la Pensée Divergente

Énoncé du Problème

Les modèles de langage actuels (LLM) fonctionnent fondamentalement comme des générateurs séquentiels, modélisant la probabilité du jeton suivant en fonction d'un historique linéaire ( $p(y|x) = \prod p(y_t | x, y_{<t})$ ). Bien que les modèles de raisonnement récents (ex. o1, DeepSeek-R1) aient démontré des capacités impressionnantes grâce à des traces de raisonnement étendues, ils restent contraints par cette nature séquentielle. Cette architecture impose un « engagement linéaire » vers un chemin unique, ce qui rend difficile l'exploration systématique de multiples alternatives, la récupération après des erreurs précoces, ou le découplage de chemins d'exploration non pertinents.

Les solutions existantes à ce problème se divisent en deux catégories, présentant toutes deux des limitations significatives :

Modélisation Séquentielle : Les modèles génèrent un chemin déterministe unique, limitant l'exploration des alternatives.
Recherche Externe (ex. Tree-of-Thoughts) : Ces méthodes utilisent une orchestration externe pour échantillonner plusieurs trajectoires indépendantes. Cependant, cette approche souffre de distributions fragmentées, de calculs redondants sur les préfixes partagés, et d'un manque de coordination entre les branches. De plus, les méthodes de recherche externe échouent souvent à passer à l'échelle de manière robuste lorsque la complexité du problème augmente (ex. chute significative de performance sur des environnements Gridworld plus vastes).

Le défi central identifié est l'incapacité des modèles à construire de manière cohérente des branches d'exploration diverses au sein d'un processus de génération unique, menant soit à un engagement prématuré, soit à un échantillonnage parallèle inefficace et fragmenté.

Méthodologie : Modélisation du Langage à Structure d'Arbre (TSLM)

Les auteurs introduisent la Modélisation du Langage à Structure d'Arbre (TSLM), un cadre qui permet aux modèles de langage de générer et de gérer nativement des raisonnements structurés en arbre via un apprentissage supervisé.

Mécanisme Central

TSLM modifie l'objectif standard de modélisation du langage pour générer des arbres de recherche complets en un seul passage (ou une séquence cohérente de passages) plutôt que des trajectoires indépendantes.

Sérialisation par Jetons : Le modèle utilise des jetons spéciaux pour encoder la structure de l'arbre dans une séquence linéaire compatible avec les architectures Transformer standards :
- [SEP] : Indique une action viable qui peut être davantage développée.
- [FAIL] : Indique une action non viable (impasse).
- [GOAL] : Marque l'état d'objectif souhaité.
- [BOS]/[EOS] : Marquent les limites de séquence pour les développements des nœuds enfants.
Dépendances Conditionnelles : Contrairement aux modèles séquentiels standards où chaque jeton dépend de l'intégralité du préfixe, TSLM emploie un découplage de contexte sélectif. La génération d'un nœud est conditionnée uniquement par son chemin ancestral et les frères et sœurs précédemment générés au même niveau de nœud, et non par des sous-arbres non apparentés. Cela permet au modèle d'apprendre la structure de branchement systématiquement sans recomputation redondante.
Objectif d'Entraînement : Le modèle est entraîné sur des arbres de recherche complets incluant à la fois des chemins réussis et des tentatives infructueuses. La fonction de perte est une perte d'entropie croisée standard appliquée à la séquence sérialisée, apprenant au modèle à :
1. Générer plusieurs actions à chaque point de décision.
2. Assigner des marqueurs de viabilité appropriés ([SEP], [FAIL], [GOAL]).
3. Structurer l'exploration de manière systématique.

Construction des Données

Tâches Structurées : Pour les tâches avec des arbres de recherche prédéfinis (ex. jeux de plateau), le modèle est entraîné à reproduire directement la structure de l'arbre.
Tâches Ouvertes : Pour les tâches sans arbres explicites (ex. GSM8K, ProntoQA), les auteurs emploient une méthode de bootstrapping. Ils utilisent un modèle de supervision (ex. échantillonnage Tree-of-Thoughts) pour générer des arbres de recherche pseudo, incorporant des trajectoires de référence ("gold") comme branches prioritaires et ordonnant les branches restantes à l'aide d'une fonction de récompense.

Procédure d'Inférence

Lors de l'inférence, TSLM génère une structure d'arbre cohérente. Il analyse ensuite les jetons structurels pour identifier les branches viables ([SEP]) et bifurque ces branches en séquences indépendantes pour un développement parallèle. Cela permet une exploration systématique (ex. via une recherche en largeur - BFS) tout en maintenant la topologie de recherche complète en interne, évitant ainsi l'échantillonnage redondant inhérent à la recherche externe.

Contributions Clés

Nouveau Cadre : Introduction de TSLM, un cadre de sérialisation par jetons permettant aux LM séquentiels d'apprendre un raisonnement structuré en arbre via un apprentissage supervisé sur des traces de recherche cohérentes.
Gains de Performance : Démonstration d'améliorations de performance constantes sur diverses tâches :
- Jeu de 24 : 100 % de précision (contre 17 % pour les baselines séquentielles).
- Gridworld (Extrapolation) : 91,5 % de précision sur des grilles 20×20 inédites (contre 42,7 % pour Tree-of-Thoughts), démontrant une extrapolation robuste au-delà de la complexité d'entraînement.
- Raisonnement Ouvert : Amélioration des performances sur ProntoQA et GSM8K.
Capacités Émergentes : Découverte de nouvelles capacités découlant de l'apprentissage de schémas d'exploration complets :
- Détection de Problèmes Insolubles : TSLM peut identifier et s'arrêter sur des instances insolubles (ex. 97/100 cas de Jeu de 24 insolubles) sans halluciner, une capacité absente des baselines séquentielles.
- Extrapolation Robuste : Capacité à généraliser à des environnements plus larges et des facteurs de branchement plus élevés sans réentraînement.
Nouveau Paradigme de Mise à l'Échelle : Passage de « l'échantillonnage parallèle de $k$ trajectoires indépendantes » à « l'exploration de $k$ branches au sein d'un seul arbre cohérent ». Cette approche offre une efficacité d'inférence supérieure et une précision de convergence plus élevée.

Résultats Expérimentaux

Les auteurs ont évalué TSLM par rapport à plusieurs baselines : Sequence Cloning (SC), Procedure Cloning (PC), GRPO (Apprentissage par Renforcement) et Tree-of-Thoughts (ToT).

Planification Structurée (Jeu de 24) : TSLM a atteint une précision pass@1 de 100 %, surpassant nettement SC (17 %), PC (47 %) et GRPO (15 %). Même comparé à ToT@100 (métrique pass@100), TSLM (pass@1) obtient des résultats supérieurs.
Mise à l'Échelle Gridworld : Dans les tests en domaine (10×10), TSLM atteint 100 %. Crucialement, dans les tests hors domaine (20×20), TSLM maintient 91,5 % de précision, alors que ToT s'effondre à 42,7 %. Cela souligne la capacité de TSLM à intérioriser des procédures de recherche qui généralisent mieux que les algorithmes de recherche externes.
Raisonnement Ouvert : Sur GSM8K, TSLM (61,6 % pass@1) égale ou dépasse légèrement ToT (62,3 % pass@100) et PC (55,9 %), tout en étant nettement plus efficace sur le plan computationnel.
Efficacité : TSLM a démontré des temps d'inférence nettement plus rapides que ToT, qui souffre d'une « explosion temporelle » due à l'échantillonnage redondant et au manque de partage de calcul. TSLM partage le calcul pour les préfixes communs au sein de l'arbre généré.

Signification et Revendications

L'article remet en question l'hypothèse prédominante selon laquelle les capacités de raisonnement robustes des modèles de langage nécessitent l'apprentissage par renforcement (RL) ou une orchestration complexe de recherche au moment de l'inférence. Au lieu de cela, les auteurs soutiennent qu'un apprentissage supervisé correctement structuré de traces de raisonnement au format d'arbre offre une voie plus directe et plus efficace vers un raisonnement et une planification améliorés.

Les implications clés revendiquées par les auteurs incluent :

Intériorisation de la Recherche : En s'entraînant sur des arbres complets, les modèles intériorisent des stratégies d'exploration systématiques, ce qui conduit à une meilleure généralisation que les méthodes de recherche externes.
Efficacité : TSLM offre un nouveau paradigme de mise à l'échelle au moment de l'inférence qui explore plus de branches au sein d'une structure cohérente unique, évitant la redondance de calcul de l'échantillonnage parallèle indépendant.
Robustesse : L'approche permet aux modèles de gérer des problèmes insolubles et de passer à l'échelle face à une complexité accrue sans les chutes de performance catastrophiques observées avec les méthodes de recherche externes.

Les auteurs positionnent TSLM non pas comme une simple amélioration de performance, mais comme un changement fondamental dans la manière dont les modèles de langage peuvent être entraîés pour raisonner, suggérant que le « goulot d'étranglement » n'est pas le calcul à l'inférence, mais la construction systématique de l'espace de recherche pendant l'entraînement.