🤖 AI

Extracting Search Trees from LLM Reasoning Traces Reveals Myopic Planning

Ce papier révèle que, bien que les grands modèles de langage génèrent des traces de raisonnement étendues contenant une anticipation profonde, leurs décisions de coup réelles sont motivées par une recherche superficielle et myope plutôt que par une planification profonde observée chez les experts humains, une conclusion établie grâce à l'extraction et à l'analyse d'arbres de recherche issus du jeu de quatre-en-ligne.

Auteurs originaux : Sixing Chen, Ji-An Li, Saner Cakir, Sinan Akcali, Kayla Lee, Marcelo G. Mattar

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sixing Chen, Ji-An Li, Saner Cakir, Sinan Akcali, Kayla Lee, Marcelo G. Mattar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous observez deux types de joueurs d'échecs différents : un grand maître humain et une IA très avancée qui parle à elle-même pendant qu'elle réfléchit.

Ce papier examine comment ces modèles d'IA (Modèles de Langage à Grande Échelle, ou LLM) planifient réellement leurs coups dans un jeu appelé « Quatre-en-ligne ». Les chercheurs voulaient savoir : lorsque l'IA rédige un long processus de pensée détaillé, effectue-t-elle réellement une planification stratégique profonde comme un humain, ou fait-elle simplement semblant ?

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. Le Cadre : Le Jeu « Parler »

Les chercheurs ont organisé un tournoi où 27 modèles d'IA différents ont joué au « Quatre-en-ligne » les uns contre les autres. C'est un jeu simple où l'on fait tomber des disques de couleur dans une grille, en essayant d'aligner quatre disques (horizontalement, verticalement ou en diagonale).

Avant de jouer un coup, les modèles d'IA ont été invités à « penser à voix haute » (un processus appelé Chaîne de Pensée). Ils généraient de longs paragraphes de texte, simulant des coups futurs tels que : « Si je joue ici, l'adversaire jouera là, puis je jouerai ici... »

2. L'Enquête : Lire la « Carte de Pensée »

Les chercheurs ont pris ces longs paragraphes de texte désordonnés et les ont transformés en arbres de recherche propres et structurés (comme un arbre généalogique, mais pour les coups de jeu).

Racine : Le plateau actuel.
Branches : Les coups que l'IA a envisagés.
Feuilles : Les scénarios futurs que l'IA a imaginés.

Ils ont ensuite comparé ces « cartes de pensée » de l'IA à la façon dont les experts humains jouent au même jeu.

3. La Grande Découverte : Le Penseur « Superficiel »

Les chercheurs ont découvert un décalage surprenant entre ce que l'IA dit faire et ce qu'elle fait réellement.

La Façon Humaine : Les experts humains sont comme des plongeurs en profondeur. Ils regardent loin devant. S'ils voient un coup, ils simulent 5 ou 6 étapes dans le futur pour voir si cela mène à une victoire. Leur performance s'améliore à mesure qu'ils regardent plus profondément.
La Façon IA : Les modèles d'IA sont comme des touristes superficiels.
- L'Illusion : L'IA rédige une histoire très longue et détaillée sur le fait de regarder 10 étapes en avant. Cela ressemble à une plongée en profondeur.
- La Réalité : Lorsque l'IA choisit réellement un coup, elle ignore presque toute cette réflexion profonde. Elle agit comme un joueur myope (à courte vue). Elle ne se soucie que de l'étape immédiate suivante.

L'Analogie : Imaginez un étudiant rédigeant un essai de 10 pages sur la façon dont il résoudra un problème de mathématiques. Il écrit des formules complexes pour les chapitres 2 à 10. Mais lorsqu'il écrit réellement la réponse finale, il se contente de regarder la première phrase du problème et de deviner. Le long essai n'était que de la « décoration », et non le véritable moteur de la réponse.

4. Qu'est-ce qui fait réellement gagner l'IA ?

Les chercheurs ont testé ce qui motive le succès de l'IA :

La Profondeur (Jusqu'où ils regardent en avant) : Cela n'a pas compté. Même si l'IA écrivait sur le fait de regarder 10 étapes en avant, cela ne l'a pas aidée à gagner.
La Largeur (Combien d'options ils vérifient) : C'était la clé. Les modèles d'IA qui ont gagné étaient ceux qui regardaient plus de premiers coups différents (comme vérifier 20 portes différentes) plutôt que de regarder plus profondément dans une seule porte.

C'est comme si l'IA gagnait en lançant un filet large, et non en plongeant profondément.

5. L'Expérience de « Chirurgie »

Pour prouver que l'IA n'utilisait pas réellement ses pensées profondes, les chercheurs ont mené une expérience « chirurgicale ».

Ils ont pris le long texte de raisonnement de l'IA et supprimé les parties où elle parlait de regarder loin dans le futur (les parties « profondes »).
Ils ont conservé uniquement les parties où elle parlait du coup immédiat suivant.
Le Résultat : L'IA a joué les mêmes coups exacts qu'auparavant.

Cela a prouvé que la réflexion profonde était essentiellement du « bruit ». L'IA n'en avait pas besoin pour prendre sa décision. La décision était entièrement pilotée par les pensées superficielles et immédiates.

6. La Conclusion

Le papier conclut qu'il existe une différence fondamentale entre la planification humaine et la planification par IA :

Les Humains deviennent plus intelligents en pensant plus profondément.
L'IA devient plus intelligente en pensant plus largement, mais elle n'utilise pas réellement les pensées profondes qu'elle génère pour prendre des décisions.

L'IA est bonne pour simuler l'apparence d'une planification profonde, mais elle n'agit pas en conséquence. Cela suggère que simplement faire écrire aux modèles d'IA des traces de raisonnement plus longues et plus complexes ne les rendra pas nécessairement de meilleurs planificateurs ; nous devons leur apprendre à utiliser réellement les pensées profondes qu'ils génèrent.

Résumé technique : L'extraction d'arbres de recherche à partir des traces de raisonnement des LLM révèle une planification myope

Énoncé du problème

Les grands modèles de langage (LLM), en particulier les modèles de raisonnement, génèrent des traces étendues de chaîne de pensée (CoT) qui semblent simuler des résultats futurs, ressemblant à une planification humaine. Cependant, il reste incertain si ces traces constituent une recherche systématique véritable ou simplement une complétion de motifs. Les benchmarks comportementaux existants échouent souvent à distinguer les modèles qui résolvent avec succès des tâches grâce à une planification approfondie de ceux qui reposent sur des heuristiques superficielles ou la mémorisation. De plus, même si les LLM génèrent des structures semblables à des recherches, il est inconnu si ces structures entraînent causalement la prise de décision ou si les modèles agissent selon des mécanismes différents et non observés. Cet article comble le fossé entre la structure de surface du raisonnement des LLM et le processus algorithmique sous-jacent qui pilote la sélection des coups.

Méthodologie

Les auteurs introduisent un cadre pour extraire, quantifier et modéliser des arbres de recherche à partir des traces de raisonnement des LLM dans le domaine du jeu de plateau « quatre-en-ligne » (une grille de 4×9).

Configuration expérimentale : Un tournoi round-robin a été mené impliquant 27 LLM (propriétaires et à poids ouverts) jouant 1 404 parties. Seuls les modèles disposant de traces de raisonnement entièrement accessibles (14 modèles) ont été inclus dans l'analyse, produisant 9 696 traces de raisonnement.
Extraction d'arbres de recherche : Un juge LLM (GPT-5) a été employé pour analyser des traces CoT non structurées en arbres de recherche formels. Le juge a identifié les coups délibérés explicitement, distinguant les coups candidats du modèle (nœuds de profondeur 1) des réponses simulées de l'adversaire (nœuds de profondeur 2 et au-delà), en produisant une structure de liste imbriquée.
Modélisation computationnelle : Pour déterminer comment les LLM utilisent ces arbres extraits, les auteurs ont ajusté des modèles cognitifs computationnels adaptés de la littérature sur la planification humaine (Van Opheusden et al., 2023). Quatre variantes de modèles ont été testées :
- Arbre complet : Utilise une rétropropagation minimax pour propager les valeurs heuristiques des nœuds feuilles jusqu'à la racine.
- Myope : Évalue uniquement l'état immédiat résultant d'un coup de premier coup, ignorant tous les nœuds plus profonds.
- Remise en cause (Discount) : Interpole entre l'arbre complet et le myope en utilisant un facteur d'actualisation $\gamma$ .
- Sans arbre : Ignore entièrement l'arbre de recherche extrait, notant les coups uniquement sur la base d'une fonction heuristique de l'état actuel du plateau.
Intervention causale : Pour tester si les traces de raisonnement entraînent causalement les décisions, les auteurs ont mené une étude d'élagage chirurgical. Ils ont supprimé des paragraphes spécifiques du CoT (par exemple, les décisions finales, des branches entières ou des niveaux de profondeur spécifiques) et ont relancé le modèle pour observer les changements dans la sélection des coups.

Résultats clés

1. Effort de recherche et performance

Il existe une corrélation positive entre l'effort de recherche (taille totale de l'arbre) et le taux de victoire. Les modèles qui génèrent des arbres de recherche plus grands obtiennent de meilleurs résultats. Cette relation tient au sein des familles de modèles et est soutenue causalement par l'observation qu'augmenter l'effort de raisonnement (budget de jetons) dans le même modèle (GPT-OSS-120B) conduit à des arbres plus grands et à des taux de victoire plus élevés.

2. Recherche superficielle et largeur versus profondeur

Les LLM exhibent une recherche significativement plus superficielle que les experts humains. La profondeur maximale moyenne de recherche à travers les modèles variait de 1,00 à 3,48 coups, alors que les experts humains dans des jeux similaires recherchent généralement 4 à 6 coups. Crucialement, la performance est prédite par la largeur de recherche (le nombre de coups candidats considérés à la racine) plutôt que par la profondeur de recherche. En contrôlant la largeur, la profondeur de recherche n'explique aucune variance supplémentaire dans les taux de victoire.

3. Prise de décision myope

Malgré la génération de nœuds profonds dans leurs traces, les choix de coups des LLM sont mieux expliqués par un modèle myope.

Le modèle myope (ignorant les nœuds profonds) a constamment surpassé le modèle d'arbre complet dans la prédiction des coups des LLM à travers toutes les architectures.
La métrique « préjudice de profondeur » (la baisse de performance du modèle d'arbre complet par rapport au modèle myope) était positive pour tous les modèles et augmentait avec la profondeur de recherche, indiquant que la rétropropagation des valeurs depuis les nœuds plus profonds altère activement la précision de la prédiction.
Le facteur d'actualisation $\gamma$ dans le modèle de remise en cause a convergé vers zéro, confirmant que les LLM attribuent un poids négligeable à la vision lointaine profonde lors de la prise de décision.

4. Rôle causal de la profondeur de raisonnement

L'étude d'intervention causale a révélé que la sélection des coups est principalement pilotée par des nœuds superficiels :

La suppression du paragraphe de décision finale a provoqué un changement minime (2,1 %).
La suppression de la branche entière correspondant au coup choisi a provoqué un taux de changement de 32,0 %.
Cependant, lors de la réintroduction progressive des paragraphes par profondeur, la restauration uniquement des paragraphes de profondeur 1 (conséquences immédiates) a réduit le taux de changement à près de la ligne de base (4,1 %). L'ajout de paragraphes plus profonds (profondeur 2 et au-delà) n'a fourni aucune réduction supplémentaire du taux de changement.
Cela indique que bien que les LLM écrivent sur une vision lointaine profonde, leurs décisions sont causalement déterminées par l'évaluation immédiate des coups candidats, et non par le contenu de la recherche profonde.

Importance et affirmations

L'article prétend révéler une dissociation fondamentale entre la planification des LLM et celle des humains :

Expertise humaine : Pilotée par une recherche plus profonde ; la performance évolue avec la capacité à simuler plus loin dans le futur.
Planification des LLM : Génère la structure de surface de la recherche d'arbre mais agit selon un mécanisme myope. Les nœuds profonds dans les traces CoT ne sont pas utilisés pour guider la décision finale.

Les auteurs soutiennent que la question centrale concernant la planification des LLM devrait être reformulée de « Peuvent-ils planifier ? » à « Quel type d'algorithme de planification leurs décisions reflètent-elles ? ». Ils suggèrent que les méthodes actuelles reposant sur une augmentation du calcul au moment du test ou sur des traces de raisonnement plus longues peuvent être insuffisantes si le modèle ne peut pas propager efficacement les informations de valeur depuis les nœuds profonds jusqu'à la racine. Les résultats mettent en lumière une limitation dans les architectures actuelles de LLM (potentiellement liée aux mécanismes d'attention ou à l'incertitude en profondeur) où une vision lointaine profonde est générée mais non intégrée dans la politique de décision. Ce travail fournit un cadre généralisable pour interpréter la structure de la planification des LLM et met en garde contre le traitement des traces de raisonnement comme des enregistrements transparents de la délibération.