Résumé Technique : LLM-WikiRace

Définition du Problème

Les grands modèles de langage (LLM) ont démontré une maîtrise dans des domaines étroits tels que le raisonnement mathématique ou des tâches spécifiques du monde réel comme la planification de voyages. Cependant, les benchmarks existants échouent souvent à évaluer comment les modèles exploitent l'étendue des connaissances du monde acquises lors du pré-entraînement pour effectuer une planification active et un raisonnement en des contextes ouverts. Bien que le raisonnement et les connaissances du monde soient fréquemment étudiés de manière isolée, les tâches du monde réel nécessitent leur intégration étroite.

Le document introduit LLM-WikiRace, un benchmark conçu pour évaluer la capacité d'un LLM à naviguer dans un graphe de connaissances du monde réel (Wikipédia) en utilisant uniquement des informations locales et des connaissances internes. La tâche exige qu'un agent traverse une page Wikipédia source vers une page cible en sélectionnant étape par étape des hyperliens. Crucialement, l'agent n'a pas accès à la structure globale du graphe, aux chemins les plus courts, ni au contenu des pages non visitées ; il doit s'appuyer sur ses connaissances du monde pré-entraînées pour inférer des connexions sémantiques et planifier des séquences d'actions à long terme.

Méthodologie

Construction du Benchmark

• Source du Graphe : Le benchmark est construit sur un instantané de Wikipédia du 23 juin 2025. Les auteurs ont conservé la plus grande composante fortement connexe, résultant en un graphe de 549 232 pages où chaque nœud est accessible depuis n'importe quel autre nœud.
• Mécanique de la Tâche : À chaque étape, le modèle reçoit le titre de la page actuelle, le titre de la page cible, l'historique des pages visitées et une liste de jusqu'à 50 titres de liens sortants. Le modèle doit sélectionner un lien à suivre. L'épisode se termine lorsqu'il atteint la cible ou épuise un budget de 30 étapes.
• Stratification de la Difficulté : Le benchmark est divisé en trois niveaux de difficulté basés sur la longueur du chemin le plus court entre la source et la cible :
  • Facile (Easy) : 200 paires avec des longueurs de chemin de 3 ou 4.
  • Moyen (Medium) : 150 paires avec des longueurs de chemin de 5 ou 6.
  • Difficile (Hard) : 100 paires avec des longueurs de chemin de 7 ou 8.
• Contraintes : Pour garantir que la tâche repose sur les connaissances internes plutôt que sur la récupération en contexte (in-context retrieval), le corps du texte de l'article actuel est exclu de l'invite (prompt). La liste des liens sortants est plafonnée à 50 ; pour les pages possédant plus de liens, les 50 plus proches de la cible (en termes de chemin le plus court) sont sélectionnés, bien que cette information soit cachée au modèle pour éviter les raccourcis algorithmiques.

Protocole d'Évaluation

• Modèles Évalués : Un ensemble diversifié de plus de 20 modèles, incluant des modèles propriétaires de pointe (Gemini 3.1, GPT-5, Claude Opus 4.6, Grok 4.1) et des modèles open-source (LLaMA 3, Gemma 3, DeepSeek R1, Kimi K2, Mistral, Qwen, et des modèles basés sur la diffusion).
• Métriques :
  • Taux de Succès (Success Rate) : Le pourcentage de parties terminées dans le budget d'étapes imparti.
  • Étapes Suboptimales (Suboptimal Steps) : Le nombre moyen d'étapes excédentaires effectuées dans les parties réussies (mesurant l'efficacité du chemin).
  • Sonde de Connaissance du Monde (World Knowledge Probe) : Une tâche de classification distincte où les modèles prédisent si deux pages sont directement liées, utilisée pour corréler les connaissances internes avec la performance de planification.
• Analyse : L'étude inclut une analyse au niveau des trajectoires pour examiner les stratégies de planification, les comportements de replanification et la détection de boucles.

Contributions Clés

1. Un Benchmark pour la Planification en Domaine Ouvert : LLM-WikiRace est le premier benchmark exigeant une planification interactive et multi-étapes sur l'intégralité du graphe de liens hypertexte de Wikipédia, isolant l'intégration des connaissances du monde et du raisonnement à long terme.
2. Identification du "Gap de Planification" : Les auteurs identent une divergence de performance significative entre les modèles de "raisonnement" (ex: GPT-5, DeepSeek R1) et les modèles standards "instruits" (instruct-tuned). Malgré des niveaux de connaissances du monde similaires (mesurés par une sonde statique), les modèles de raisonnement atteignent des taux de succès jusqu'à 20 points de pourcentage plus élevés. Cela suggère que le post-entraînement pour le raisonnement améliore la capacité à déployer la connaissance lors de la planification.
3. Diagnostic des Échecs de Replanification : L'analyse des trajectoires révèle que même les modèles les plus puissants peinent à se remettre d'une erreur. Les modèles entrent fréquemment dans des boucles (revisiter des pages) et échouent à replanifier efficacement après avoir reconnu un chemin suboptimal. Il existe une forte corrélation négative entre la fréquence des boucles et le taux de succès.
4. Limites du Post-Entraînement : Les expériences de fine-tuning d'un modèle Qwen-2.5-7B utilisant l'algorithme DAPO montrent que, bien que le post-entraînement puisse améliorer la performance sur les instances faciles (augmentant le succès de 22,5 % à 67,5 %), ces gains ne se transfèrent pas aux difficultés moyennes ou difficiles, qui restent à 0 % de succès.

Résultats

• Performance par Difficulté :
  • Split Facile : Les modèles de pointe atteignent des taux de succès élevés (>90 %), Gemini 3.1 menant avec 96,0 %.
  • Split Moyen : La performance chute significativement, les meilleurs modèles (Gemini 3.1, Claude Opus 4.6) atteignant environ 50–70 %.
  • Split Difficile : La performance s'effondre. Le meilleur modèle, Gemini 3.1, ne réussit que 29 % des jeux difficiles. La plupart des modèles open-source atteignent un succès proche de zéro sur ce split.
• Comparaison de Modèles :
  • Gemini 3.1 surpasse tous les autres modèles sur tous les niveaux de difficulté.
  • GPT-5 et Claude Opus 4.6 suivent de près mais montrent une baisse de performance notable sur les splits moyen/difficile par rapport à leurs prédécesseurs ou autres variantes (ex: GPT-5.2 a moins bien performé que GPT-5 sur les splits moyen/difficile).
  • Modèles Open-Source : Ils sont généralement en retrait par rapport à leurs homologues propriétaires, particulièrement sur les instances difficiles. DeepSeek R1 et Kimi K2 sont compétitifs mais restent derrière les leaders.
• Comportement de Replanification : L'analyse des trajectoires réussies vs infructueuses montre que les modèles adoptent souvent des stratégies de "recherche de hubs" (se déplacer vers des sujets larges tôt dans le processus) mais échouent à sortir des boucles une fois formées. Par exemple, sur les tâches difficiles, Gemini 3 a rencontré des boucles dans 86 % des cas, avec un taux de succès de seulement 10 % pour ces trajectoires en boucle.

Signification et Revendications

L'article pose que LLM-WikiRace sert de "benchmark simple" qui expose les limites claires des systèmes de raisonnement actuels. Sa signification réside dans :

• Isolation des Capacités de Planification : En supprimant les complexités liées aux domaines spécifiques et les particularités de l'utilisation d'outils, le benchmark révèle que les échecs ne proviennent pas seulement d'un manque de capacité de raisonnement, mais d'une incapacité à récupérer ou à appliquer efficacement les connaissances du monde lors d'une planification multi-étapes.
• Mise en Lumière du Déficit de Replanification : Le benchmark démontre que les modèles de pointe actuels, bien que capables d'une planification initiale, manquent d'un contrôle adaptatif robuste. Ils échouent fréquemment à réviser leurs stratégies après un échec, menant à des boucles répétitives.
• Définition de la Frontière : Les résultats indiquent que si les modèles ont maîtrisé le split facile, le split difficile reste largement non résolu. Le "gap de planification" suggère que les méthodes actuelles de post-entraînement pour le raisonnement sont insuffisantes pour combler pleinement le fossé entre la récupération de connaissances et la planification efficace à long terme dans des environnements complexes et ouverts.

Les auteurs concluent que LLM-WikiRace offre une arène ouverte où les LLM capables de planification ont encore beaucoup à prouver, particulièrement dans leur capacité à naviguer dans des graphes de connaissances du monde réel sans assistance algorithmique.