Latent Planning Emerges with Scale

1. Problématique et Contexte

Les grands modèles de langage (LLM) réussissent souvent des tâches complexes nécessitant une planification (comme écrire des histoires cohérentes ou du code fonctionnel) sans verbaliser explicitement leur plan. Cependant, l'existence et la nature de cette planification latente (implicite) restent mal comprises.

• Définition du problème : La plupart des travaux antérieurs se basent sur des preuves observationnelles (détection de futurs tokens dans les activations), ce qui ne suffit pas à prouver une véritable planification. Une planification réelle nécessite un raisonnement causal : le modèle doit non seulement prédire un futur token, mais aussi adapter le contexte précédent pour le « licencier » (le rendre grammaticalement ou sémantiquement possible).
• Risques de sécurité : Comprendre ce mécanisme est crucial pour la sécurité de l'IA, car une planification latente pourrait permettre à des modèles de « comploter » (scheming) sans être détectés par des superviseurs externes.

2. Méthodologie

Les auteurs proposent un cadre rigoureux basé sur la mécanistique interprétable pour étudier la planification dans la famille de modèles Qwen-3 (de 0,6B à 14B paramètres, et jusqu'à 32B pour certaines analyses comportementales).

A. Définition Causal de la Planification Latente

Pour qu'un LLM soit considéré comme planifiant, il doit satisfaire deux conditions causales :

1. Planification vers l'avant (Forward Planning) : Le modèle possède une représentation interne du token futur $t$ qui cause sa génération.
2. Planification vers l'arrière (Backward Planning) : Cette même représentation cause la génération d'un contexte précédent qui permet (licencie) l'apparition de $t$.

B. Outils d'Analyse : Transcoders et Circuits de Caractéristiques

• Transcoders : Utilisation de modèles auxiliaires pour décomposer les activations denses et polysémantiques des MLP (Multi-Layer Perceptrons) du modèle en caractéristiques (features) sparse et monosémantiques. Cela permet d'identifier des concepts spécifiques (ex: "accountant", "an").
• Circuits de Caractéristiques (Feature Circuits) : Construction de graphes acycliques pondérés reliant les entrées, les caractéristiques des transcoders et les logits de sortie. Cela permet de tracer les relations causales exactes et d'identifier les sous-graphes responsables d'un comportement spécifique.
• Interventions Causales : Ablation (mise à zéro) ou amplification (multiplication par un facteur) de caractéristiques spécifiques pour observer l'impact sur la sortie du modèle, validant ainsi leur rôle causal.

C. Tâches Expérimentales

1. Accord Grammatical Simple (a/an, is/are, el/la) : Tâches où le modèle doit choisir un mot fonctionnel (article ou verbe) en fonction d'un mot de contenu futur (ex: "Someone who handles financial records is → a/an (accountant)").
2. Complétion de Couplets Rimés : Tâche plus complexe où le modèle doit générer une deuxième ligne rimant avec la première, nécessitant une planification à plus long terme.
3. Expériences de Guidage (Steering) : Forcer le modèle à produire un mot spécifique via l'activation de ses caractéristiques et observer si le modèle adapte le contexte précédent.

3. Résultats Clés

A. Émergence de la Planification avec l'Échelle

• Performance Comportementale : Sur les tâches d'accord simple (a/an), les petits modèles (0,6B - 1,7B) échouent systématiquement sur la classe minoritaire ("an"), préférant la classe majoritaire ("a"). Les modèles moyens (4B - 8B) montrent une amélioration progressive, et les grands modèles (14B+) réussissent parfaitement.
• Preuve Mécanistique :
  • Les modèles qui réussissent possèdent des caractéristiques de planification (ex: une feature activée par "accountant") qui causent directement l'activation de la fonctionnalité correcte ("an").
  • Causalité : L'ablation de ces features réduit drastiquement la performance, tandis que leur amplification l'améliore, prouvant leur rôle causal.
  • Modèles Moyens (4B-8B) : Ils possèdent des mécanismes de planification "naissants". Bien que leur performance globale soit inférieure, ils activent les mêmes types de features que les grands modèles lors des succès, mais moins fréquemment lors des échecs.

B. Planification Vers l'Avant vs Vers l'Arrière

• Développement Asymétrique : La capacité de planification vers l'avant (prédire le futur token) émerge et s'améliore plus rapidement que la planification vers l'arrière (adapter le contexte).
• Tâches Complexes (Couplets) :
  • Les modèles identifient la rime à l'avance (planification vers l'avant) via des features de rime.
  • Cependant, même les grands modèles (14B) montrent peu de preuves de planification vers l'arrière forte. Lorsqu'on force un modèle à rimer avec un mot spécifique, le contexte intermédiaire généré n'est pas significativement mieux adapté à cette rime que le contexte original.
  • Les modèles utilisent un circuit de "fin de ligne" et de "rime" qui se déclenche tardivement (près de la fin de la ligne), plutôt qu'une planification globale de la phrase dès le début.

C. Nature des Circuits "Naissants"

Pour les modèles de taille intermédiaire (4B, 8B), l'échec est souvent dû à une activation insuffisante des features de planification plutôt qu'à l'absence totale de ces features. Les grands modèles (14B) activent ces features de manière plus robuste et constante.

4. Contributions Principales

1. Cadre Définitoire Rigoureux : Proposition d'une définition de la planification latente basée sur des preuves causales (forward et backward) plutôt que sur la simple décodabilité.
2. Étude à Grande Échelle : Première étude de circuits de caractéristiques à grande échelle sur des modèles open-source (Qwen-3) couvrant une large gamme de tailles (0,6B à 14B+).
3. Preuves Mécanistiques : Identification et validation par intervention de features spécifiques responsables de la planification (ex: features "accountant" → "an").
4. Analyse de l'Émergence : Démonstration que la planification n'est pas binaire (présente/absente) mais émerge progressivement avec la taille du modèle, la planification vers l'avant précédant la planification vers l'arrière.

5. Signification et Implications

• Sécurité de l'IA : Bien que les modèles actuels (jusqu'à 14B) ne montrent pas de planification complexe et à long terme (comme le "complot" ou scheming sophistiqué), la capacité de planification latente augmente avec l'échelle. Cela suggère que les modèles futurs plus grands pourraient développer des capacités de planification implicite plus dangereuses, nécessitant une surveillance accrue.
• Compréhension des LLM : Ces résultats contredisent l'idée que les LLM sont de simples prédicteurs de tokens sans intention. Ils démontrent l'existence de mécanismes internes de raisonnement causal pour des tâches spécifiques.
• Limites et Futur : La planification vers l'arrière reste coûteuse et difficile à apprendre, probablement en raison du "teacher forcing" lors de l'entraînement préliminaire qui masque les conséquences des erreurs de planification. Les auteurs suggèrent que des méthodes d'entraînement par renforcement (on-policy) pourraient accentuer la pression pour planifier.

En résumé, ce papier établit que la planification latente est une capacité émergente qui se développe avec la taille du modèle, reposant sur des circuits de caractéristiques identifiables et causalement vérifiables, mais qui reste encore limitée dans sa capacité à adapter le contexte passé pour des objectifs futurs complexes.