💻 computer science

Hidden APIs in Language Models: Discovering Reusable Causal Interfaces from Forked Futures

Cet article introduit les « futurs fourchus » (forked futures), une méthode pour identifier des interfaces causales réutilisables dans les modèles de langage en comparant les états cachés sur la base de leurs distributions de réponses futures induites, démontrant qu'une interface « Partagée » (Shared) constitue la représentation la plus économique et la plus robuste à travers plusieurs architectures de modèles.

Auteurs originaux : SiYuan Ma, Yiqin Luo, Zhangji, Canran Xiao, Albert Gao, Wei-Hsing Huang, Wei Wang, Qiwei Wu, Xinran Li, Jinfeng Wei, Qixin Zhang

Publié 2026-07-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : SiYuan Ma, Yiqin Luo, Zhangji, Canran Xiao, Albert Gao, Wei-Hsing Huang, Wei Wang, Qiwei Wu, Xinran Li, Jinfeng Wei, Qixin Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un robot géant et super intelligent réfléchit. Vous voyez ce qu'il dit en réponse à une question, mais vous ne pouvez pas voir les engrenages qui tournent à l'intérieur de son cerveau. Pendant longtemps, des scientifiques ont tenté de jeter un coup d'œil à l'intérieur en observant les « états cachés » du robot — ces motifs électriques internes qui existent juste avant qu'il ne tape une réponse. La grande question est la suivante : le robot utilise-t-il un « panneau de contrôle » spécial et réutilisable pour gérer toute sa réflexion, ou se précipite-t-il pour construire un outil nouveau et unique pour chaque tâche ? Cela revient à demander si un chef utilise un couteau maître pour tout faire, ou s'il saisit un gadget différent et spécialisé pour hacher des oignons, trancher du pain ou lever un filet de poisson à chaque fois. Comprendre cela est important car, si le robot possède un panneau de contrôle réutilisable, nous pourrions peut-être lui parler, corriger ses erreurs ou comprendre ses secrets beaucoup plus facilement. S'il s'agit simplement d'un désordre chaotique d'outils éphémères, comprendre son fonctionnement devient un cauchemar.

Ce document présente une nouvelle méthode ingénieuse pour résoudre ce mystère, appelée « futurs fourchus » (forked futures). Au lieu de simplement poser une question au robot et de voir ce qu'il répond, les chercheurs mettent en place une expérience de voyage dans le temps. Ils laissent le robot former une pensée interne (un état caché) basée sur une histoire jusqu'à présent, mais avant de lui dire ce qu'il doit faire ensuite. Ensuite, ils « fourchent » le futur : ils demandent au robot d'accomplir de nombreuses choses différentes avec cette même pensée, comme comparer des faits, vérifier une règle ou composer une nouvelle phrase. En observant comment le cerveau du robot réagit à ces différentes tâches futures, ils peuvent voir si la pensée interne était en fait un outil polyvalent et réutilisable ou simplement une impasse.

Les chercheurs ont testé cette idée sur deux modèles de langage célèbres, Qwen2.5-1.5B et Llama-3-8B, opposant quatre théories différentes : une théorie « Partagée » (un panneau de contrôle maître unique), une théorie « Locale » (un outil unique pour chaque travail), une théorie de « Mélange » (certains outils sont partagés, d'autres ne le sont pas) et une théorie « Distribuée » (le travail est réparti partout sans centre névralgique). Ils ont mesuré quelle théorie expliquait le comportement du robot le plus efficacement. Les résultats suggèrent que la théorie « Partagée » est la gagnante. Le robot semble utiliser une « API » compacte et réutilisable (une sorte d'interface interne) qui lui permet d'économiser des efforts. Plus précisément, le modèle Partagé a nécessité une longueur de description de 1,292 nats sur le modèle Qwen et de 1,187 nats sur le modèle Llama, battant la deuxième meilleure option par une marge de 0,216 et 0,294 nats respectivement. Cela signifie que le robot utilise un « raccourci » pour réutiliser ses états internes plutôt que de réinventer la roue à chaque fois.

Cependant, l'article prend grand soin de ne pas trop survendre cela. Il exclut explicitement l'idée qu'il s'agisse d'un « espace de travail global » parfait et universel qui gère tout dans le cerveau du robot. Les preuves montrent que cette interface réutilisable fonctionne mieux au sein de familles de tâches spécifiques (comme les énigmes logiques ou le code) mais s'affaiblit lorsque vous essayez de mélanger des types de tâches complètement différents. En fait, lorsqu'ils ont testé leur méthode sur de faux cerveaux de robots simples dont ils connaissaient la réponse, ils ont constaté que leur méthode commettait une erreur 8,3 % du temps (1 cerveau non partagé sur 12 a été étiqueté à tort comme partagé). Cela signifie que la découverte est réelle mais limitée ; c'est un outil puissant pour comprendre des parties spécifiques de la pensée du robot, et non une clé magique pour déverrouiller tout son esprit. L'article conclut que, bien que ces modèles possèdent une interface causale compacte et réutilisable, il s'agit d'une caractéristique spécifique et conditionnelle, et non d'un centre cérébral magique et tout-puissant.

Résumé Technique : API Cachées dans les Modèles de Langage

1. Énoncé du Problème

Les méthodes actuelles d'analyse des états internes des modèles de langage (LM) reposent souvent sur le « sondage » (probing) des états cachés pour prédire le jeton de sortie actuel. Cependant, des réponses actuelles identiques peuvent provenir d'états cachés qui soutiennent des calculs futurs fondamentalement différents. Par conséquent, une direction décodable pour une réponse unique n'établit pas une interface interne réutilisable. La question centrale abordée est contrefactuelle : quelles distinctions entre les états cachés restent nécessaires à travers les futurs calculs possibles ? L'article cherche à déterminer si les LM exposent un état partagé et compact que plusieurs calculs en aval peuvent réutiliser, se distinguant ainsi des alternatives opérationnelles spécifiques (Locales), à porte (Mixture/Mélange), ou distribuées.

2. Méthodologie

2.1 Futurs Bifurqués et Signatures Causales

L'innovation centrale est la définition de futurs bifurqués (forked futures). Pour un état de préfixe $h$ donné, une banque d'opérations $\mathcal{K}$ génère des continuations valides après la formation de l'état. La distribution des réponses du modèle à ces opérations définit une signature causale de futur, $\Sigma_{\mathcal{K}}(h)$ .

Équivalence Causale : Deux états sont empiriquement équivalents dans le futur si leurs signatures sont proches selon la divergence de Jensen-Shannon (Distorsion de la Signature de Futur, FSD).
Contrôles : La méthodologie emploie des contrôles de collision sémantique (même réponse actuelle, transitions futures différentes) et des contrôles de collision lexicale (formes de surface différentes, même signature de futur) pour empêcher l'interface de mémoriser les réponses actuelles ou les modèles de prompts.

2.2 Compétition d'Architecture via le MDL Causal Préquential

L'article cadre la découverte d'interfaces comme un problème de sélection d'architecture falsifiable. Quatre architectures concurrentes sont évaluées :

Partagée (Shared) : Un encodeur agnostique aux opérations $E(h)$ et un code de goulot d'étranglement unique $c$ .
Locale (Local) : Paires encodeur-reconstructeur indépendantes $(E_k, R_k)$ pour chaque opération.
Mélange (Mixture) : Une porte conditionnée par l'opération interpolant entre les composants partagés et locaux.
Distribuée (Distributed) : Information conservée à travers plusieurs composants sans goulot d'étranglement privilégié.

La sélection est basée sur la Longueur de Description Minimale (MDL) Causale Préquential. Le modèle est entraîné séquentiellement sur des blocs de données ; le MDL mesure la longueur du code requise pour prédire les signatures de futur sur des blocs de test donnés, en utilisant uniquement les données précédentes. Le Gain de Partage (Sharedness Gain, SG) est défini comme l'avantage MDL de l'architecture Partagée sur la meilleure alternative non-partagée, sous des contraintes de fidélité strictes (moyenne, pire famille et queue de distribution FSD).

2.3 Validation Mécaniste

Une interface sélectionnée doit passer des tests d'intervention rigoureux pour prouver qu'elle fonctionne comme une API causale, et non simplement comme une corrélation statistique :

Transplantation : Les codes d'interface donneurs sont insérés dans des rôles de producteurs correspondants dans des épisodes de base. Le succès est mesuré par la Correctitude de la Cible (réalisation des relations du donneur), la Localité (préservation de l'état de base non-cible) et la Préservation de la Copie (évitement de la fuite de contenu de surface spécifique au donneur).
Médiation : Le blocage des chemins « alignés sur l'API » entre producteurs et consommateurs doit réduire significativement l'effet cible par rapport aux chemins nuls appariés.
Organismes Modèles : Le pipeline est testé sur des transformers synthétiques avec un routage de vérité terrain connu (Partagé, Local, Mélange, Distribué) pour mesurer les taux de faux positifs et la précision de récupération.

3. Résultats Clés

3.1 Compétition d'Architecture

Dans les évaluations sur Qwen2.5-1.5B et Llama-3-8B :

L'architecture Partagée a obtenu le plus bas MDL préquential sur les données de test par rapport aux architectures Locale, Mixture et Distribuée.
Gain de Partage (SG) :
- Qwen2.5-1.5B : $SG = 0,216$ nats (IC 95 % : [0,161, 0,278]).
- Llama-3-8B : $SG = 0,294$ nats (IC 95 % : [0,208, 0,391]).
Fidélité : L'architecture Partagée a maintenu une FSD comparable ou légèrement supérieure (Moyenne, Pire Famille et Queue) aux alternatives, indiquant que le gain est dû à l'efficacité du codage (réutilisation) plutôt qu'à une supériorité prédictive.
Robustesse : Un balayage sur cinq backbones (incluant Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Phi-3-3.8B) a préservé la direction positive du Gain de Partage.

3.2 Preuves Mécanistes

Transplantation : L'interface Partagée a obtenu le score composite le plus élevé (0,87) sur la correctitude de la cible, la localité et la préservation de la copie, surpassant significativement le Local (0,70), le Mixture (0,64) et le Distribué (0,46).
Médiation : Les chemins alignés sur l'API ont médié 0,749 de l'effet cible, contre 0,150 pour les chemins nuls appariés.
Sélectivité : Le graphe causal était creux (sparsité $\approx 0,79$ ) avec une haute stabilité inter-graines (chevauchement Jaccard 0,83). Seules 7 des 64 dimensions ont survécu à la correction BH-FDR, indiquant une nécessité sélective.

3.3 Falsification par Organismes Modèles

Dans un test aveugle sur 16 organismes synthétiques (4 par classe d'architecture) :

Récupération : 14/16 architectures ont été correctement identifiées.
Taux de Faux Positifs : Parmi 12 organismes non-Partagés, 1 a été classé à tort comme Partagé (taux de faux-Partagé de 8,3 %). Cela empêche de prétendre à une identifiabilité parfaite mais soutient la capacité de la méthode à rejeter l'hypothèse « toujours Partagée ».

4. Revendications et Signification

L'article prétend démontrer une interface causale réutilisable et économique au sein des banques d'opérations testées pour les modèles évalués.

Nature de la Revendication : La revendication est explicitement comparative et conditionnelle. Elle affirme que, pour une famille de futurs pré-enregistrés, le modèle expose un état compact que plusieurs calculs en aval peuvent réutiliser plus efficacement que des alternatives spécifiques à l'opération ou distribuées.
Limites de Portée : Les auteurs précisent explicitement que cela ne définit pas un espace de travail global unique pour tous les calculs de LM. Les résultats sont conditionnels aux architectures candidates, aux interventions et aux futurs de test. L'interface est montrée comme réutilisable au sein de familles causales alignées, mais présente une plus faible transférabilité à travers des familles de tâches distinctes (ex: relation-monde vers état de programme).
Aperçu Mécaniste : Les résultats soutiennent l'hypothèse que les LM utilisent un goulot d'étranglement « Partagé » pour des rôles causaux spécifiques, comme en témoignent des longueurs de description plus courtes, une transplantation réussie avec une haute localité, et une médiation via des chemins creux et stables.

L'article conclut que l'architecture « Partagée » est la meilleure abstraction testée parmi les alternatives déclarées, fournissant un cadre falsifiable pour découvrir des API cachées sans dépendre de labels latents spécifiés par le chercheur.