Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering
Cette étude démontre que les sondes linéaires peuvent extraire des informations sémantiques futures à partir des états cachés de modèles de langage, révélant un compromis où l'efficacité de cette lecture directe par rapport au déploiement autorégressif dépend de l'espace de plongement, de l'horizon de génération et de la prédictibilité inhérente à l'invite.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les programmes informatiques modernes qui écrivent du texte, connus sous le nom de modèles de langage, fonctionnent en prédisant un mot à la fois. Ils examinent les mots que vous leur avez donnés et devinent le suivant, puis utilisent ce nouveau mot pour deviner celui d'après, construisant ainsi une phrase étape par étape. Pendant longtemps, les scientifiques ont supposé que ces programmes ne connaissaient l'avenir qu'aussi loin que leur prochaine supposition le permettait. Cependant, une nouvelle étude suggère qu'à l'intérieur de la machinerie mathématique complexe de ces modèles, il existe une couche d'information cachée qui contient déjà le sens général de ce que l'ordinateur est sur le point de dire, bien avant qu'il ne tape le moindre nouveau mot. Cette recherche explore si ces états internes de l'ordinateur détiennent un « aperçu » du texte futur, à quel point cet aperçu est clair par rapport à la simple lecture de l'invite (prompt), et si le fait de connaître cet aperçu nous permet de modifier ce que l'ordinateur écrit.
Le chercheur Jaekeol Choi, de l'Université de langues étrangères de Hankuk, s'est donné pour mission de tester cette idée en utilisant plusieurs versions différentes de modèles de langage populaires. Ils se sont concentrés sur le moment précis juste avant que l'ordinateur ne commence à générer une nouvelle phrase. À cet instant exact, le modèle a traité l'entrée de l'utilisateur et détient une représentation interne spécifique, un motif complexe de nombres qui résume tout ce qu'il a compris jusqu'à présent. L'équipe a posé une question simple : si vous regardez ce motif interne, pouvez-vous dire quel sera le sujet général ou le sentiment de la phrase à venir, même si la phrase n'a pas encore été écrite ? Pour le découvrir, ils ont entraîné un outil simple pour lire ces motifs internes et les traduire en un résumé du texte futur. Ils ont comparé cette méthode à d'autres façons de deviner l'avenir, comme laisser l'ordinateur écrire quelques mots d'abord, ou essayer de prédire l'avenir en se basant uniquement sur l'invite d'origine sans regarder à l'intérieur du cerveau de l'ordinateur.
L'étude a révélé que la réponse est oui. Les motifs internes du modèle contiennent effectivement une carte linéairement accessible du sens du texte futur. Lorsque les chercheurs ont examiné l'état interne du modèle avant qu'il ne génère une phrase, ils ont pu prédire avec succès le contenu sémantique général de cette phrase. Cela s'est avéré vrai à travers différentes tailles et architectures de modèles, des plus petits modèles avec des centaines de millions de paramètres aux plus grands avec des milliards. La capacité de lire ce sens futur était la plus forte dans les couches plus profondes du réseau de traitement de l'ordinateur. Cependant, la clarté de cet aperçu dépendait fortement de la manière dont les chercheurs définissaient le « sens ». Lorsqu'ils ont utilisé une méthode spécifique pour mesurer le sens, l'aperçu interne était nettement meilleur que de simplement deviner à partir de l'invite seule. Mais lorsqu'ils utilisaient d'autres méthodes pour mesurer le sens, l'avantage de regarder à l'intérieur du cerveau de l'ordinateur était beaucoup plus faible, parfois à peine distinguable de ce qui pouvait être deviné en regardant simplement les mots de départ.
Les chercheurs ont également comparé cette méthode d'« aperçu interne » à la stratégie plus évidente consistant à laisser l'ordinateur écrire quelques mots d'abord. Si vous laissez l'ordinateur générer trois ou cinq mots, vous obtenez naturellement une image beaucoup plus claire de la direction que prend la phrase que si vous essayez simplement de deviner à partir de l'état caché. Ce n'est pas surprenant, car l'ordinateur a déjà effectué le travail d'écriture de ces mots. Cependant, l'étude a révélé un compromis intéressant. À mesure que la phrase cible devient plus longue et que l'avenir devient plus lointain, l'avantage de laisser l'ordinateur écrire plus de mots diminue. Si l'objectif est de comprendre le sens d'une phrase située à 256 mots de distance, l'aperçu interne devient étonnamment compétitif par rapport au fait de laisser l'ordinateur écrire un court préfixe. L'état interne offre un moyen de saisir le sens du futur lointain sans le coût computationnel de la génération de tous ces mots intermédiaires, bien qu'il ne surpasse jamais complètement la précision de la génération d'une séquence longue.
La partie peut-être la plus intrigante de la recherche impliquait de tester si cette connaissance pouvait être utilisée pour changer le comportement de l'ordinateur. Le chercheur a pris la direction dans l'état interne qui pointait vers un sentiment spécifique, tel que la positivité ou la négativité, et a tenté de pousser l'ordinateur dans cette direction avant qu'il ne commence à écrire. Ils ont découvert que cette incitation fonctionnait. En ajustant l'état interne sur la base de leurs prédictions, ils pouvaient modifier le ton du texte généré plus efficacement qu'en effectuant des ajustements aléatoires. Cependant, ce succès n'était pas uniforme dans toutes les parties du cerveau de l'ordinateur. Dans certains modèles, la couche où le sens futur était le plus facile à lire était aussi le meilleur endroit pour effectuer des changements. Dans d'autres modèles, ces deux choses ne s'alignaient pas du tout ; la couche qui montrait l'aperçu le plus clair du futur était parfois le mauvais endroit pour intervenir afin de changer le résultat. En fait, dans certains cas, tenter de modifier le texte à la couche possédant le plus fort aperçu poussait l'ordinateur dans la direction opposée de celle voulue.
Ces conclusions suggèrent que, bien que les modèles de langage transportent des informations sur leurs propres sorties futures au sein de leurs états internes, cette information n'est pas un script pré-écrit attendant d'être lu. Au contraire, il s'agit d'un signal complexe et stratifié, plus facile d'accès dans certaines parties du réseau que dans d'autres. L'étude précise que le fait qu'un ordinateur puisse « voir » le sens futur de ses propres mots ne signifie pas qu'il pré-calcule entièrement l'ensemble de la réponse. Elle souligne également que la capacité de lire un signal est différente de la capacité de le contrôler. La capacité de prédire l'avenir et la capacité de diriger l'avenir sont des capacités liées mais distinctes qui ne se produisent pas toujours au même endroit au sein du modèle. Ce travail fournit une carte plus claire de la manière dont ces systèmes intelligents organisent l'information sur ce qu'ils sont sur le point de dire, montrant que leurs états internes sont plus riches en données tournées vers l'avenir qu'on ne le pensait auparavant, mais aussi plus complexes à utiliser pour le contrôle qu'un simple affichage de lecture ne le suggérerait.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.