Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
Cet article démontre que, bien que les états d'activation internes puissent être projetés entre différentes architectures de grands modèles de langage avec un alignement représentationnel mesurable, le transfert causal de bout en bout réussi de ces états lors de la génération est strictement dépendant de l'architecture, ne fonctionnant de manière fiable que pour des paires spécifiques de modèles de type décodeur plutôt que de servir de mécanisme universel.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez deux personnes essayant de se parler, mais qui sont contraintes de s'exprimer par l'intermédiaire d'un traducteur parlant une troisième langue. La première personne murmure une pensée, le traducteur la note par écrit, la seconde personne la lit, puis le traducteur écrit une réponse. Ce processus prend du temps, coûte de l'argent et risque de perdre le sens original lors de la traduction. Aujourd'hui, les systèmes d'intelligence artificielle communiquent exactement de cette manière. Lorsqu'un programme informatique doit envoyer des informations à un autre, il convertit ses pensées internes en texte lisible par l'homme, envoie ce texte, puis le programme receveur lit ce texte et le reconvertit en ses propres pensées internes. Cette couche intermédiaire de texte est la seule façon qu'ils connaissent actuellement pour communiquer. Mais et si ces programmes pouvaient s'en passer entièrement ? Et si une machine pouvait simplement transmettre son état interne directement à une autre, comme si elle passait un mot sans jamais l'écrire ? C'est la question à laquelle des chercheurs ont cherché à répondre : des types différents d'intelligence artificielle, construits par différentes entreprises et entraînés sur des données différentes, peuvent-ils comprendre les signaux internes les uns des autres sans avoir besoin de les traduire en mots au préalable ?
Pour comprendre l'expérience, il est utile de savoir que ces programmes, connus sous le nom de grands modèles de langage, ne pensent pas en mots comme les humains. Au lieu de cela, ils traitent l'information sous forme de vastes motifs numériques changeants appelés états d'activation. Vous pouvez concevoir ces motifs comme l'activité électrique spécifique d'un cerveau à un instant donné. Lorsqu'un modèle lit une question, un motif d'activité unique s'allume à l'intérieur de lui. Le chercheur voulait savoir si le motif d'une idée spécifique dans un modèle ressemblait suffisamment au motif de la même idée dans un autre modèle pour qu'un pont puisse être construit entre eux. Si les motifs étaient assez similaires, un ordinateur pourrait apprendre à traduire directement le signal interne du premier modèle vers le signal interne du second, contournant ainsi le besoin de texte.
Un chercheur s'est proposé de tester cette idée en utilisant quatre modèles d'intelligence artificielle différents. Ces modèles ont été choisis avec soin pour représenter différentes familles de technologies et différents historiques d'entraînement. Trois d'entre eux ont été conçus pour générer du texte mot après mot, tandis que le quatrième a été conçu pour comprendre le texte dans les deux sens simultanément. Le chercheur a d'abord vérifié si les motifs internes de ces modèles étaient suffisamment similaires pour être comparés. Ils ont observé comment les modèles réagissaient à des paires de concepts liés, tels que des synonymes ou des mots que l'on trouve souvent ensemble dans les livres. Ils ont découvert que pour les trois modèles construits de la même manière, les motifs internes étaient effectivement similaires. Cependant, le modèle construit différemment ne présentait aucune similitude de ce genre. Cela suggérait que la manière dont un modèle est construit importe plus que l'identité de son créateur ou les données sur lesquelles il a été entraîné.
Ensuite, le chercheur a tenté de construire un pont. Il a entraîné un petit programme informatique simple pour agir comme un traducteur, apprenant à convertir le signal interne d'un modèle en le signal interne d'un autre. Il a testé ce pont en présentant une question, en convertissant la réaction du premier modèle à cette question, et en vérifiant si le second modèle pouvait la reconnaître comme la bonne réponse parmi une liste de vingt possibilités. Pour les trois modèles construits de manière similaire, ce pont a fonctionné de manière surprenante. Le second modèle identifiait correctement la source du signal environ la moitié du temps, ce qui est bien meilleur qu'une supposition aléatoire. Mais pour le modèle construit différemment, le pont a totalement échoué ; le second modèle ne pouvait pas reconnaître le signal du tout. Cela a confirmé que, bien qu'une couche de traduction soit possible, elle ne fonctionne qu'entre des modèles partageant une famille architecturale spécifique.
Le test final et le plus difficile consistait à voir si cette traduction pouvait réellement modifier le comportement du modèle receveur en temps réel. Le chercheur a pris le signal traduit du premier modèle et l'a injecté directement dans le second modèle pendant que celui-ci était en train de rédiger une nouvelle réponse. Il voulait voir si cette injection orienterait la production du second modèle vers le sujet de la question originale. Les résultats ont été mitigés et ont révélé une limitation cruciale. Lorsqu'ils ont tenté l'expérience entre deux modèles spécifiques, l'injection a fonctionné. La production du second modèle a sensiblement dévié vers le sujet de la question du premier, prouvant que le signal avait été reçu et avait un effet causal. Cependant, lorsqu'ils ont tenté la même manipulation avec un troisième modèle, cela a totalement échoué. Même si les motifs internes semblaient similaires sur le papier, l'injection du signal n'a pas modifié la production du tout.
Le chercheur a conclu que, bien qu'il soit possible de transférer le support physique d'une pensée — le motif spécifique de l'activité électrique — d'une machine à une autre, cela ne signifie pas que les machines partagent une compréhension profonde ou un sens commun. Dans les cas réussis, le second modèle ne donnait pas nécessairement la bonne réponse à la question d'origine. Au lieu de cela, il produisait un texte thématiquement lié, comme parler de triangles quand la question initiale portait sur des carrés. Le signal avait été transféré, mais le sens n'était pas parfaitement préservé. L'étude montre que la communication directe entre intelligences artificielles est techniquement possible, mais qu'elle n'est pas un langage universel. Elle dépend entièrement de la conception spécifique des machines impliquées. Si les conceptions ne correspondent pas, le signal ne peut pas être compris et le transfert échoue. Cela signifie que, dans le futur, si nous voulons que différents systèmes d'IA communiquent directement entre eux, nous ne pouvons pas supposer qu'ils fonctionneront simplement ; nous devons nous assurer qu'ils sont construits de manières compatibles, ou nous devrons construire un traducteur spécifique pour chaque paire de systèmes que nous souhaitons connecter.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.