Lorsque nous posons une question à un grand modèle de langage, nous imaginons souvent une conversation directe entre un humain et une machine. Nous supposons que la réponse provient directement du cerveau de l'ordinateur, façonnée uniquement par les données sur lesquelles il a été entraîné et les mots que nous avons tapés. Cette vision traite le modèle comme une bibliothèque statique, où les livres à l'intérieur sont fixes, et où la seule variable est le livre que le bibliothécaire retire de l'étagère. Cependant, la réalité du fonctionnement de ces systèmes dans le monde réel est plus complexe. La technologie derrière ces modèles a atteint un niveau de maturité tel que l'ordinateur peut faire plus que simplement récupérer de l'information ; il peut subtilement réécrire les probabilités de ce qu'il dira ensuite, avant même d'avoir terminé une seule phrase. Cela se produit dans une couche logicielle cachée qui se situe entre la connaissance centrale du modèle et le texte final que vous voyez sur votre écran. C'est un espace où la production brute de la machine peut être orientée, ajustée ou guidée sans modifier la mémoire sous-jacente de la machine.

Un nouvel article d'Augusto Camargo explore les conséquences de cette couche cachée, arguant que nous regardons la mauvaise partie du système si nous ne nous intéressons qu'au modèle lui-même. L'auteur suggère que l'influence la plus significative sur ce qu'une IA dit ne réside peut-être pas dans ses données d'entraînement ou son code interne, mais dans les règles invisibles appliquées au moment précis où elle s'apprête à parler. Cette recherche déplace l'attention de la question « Que sait le modèle ? » vers « Qui contrôle ce que le modèle est autorisé à dire ? ». L'article ne prétend pas que ces systèmes sont actuellement utilisés pour manipuler le monde d'une manière spécifique et prouvée, mais plutôt que les outils techniques pour le faire existent, sont déjà utilisés à d'autres fins, et restent largement invisibles pour les personnes qui les utilisent. C'est un appel à reconnaître que la réponse que vous recevez n'est pas seulement le reflet du modèle, mais le produit d'un système qui peut être réglé pour des raisons politiques, commerciales ou idéologiques sans que personne ne le sache.

Le cœur de cet argument repose sur une observation simple mais puissante : le modèle n'est pas la même chose que le système qui délivre ses réponses. Dans une configuration standard, un utilisateur tape une invite, le modèle génère une liste de mots suivants possibles avec différentes probabilités, puis un ordinateur en choisit un. L'article souligne que dans les applications modernes et réelles, il y a souvent une étape supplémentaire au milieu. Avant que l'ordinateur ne fasse son choix final, un logiciel distinct peut examiner ces probabilités et les ajuster. Il peut rendre certains mots légèrement plus susceptibles d'apparaître et d'autres légèrement moins susceptibles, le tout sans modifier les poids internes du modèle ou l'invite de l'utilisateur. Ce processus est similaire à la façon dont une station de radio pourrait légèrement augmenter le volume d'une chanson spécifique pour la faire ressortir, même si la chanson elle-même n'a pas changé. L'article formalise cela en tant que « politique d'inférence », un ensemble de règles qui opère à l'instant ultime de la génération.

L'auteur démontre que cette capacité n'est pas théorique ; c'est une technologie déjà éprouvée utilisée pour d'autres choses. Par exemple, les entreprises utilisent des méthodes similaires pour intégrer des filigranes invisibles dans le texte afin de prouver qu'il a été écrit par une IA, ou pour détourner un modèle d'un langage toxique. L'article soutient que la même machinerie technique utilisée pour ajouter des filigranes ou assurer la sécurité pourrait être détournée pour quelque chose de bien plus subtil : le cadrage. Le cadrage est l'acte de présenter un sujet d'une manière qui met en évidence certains aspects tout en minimisant d'autres, influençant la compréhension qu'une personne a du sujet sans mentir sur les faits. Un système pourrait être programmé pour choisir systématiquement des mots qui font passer une politique gouvernementale pour une mesure protectrice, tandis qu'une autre version du même système pourrait être réglée pour faire passer cette même politique pour un fardeau bureaucratique. Les deux réponses pourraient être factuellement correctes, mais le choix des mots guiderait l'utilisateur vers une conclusion émotionnelle ou politique spécifique.

Cela conduit à un problème majeur que l'article appelle le « problème d'attribution ». Si un utilisateur pose une question politique et reçoit une réponse biaisée, il est presque impossible de savoir d'où vient ce biais. Est-ce parce que le modèle a été entraîné sur des données biaisées ? Est-ce parce que les développeurs ont ajouté une instruction cachée au système ? Ou est-ce parce qu'un tiers a payé pour que les probabilités soient déplacées dans une direction spécifique ? Parce que l'ajustement se produit dans la fraction de seconde précédant la génération de la réponse, il ne laisse aucune trace dans l'historique de la conversation. Contrairement à une instruction cachée qui pourrait être accidentellement révélée, ou un ensemble d'entraînement biaisé qui pourrait apparaître lors d'un test, ce type de pilotage est invisible pour quiconque examine le code du modèle ou le texte final. L'article suggère que cela rend extrêmement difficile de tenir quiconque responsable des opinions exprimées par une IA, car la source de l'influence est cachée dans la couche de déploiement, et non dans le modèle lui-même.

L'auteur introduit également un concept appelé « placement de probabilité », qui décrit une nouvelle forme hypothétique de publicité. Au lieu qu'une entreprise paie pour que son produit soit explicitement mentionné dans une réponse, elle pourrait payer pour que sa marque soit légèrement plus susceptible d'être choisie lorsque le modèle décide entre plusieurs options. Imaginez demander une recommandation sur quel système de base de données utiliser. Le modèle pourrait naturellement penser que trois options sont également bonnes, mais une politique commerciale pourrait pousser les probabilités pour que le produit de l'entreprise payante devienne le choix le plus probable. Cela se produirait sans publicité explicite, sans que l'utilisateur ne réalise qu'il est influencé, et sans que le modèle ne soit jamais chargé de « vendre » quoi que ce soit. C'est une façon d'intégrer l'influence commerciale directement dans le tissu de la recommandation, donnant l'impression d'une opinion naturelle et impartiale.

L'article examine comment ces dynamiques interagissent avec les lois et réglementations actuelles, telles que la loi sur l'IA de l'Union européenne et les normes publicitaires. Il note que si des lois existent pour empêcher la manipulation subliminale ou exiger la divulgation des liens commerciaux, elles ont été écrites avec des technologies plus anciennes. Elles supposent que si un produit est promu, cela sera évident. Elles ne tiennent pas compte d'un système où la promotion est un infime décalage statistique dans la probabilité d'apparition d'un mot. L'auteur soutient que si un système peut systématiquement orienter les utilisateurs vers un point de vue politique ou un choix commercial spécifique sans qu'ils le sachent, cela remet en question l'idée même de prise de décision éclairée. Le préjudice peut ne pas être immédiat ou évident dans une seule conversation, mais l'article suggère qu'au fil de millions d'interactions, ce pilotage subtil pourrait s'accumuler pour façonner l'opinion publique et le comportement du marché de manière profonde.

Enfin, la recherche propose un nouveau principe de gouvernance appelé « transparence de la politique d'inférence ». Cela exigerait que les entreprises divulguent non seulement la manière dont leurs modèles ont été entraînés, mais aussi la manière dont ils sont orientés lorsqu'ils sont utilisés. Cela appelle à un système où les règles qui modifient les probabilités sont visibles et auditables, à l'instar d'une étiquette sur un emballage alimentaire. L'objectif est de déplacer la question de « Que le modèle encode-t-il ? » vers « Qui contrôle la distribution de probabilité entre le modèle et l'utilisateur ? ». L'article conclut que, à mesure que ces systèmes deviennent centraux dans notre façon d'accéder à l'information, de prendre des décisions et de débattre des idées, nous devons reconnaître que le modèle n'est qu'une partie de l'équation. La couche invisible qui se situe entre la machine et l'humain est l'endroit où réside désormais le véritable pouvoir de façonner la réalité, et c'est une couche qui opère actuellement dans l'obscurité.