Wanneer we een groot taalmodel een vraag stellen, stellen we ons vaak een directe conversatie voor tussen een mens en een machine. We gaan ervan uit dat het antwoord rechtstreeks uit het 'brein' van de computer komt, gevormd door enkel de data waarop het getraind is en de woorden die we typen. Dit beeld behandelt het model als een statische bibliotheek, waarbij de boeken binnenin vaststaan en de enige variabele is welk boek de bibliothecaris uit de plank trekt. De realiteit van hoe deze systemen in de echte wereld werken, is echter complexer. De technologie achter deze modellen is volwassen geworden tot het punt waarop de computer meer kan dan alleen informatie ophalen; de computer kan subtiel de kansberekening van wat hij als volgende zegt herschrijven, nog voordat hij zelfs maar een enkele zin heeft voltooid. Dit gebeurt in een verborgen softwarelaag die tussen de kernkennis van het model en de uiteindelijke tekst zit die u op uw scherm ziet. Het is een ruimte waar de ruwe output van de machine kan worden bijgestuurd, aangepast of gestuurd zonder de onderliggende geheugenstructuur van de machine te veranderen.

Een nieuw artikel van Augusto Camargo onderzoekt de gevolgen van deze verborgen laag en stelt dat we naar het verkeerde deel van het systeem kijken als we alleen geïnteresseerd zijn in het model zelf. De auteur suggereert dat de meest significante invloed op wat een AI zegt, misschien niet ligt in de trainingsdata of de interne code, maar in de onzichtbare regels die worden toegepast op het moment dat de machine op het punt staat te spreken. Dit onderzoek verschuift de focus van de vraag "Wat weet het model?" naar "Wie controleert wat het model mag zeggen?". Het artikel beweert niet dat deze systemen momenteel op een specifieke, bewezen manier worden gebruikt om de wereld te manipuleren, maar stelt wel dat de technische middelen om dit te doen bestaan, al voor andere doeleinden in gebruik zijn en grotendeels onzichtbaar blijven voor de mensen die ze gebruiken. Het is een oproep om te erkennen dat het antwoord dat u ontvangt niet alleen een reflectie is van het model, maar een product van een systeem dat kan worden afgesteld voor politieke, commerciële of ideologische redenen zonder dat iemand het weet.

De kern van dit argument rust op een eenvoudige maar krachtige observatie: het model is niet hetzelfde als het systeem dat de antwoorden levert. In een standaardopstelling typt een gebruiker een prompt, genereert het model een lijst met mogelijke volgende woorden met verschillende waarschijnlijkheden, en vervolgens kiest een computer er één. Het artikel wijst erop dat er in moderne, real-world toepassingen vaak een extra stap in het midden zit. Voordat de computer zijn definitieve keuze maakt, kan een aparte stuk software naar die waarschijnlijkheden kijken en ze aanpassen. Het kan bepaalde woorden iets waarschijnlijker maken en andere iets minder waarschijnlijk, allemaal zonder de interne gewichten van het model of de prompt van de gebruiker te veranderen. Dit proces is vergelijkbaar met hoe een radiostation het volume van een specifiek nummer iets kan verhogen om het eruit te laten springen, ook al is het nummer zelf niet veranderd. Het artikel formaliseert dit als een "inferentiebeleid" (inference policy), een set regels die opereert op het allerlaatste moment van generatie.

De auteur demonstreert dat deze capaciteit niet theoretisch is; het is een reeds bewezen technologie die voor andere zaken wordt gebruikt. Zo gebruiken bedrijven vergelijkbare methoden om onzichtbare watermerken in tekst in te bedden om te bewijzen dat deze door AI is geschreven, of om een model weg te sturen van toxische taal. Het artikel betoogt dat dezelfde technische machinerie die wordt gebruikt om watermerken toe te voegen of veiligheid te garanderen, kan worden aangewend voor iets veel subtielers: framing. Framing is het proces van het presenteren van een onderwerp op een manier die bepaalde aspecten benadrukt terwijl andere wordt onderbelicht, waardoor de manier waarop een persoon het onderwerp begrijpt wordt beïnvloed zonder de feiten te verdraaien. Een systeem zou geprogrammeerd kunnen worden om consequent woorden te kiezen die een overheidsbeleid doen klinken als een beschermende maatregel, terwijl een andere versie van hetzelfde systeem zou kunnen worden afgesteld om exact hetzelfde beleid te laten klinken als een bureaucratische last. Beide antwoorden kunnen feitelijk juist zijn, maar de keuze van de woorden zal de gebruiker naar een specifieke emotionele of politieke conclusie leiden.

Dit leidt tot een groot probleem dat het artikel het "toerekeningsprobleem" (attribution problem) noemt. Als een gebruiker een politieke vraag stelt en een bevooroordeeld antwoord krijgt, is het bijna onmogelijk te bepalen waar die bias vandaan kwam. Komt het omdat het model is getraind op bevooroordeelde data? Is het omdat de ontwikkelaars een verborgen instructie aan het systeem hebben toegevoegd? Of is het omdat een derde partij heeft betaald om de waarschijnlijkheden in een specifieke richting te verschuiven? Omdat de aanpassing plaatsvindt in de fractie van een seconde voordat het antwoord wordt gegenereerd, laat het geen sporen na in de gesprekshistorie. In tegen tegenstelling tot een verborgen instructie die per ongeluk onthuld zou kunnen worden, of een bevooroordeelde dataset die zou kunnen opvallen in een test, is dit soort sturing onzichtbaar voor iedereen die naar de code van het model of de uiteindelijke tekst kijkt. Het artikel suggereert dat dit het extreem moeilijk maakt om iedereen verantwoordelijk te houden voor de meningen die een AI uit, omdat de bron van de invloed verborgen zit in de implementatielaag, en niet in het model zelf.

De auteur introduceert ook een concept genaamd "waarschijnlijkheidsplaatsing" (probability placement), dat een hypothetische nieuwe vorm van reclame beschrijft. In plaats van dat een bedrijf ervoor betaalt dat zijn product expliciet in een antwoord wordt genoemd, zouden ze kunnen betalen om hun merk er iets waarschijnlijker van te maken dat het gekozen wordt wanneer het model moet kiezen tussen opties. Stel je voor dat je om een advies vraagt over welke database je moet gebruiken. Het model denkt misschien van nature dat drie opties even goed zijn, maar een commercieel beleid kan de kansen zo bijsturen dat het product van het betalende bedrijf de meest waarschijnlijke keuze wordt. Dit zou gebeuren zonder expliciete advertentie, zonder dat de gebruiker merkt dat hij wordt beïnvloed, en zonder dat het model ooit is verteld dat het iets moet "verkopen". Het is een manier om commerciële invloed direct in de structuur van de aanbeveling te bedden, waardoor het voelt als een natuurlijk, onbevooroordeeld oordeel.

Het artikel onderzoekt hoe deze dynamieken interageren met huidige wetgeving en regelgeving, zoals de Europese AI-verordening en reclame-standaarden. Er wordt opgemerkt dat er weliswaar wetten bestaan om subliminale manipulatie te voorkomen of om commerciële banden te verplichten, maar dat deze zijn geschreven met oudere technologieën in gedachten. Ze gaan ervan uit dat als een product wordt gepromoot, dit duidelijk zal zijn. Ze houden geen rekening met een systeem waarbij de promotie een kleine, statistische verschuiving is in de waarschijnlijkheid van het verschijnen van een woord. De auteur betoogt dat als een systeem gebruikers systematisch kan sturen naar een specifieke politieke visie of een commerciële keuze zonder dat zij het weten, dit het fundamentele concept van geïnformeerde besluitvorming uitdaagt. De schade is misschien niet onmiddellijk of overduidelijk in een enkel gesprek, maar het artikel suggereert dat over miljoenen interacties heen, deze subtiele sturing een cumulatief effect kan hebben dat de publieke opinie en het marktgedrag op diepgaande wijze vormgeeft.

Uiteindelijk stelt het onderzoek een nieuw principe voor bestuur aan, genaamd "transparantie van het inferentiebeleid" (inference policy transparency). Dit zou bedrijven verplichten om niet alleen openbaar te maken hoe hun modellen zijn getraind, maar ook hoe ze worden gestuurd wanneer ze worden gebruikt. Het pleit voor een systeem waarbij de regels die de waarschijnlijkheden aanpassen zichtbaar en controleerbaar zijn, vergelijkbaar met een etiket op een voedselverpakking. Het doel is om de vraag te verschuiven van "Wat codeert het model?" naar "Wie controleert de waarschijnlijkheidsverdeling tussen het model en de gebruiker?". Het artikel concludeert dat naarmate deze systemen een steeds grotere rol gaan spelen in hoe we toegang krijgen tot informatie, beslissingen nemen en debatteren, we moeten erkennen dat het model slechts één deel van de vergelijking is. De onzichtbare laag die tussen de machine en de mens zit, is waar de werkelijke macht om de realiteit te vormen nu kan liggen, en het is een laag die momenteel in het duister opereert.