Quando poniamo una domanda a un modello linguistico di grandi dimensioni, spesso immaginiamo una conversazione diretta tra un essere umano e una macchina. Presumiamo che la risposta provenga direttamente dal cervello del computer, plasmata solo dai dati su cui è stato addestrato e dalle parole che abbiamo digitato. Questa visione tratta il modello come una biblioteca statica, dove i libri all'interno sono fissi e l'unica variabile è quale libro il bibliotecario tira fuori dallo scaffale. Tuttavia, la realtà di come questi sistemi funzionano nel mondo reale è più complessa. La tecnologia alla base di questi modelli è maturata al punto che il computer può fare molto di più che limitarsi a recuperare informazioni; può sottilmente riscrivere le probabilità di ciò che dirà dopo, ancora prima di finire una singola frase. Ciò accade in uno strato software nascosto che si trova tra la conoscenza centrale del modello e il testo finale che vedi sul tuo schermo. È uno spazio in cui l'output grezzo della macchina può essere indirizzato, regolato o guidato senza cambiare la memoria sottostante della macchina.

Un nuovo articolo di Augusto Camargo esplora le conseguenze di questo strato nascosto, sostenendo che stiamo guardando la parte sbagliata del sistema se ci interessa solo il modello stesso. L'autore suggerisce che l'influenza più significativa su ciò che un'IA dice potrebbe non risiedere nei suoi dati di addestramento o nel suo codice interno, ma nelle regole invisibili applicate nel momento stesso in cui sta per parlare. Questa ricerca sposta l'attenzione dal chiedere "Cosa sa il modello?" al chiedere "Chi controlla ciò che il modello è autorizzato a dire?". L'articolo non afferma che questi sistemi siano attualmente utilizzati per manipolare il mondo in un modo specifico e dimostrato, ma piuttosto che gli strumenti tecnici per farlo esistono, sono già in uso per altri scopi e rimangono ampiamente invisibili alle persone che li utilizzano. È un invito a riconoscere che la risposta che ricevi non è solo un riflesso del modello, ma il prodotto di un sistema che può essere tarato per ragioni politiche, commerciali o ideologiche senza che nessuno lo sappia.

Il nucleo di questo argomento si basa su un'osservazione semplice ma potente: il modello non è la stessa cosa del sistema che fornisce le sue risposte. In una configurazione standard, un utente digita un prompt, il modello genera un elenco di possibili parole successive con diverse probabilità e poi un computer ne sceglie una. L'articolo evidenzia che, nelle applicazioni moderne e reali, esiste spesso un passaggio aggiuntivo nel mezzo. Prima che il computer faccia la sua scelta finale, un software separato può esaminare quelle probabilità e regolarle. Può rendere certe parole leggermente più probabili e altre leggermente meno probabili, tutto senza cambiare i pesi interni del modello o il prompt dell'utente. Questo processo è simile a come una stazione radio possa aumentare leggermente il volume di una canzone specifica per farla risaltare, anche se la canzone stessa non è cambiata. L'articolo formalizza questo concetto come una "politica di inferenza", un insieme di regole che opera proprio nell'ultimo istante della generazione.

L'autore dimostra che questa capacità non è teorica; è una tecnologia già provata e utilizzata per altre finalità. Ad esempio, le aziende utilizzano metodi simili per inserire filigrane invisibili nel testo per dimostrare che è stato scritto da un'IA, o per guidare un modello lontano dal linguaggio tossico. L'articolo sostiene che la stessa meccanica tecnica utilizzata per aggiungere filigrane o garantire la sicurezza potrebbe essere riutilizzata per qualcosa di molto più sottile: l'inquadramento (framing). L'inquadramento è l'atto di presentare un argomento in modo da evidenziare certi aspetti e metterne in ombra altri, influenzando il modo in cui una persona comprende la questione senza mentire sui fatti. Un sistema potrebbe essere programmato per scegliere costantemente parole che facciano sembrare una politica governativa una misura protettiva, mentre un'altra versione dello stesso sistema potrebbe essere tarata per far sembrare la stessa identica politica un onere burocratico. Entrambe le risposte potrebbero essere fattualmente corrette, ma la scelta delle parole guiderebbe l'utente verso una specifica conclusione emotiva o politica.

Ciò porta a un problema maggiore che l'articolo chiama "problema dell'attribuzione". Se un utente pone una domanda politica e riceve una risposta parziale, è quasi impossibile capire da dove derivi quel pregiudizio. È perché il modello è stato addestrato su dati distorti? È perché gli sviluppatori hanno aggiunto un'istruzione nascosta al sistema? O è perché un terzo attore ha pagato per far spostare le probabilità in una direzione specifica? Poiché la regolazione avviene nel brevissimo istante prima che la risposta venga generata, essa non lascia alcuna traccia nella cronologia della conversazione. A differenza di un'istruzione nascosta che potrebbe essere accidentalmente rivelata, o di un set di addestramento distorto che potrebbe emergere in un test, questo tipo di guida è invisibile a chiunque osservi il codice del modello o il testo finale. L'articolo suggerisce che questo rende estremamente difficile ritenere qualcuno responsabile per le opinioni espresse da un'IA, perché la fonte dell'influenza è nascosta nello strato di distribuzione, non nel modello stesso.

L'autore introduce anche un concetto chiamato "posizionamento della probabilità", che descrive una ipotetica nuova forma di pubblicità. Invece di una società pagare per far sì che il proprio prodotto venga menzionato esplicitamente in una risposta, potrebbe pagare per far sì che il proprio marchio sia leggermente più probabile che venga scelto quando il modello decide tra diverse opzioni. Immaginate di chiedere un consiglio su quale database utilizzare. Il modello potrebbe naturalmente pensare che tre opzioni siano ugualmente valide, ma una politica commerciale potrebbe spostare le probabilità in modo che il prodotto dell'azienda pagante diventi la scelta più probabile. Questo accadrebbe senza alcuna pubblicità esplicita, senza che l'utente si renda conto di essere influenzato e senza che il modello venga mai istruito a "vendere" qualcosa. È un modo per inserire l'influenza commerciale direttamente nel tessuto della raccomandazione, facendola apparire come un'opinione naturale e imparziale.

L'articolo esamina come queste dinamiche interagiscano con le leggi e le normative attuali, come l'AI Act dell'Unione Europea e gli standard pubblicitari. Nota che, sebbene esistano leggi per prevenire la manipolazione subliminale o richiedere la trasparenza dei legami commerciali, esse sono state scritte pensando a tecnologie più vecchie. Esse presuppongono che se un prodotto viene promosso, lo sarà in modo evidente. Non tengono conto di un sistema in cui la promozione è un minuscolo spostamento statistico nella probabilità che una parola appaia. L'autore sostiene che, se un sistema può sistematicamente guidare gli utenti verso una specifica visione politica o una scelta commerciale senza che lo sappiano, ciò mette in discussione l'idea stessa di decisione informata. Il danno potrebbe non essere immediato o evidente in una singola conversazione, ma l'articolo suggerisce che, su milioni di interazioni, questo orientamento sottile potrebbe accumularsi per plasmare l'opinione pubblica e il comportamento del mercato in modi profondi.

In definitiva, la ricerca propone un nuovo principio di governance chiamato "trasparenza della politica di inferenza". Questo richiederebbe alle aziende di dichiarare non solo come i loro modelli sono stati addestrati, ma anche come vengono guidati durante l'uso. Propone un sistema in cui le regole che modificano le probabilità siano visibili e verificabili, proprio come l'etichetta su una confezione di cibo. L'obiettivo è spostare la domanda da "Cosa codifica il modello?" a "Chi controlla la distribuzione di probabilità tra il modello e l'utente?". L'articolo conclude che, man mano che questi sistemi diventano centrali per il modo in cui accediamo alle informazioni, prendiamo decisioni e discutiamo idee, dobbiamo riconoscere che il modello è solo una parte dell'equazione. Lo strato invisibile che si trova tra la macchina e l'essere umano è dove risiede ora il vero potere di plasmare la realtà, ed è uno strato che attualmente opera nell'oscurità.