La vita segreta dell'IA: Quando la cortesia incontra il codice

Immaginate di parlare con una biblioteca gigante e super intelligente che ha letto quasi tutto ciò che è mai stato scritto. Questa biblioteca è un'Intelligenza Artificiale, o "IA", ed è famosa per la sua capacità di chiacchierare, raccontare barzellette e scrivere storie. Ma ecco il punto: mentre gli esseri umani amano chiacchierare con frasi disordinate e fluide, i computer non parlano in questo modo. I computer parlano in blocchi rigidi e organizzati chiamati "dati strutturati", come JSON o XML. Pensatelo come la differenza tra un poeta che scrive un sonetto a verso libero e un cassiere che scansiona articoli in una cassa, dove ogni articolo deve entrare in uno slot specifico.

Per molto tempo, gli scienziati hanno studiato come si comportano queste IA quando chiacchierano come poeti. Fanno domande come: "Nomina un albero", e vedono cosa dice l'IA. Di solito, se chiedete a 44 IA diverse questa domanda, potrebbero tutte scegliere alberi diversi, oppure potrebbero sceglierne lo stesso per caso. Questo articolo pone una domanda semplice ma complicata: cosa succede quando smettiamo di chiedere all'IA di chiacchierare come un poeta e la costringiamo a rispondere come un cassiere? L'IA cambia idea? Diventa più noiosa? O rimane la stessa? Questo è importante perché l'IA con cui parlate sul vostro telefono potrebbe essere molto diversa dall'IA che in realtà fa girare il software in background, e dobbiamo sapere se questa differenza cambia il modo in cui il mondo funziona.

---

Il grande spostamento della personalità dell'IA

In questo studio, i ricercatori hanno preso un test famoso chiamato "One-Word Census" (Censimento di una parola). Immaginate un game show in cui 4 di 44 diversi modelli di IA vengono interrogati con 31 domande, come "Nomina un albero" o "Scegli una parola". Nel gioco originale, le IA rispondevano semplicemente in inglese comune. I ricercatori hanno scoperto che, anche senza regole, le IA tendevano a concordare su certe risposte (come "quercia" per un albero), ma mantenevano comunque una certa personalità e varietà.

Poi, i ricercatori hanno cambiato le regole. Non hanno cambiato le domande e non hanno usato alcun trucco informatico speciale per forzare le risposte. Hanno semplicemente aggiunto una minuscola istruzione alla fine del prompt: "Rispondi solo con JSON".

JSON è un modo di scrivere dati che assomiglia a una piccola scatola con un'etichetta, come {"parola": "quercia"}. È il linguaggio che il software usa per parlare con altri software. I ricercatori volevano vedere se il solo fatto di chiedere all'IA di parlare in questo formato cambierebbe ciò che decide di dire.

La grande scoperta: La "tassa sul formato"

I risultati sono stati sorprendenti. Quando le IA sono state costrette a rispondere in JSON, sono diventate molto più simili tra loro. La varietà delle risposte è scesa drasticamente.

• Prima del cambiamento: Nella chat normale, la risposta più comune (la "moda") veniva scelta circa il 41% delle volte.
• Dopo il cambiamento: In JSON, quella stessa risposta è balzata al 64% delle volte.
• La varietà: Il numero di parole uniche che le IA hanno proposto è sceso da 52 parole diverse a sole 36.

I ricercatori chiamano questo fenomeno una "tassa progressiva sul formato". È come una tassa sull'essere unici. Le IA che erano più creative e originali nella chat normale hanno perso gran parte della loro personalità quando sono state chiamate a parlare in JSON. Un'IA specifica, che era la più "esplorativa" (la più propensa a scegliere risposte insolite), ha perso 1,31 bit della sua distintività. È come se metà del suo carattere unico fosse svanita solo perché doveva mettere la sua risposta in una scatola.

Non è un glitch, è un "registro"

Potreste pensare che l'IA si sia confusa o che il computer l'abbia costretta a scegliere la stessa risposta. Ma lo studio ha escluso questa possibilità.

• Nessun trucco di "raffreddamento": A volte, quando le persone vogliono che un'IA sia meno casuale, abbassano il cursore della "temperatura". I ricercatori hanno controllato e scoperto che la "temperatura" non è cambiata. Le IA erano ancora altrettanto casuali nel loro pensiero; hanno solo scelto cose diverse in modo casuale.
• Non è un errore di decodifica: Hanno anche testato se il computer stesse forzando la risposta bloccando altre parole. Hanno scoperto che, anche senza che il computer bloccasse qualcosa, il solo fatto di chiedere il JSON faceva cambiare idea all'IA. Il cambiamento avviene nel cervello dell'IA (la sua "risposta al registro"), non nella bocca del computer (il decoder).

Pensate a una persona che si comporta diversamente a una festa rispetto a un colloquio di lavoro. Alla festa (chat normale), potrebbe raccontare storie folli e usare parole strane. Al colloquio di lavoro (JSON), diventa improvvisamente molto professionale e sceglie le risposte "sicure" e standard. L'IA non è rotta; sta solo facendo "code-switching" (cambio di codice).

Lo "tempra", non il "re-indexer"

Lo studio ha scoperto che l'IA non ha iniziato a scegliere nuove risposte. Ha solo raddoppiato le scommesse sulle risposte che già le piacevano.

• In 28 casi su 31, la risposta più popolare nella chat normale era anche la più popolare in JSON.
• Le poche volte in cui la risposta è cambiata (come passare da "scacchi" a "Monopoly" per un gioco da tavolo), è successo perché la risposta originale era debole. Il formato JSON ha agito come un "tempra", rendendo la scelta preferita dell'IA ancora più forte, piuttosto che cambiare del tutto la scelta.

La "personalità" è nel formato

Una delle scoperte più interessanti è che la "personalità" di un'IA dipende dal formato.

• Alcune IA hanno una risposta "predefinita" che amano. Ad esempio, un'IA amava dire "gouda" per il formaggio nella chat normale. Ma quando le veniva chiesto il JSON, smetteva di dire "gouda" e tornava alla risposta che piace a tutti.
• Al contrario, alcune IA hanno sviluppato nuovi valori predefiniti solo per il JSON. Un'IA diceva "ceruleo" per il colore blu lo 0% delle volte nella chat, ma il 100% delle volte in JSON.
• Questo significa che un'IA non ha una sola personalità. Ha una "personalità da chat" e una "personalità da JSON". Possono essere totalmente diverse.

Perché succede questo?

I ricercatori hanno testato diversi formati per vedere cosa causasse il cambiamento.

• JSON e XML: Questi formati, che sono usati per strumenti e software, hanno causato il collasso delle IA verso le stesse risposte.
• YAML e CSV: Anche questi sono formati di dati, ma le IA non hanno cambiato le loro risposte allo stesso modo.
• Parentesi quadre: Quando veniva chiesto di mettere semplicemente la risposta tra parentesi quadre [risposta], le IA sono diventate in realtà più diverse.

Ciò suggerisce che il cambiamento non riguarda solo la "struttura". Riguarda i formati specifici che le IA sono addestrate a usare per gli strumenti (tools). Poiché le IA sono addestrate a usare JSON per comunicare con gli strumenti software, chiedere il JSON attiva una "modalità strumento" che le rende più conservative e uniformi.

Cosa significa per voi

L'articolo si conclude con un avvertimento pratico. Di solito giudichiamo i modelli di IA da come chiacchierano con noi in inglese comune. Pensiamo che la "migliore" IA sia quella che dà le risposte più interessanti e varie in una finestra di chat. Ma questo studio dimosta che quando la stessa IA viene effettivamente usata da un software (il che richiede quasi sempre JSON), diventa molto più noiosa e uniforme.

Se state costruendo un'app che usa l'IA per raccomandare film, scegliere un albero o fare brainstorming di idee, l'IA che vedete nella finestra di chat potrebbe essere molto più creativa dell'IA che sta effettivamente facendo girare la vostra app. La "versione JSON" dell'IA è misurabilmente meno diversificata. Il divario tra l'IA con cui parliamo e l'IA che svolge il lavoro è un costo fisso del formato, non un incidente raro.

In breve: se volete sapere cosa pensa davvero un'IA, non limitatevi a chiederle di chiacchierare. Chiedetele di compilare un modulo. Potreste sorprendervi di quanto possa diventare noiosa.