Immagina di dover decidere quale sia il miglior film dell'anno. Chiedi a un gruppo di amici di guardarlo e dare un punteggio. Ma ecco il colpo di scena: chiedi a un amico di giudicare come un critico cinematografico severo che odia il ritmo lento, a un altro di giudicare come un adolescente in cerca di effetti speciali fighi, e a un terzo di giudicare come un genitore che controlla il valore educativo. Improvvisamente, il film "migliore" potrebbe cambiare a seconda di chi hai consultato! Questo è il cuore della valutazione del Recupero delle Informazioni (IR), la scienza che serve a capire quanto bene i motori di ricerca trovino le risposte corrette. Per decenni, sono stati gli esseri umani a fare questo lavoro di giudizio, ma è un processo lento e costoso. Ora, gli scienziati stanno usando i Large Language Models (LLM) — super-intelligenti chatbot IA — per fare il lavoro del giudice al posto loro. La grande domanda è: se chiediamo all'IA di "interpretare la parte" di diversi tipi di persone, il risultato cambia? La risposta dell'IA dipende dalla "maschera" che indossa?

Questo articolo approfondisce proprio questa domanda. I ricercatori volevano vedere se dare a un'IA un "persona" specifico (come "un medico" o "un avvocato") cambi il modo in cui classifica i risultati di ricerca, o se fornisca semplicemente la stessa risposta indipendentemente da ciò. Hanno trattato queste "persona" come un test di stress, stimolando e testando l'IA per vedere quanto fossero fragili le sue opinioni. Hanno scoperto che, sebbene l'IA non ribalti completamente l'intera lista dei vincitori e dei perdenti, diventa un po' suscettibile. I risultati suggeriscono che il giudizio dell'IA non è una verità fissa; si sposta leggermente a seconda del ruolo che sta interpretando, e questo spostamento conta di più per i modelli IA più piccoli e meno potenti rispetto a quelli grandi e dotati di un cervello più sviluppato.

La storia del giudice mutaforma

Nel mondo dei motori di ricerca, dobbiamo sapere se un nuovo algoritmo è effettivamente migliore del precedente. Per scoprirlo, eseguiamo una serie di ricerche di prova e chiediamo a un "valutatore" di dare un voto alla qualità dei risultati. Tradizionalmente, questo veniva fatto dagli esseri umani. Ma gli umani si stancano, sono costosi e a volte non sono d'accordo tra loro. Così, i ricercatori hanno iniziato a usare i modelli di IA come giudici. L'idea era che, se istruisci correttamente l'IA, essa possa agire come un giudice umano professionista.

Ma ecco il problema: l'IA è sensibile. Se cambi il modo in cui poni una domanda, la risposta potrebbe cambiare. Questo articolo si chiede: cosa succede se cambiamo l'identità del giudice? Invece di chiedere semplicemente all'IA di "essere un giudice", i ricercatori le hanno detto di "essere un medico", "essere un avvocato" o "essere un controllore dei fatti scettico". Volevano vedere se queste diverse "maschere" avrebbero portato l'IA a cambiare idea su quali risultati di ricerca fossero buoni.

L'esperimento: vestire l'IA

I ricercatori hanno allestito un enorme esperimento utilizzando due diversi set di domande di ricerca (chiamati dataset). Un set riguardava domande fattuali e brevi (come "Chi ha vinto il Premio Nobel?"), e l'altro riguardava argomenti complessi e aperti (come "Come dovrebbero gestire i test statali gli insegnanti?").

Hanno preso sei diversi modelli di IA — alcuni enormi e potenti, altri più piccoli e leggeri — e hanno chiesto loro di giudicare i risultati della ricerca. Ma non si sono limitati a chiedere di giudicare; hanno assegnato loro ruoli specifici:

1. Il Giudice Allineato alla Query: Focalizzato su ciò che l'utente intendeva.
2. L'Esperto di Dominio: Focalizzato su campi specifici come la salute o la legge.
3. Il Giudice Ortogonale: Un "contrariano" che guarda le cose da un angolo completamente diverso.
4. Il Verificatore di Prove: Un rigoroso controllore dei fatti che esige prove.
5. L'Assessore Globale: Un valutatore standard e professionale.

Hanno anche provato due modi diversi di creare questi ruoli: uno utilizzando descrizioni astratte (come "un genitore") e un altro utilizzando elenchi dettagliati di competenze (come "una persona con competenze nello sviluppo dei programmi scolastici").

Cosa hanno scoperto: l'IA è un anello di umore, non una roccia

I risultati sono stati affascinanti e un po' sorprendenti. L'IA non ha perso completamente la testa. Quando cambiavano la "persona", l'IA non decideva improvvisamente che un risultato terribile era perfetto e un risultato perfetto era terribile. Invece, i cambiamenti erano più sottili, come un anello di umore che cambia colore.

1. Lo spostamento della "Severità"
La maggior parte del tempo, le classificazioni dell'IA rimanevano piuttosto vicine alla linea di base standard. Tuttavia, le "persona" hanno cambiato il modo in cui l'IA era severa. Ad esempio, la persona "Verificatore di Prove" tendeva a essere più severa, dando punteggi più bassi ai risultati che non avevano prove solide. La persona "Contrariana" era più propensa a dissentire dalla visione standard. Ma crucialmente, questi cambiamenti di solito servivano solo a spostare i punteggi leggermente verso l'alto o verso il basso; non causavano un caos totale in cui l'intera lista dei vincitori veniva rimescolata.

2. Le dimensioni contano: Grandi cervelli contro Piccoli cervelli
Questa è stata una scoperta fondamentale. I modelli di IA più grandi e potenti (come quelli con 70 miliardi di parametri) erano molto stabili. Indipendentemente dalla "maschera" che indossavano, mantenevano le loro classificazioni quasi identiche. Erano come un vecchio saggio giudice che conosce le regole e non si lascia influenzare da un cambio di costume.
Tuttavia, i modelli di IA più piccoli e meno potenti erano molto più sensibili. Quando mettevi una maschera da "contrariano" a un'IA piccola, questa si confondeva e le sue classificazioni saltavano vistosamente. Ciò suggerisce che se usi un'IA debole per fare il giudice, i risultati potrebbero essere inaffidabili solo perché le hai chiesto di "interpretare una parte".

3. Il "Contrariano" è il più dirompente
Tra tutti i ruoli, la persona "Ortogonale" (o contrariana) ha causato i cambiamenti più grandi nelle classificazioni. Questo ha senso: se dici a un'IA di guardare le cose da un angolo completamente diverso, essa cambierà idea più di quanto farebbe se le dicessi di essere un "esperto di dominio". I ricercatori hanno scoperto che l'uso di un contrariano "basato sulle competenze" (uno con un elenco specifico di abilità) causava ancora più movimento rispetto a uno generico.

4. Non conta chi è la persona, ma cosa fa
I ricercatori si sono chiesti se l'origine della "persona" importasse. Importava se la persona proveniva da un database di descrizioni astratte o da un database di competenze professionali? Hanno scoperto che non importava molto. Che l'IA venisse istruita a essere un "professore di sociologia" o "una persona con competenze nello sviluppo dei programmi scolastici", l'effetto era simile. Ciò che contava di più era il ruolo (ad esempio, essere un controllore dei fatti rispetto a un contrariano) e la dimensione del modello di IA.

Perché questo è importante

Questo articolo non dice che i giudici IA siano inutili. Al contrario, suggerisce che sono piuttosto bravi nel mantenere stabile il quadro generale, specialmente i modelli grandi e potenti. Tuttavia, ci avverte che i giudici IA non sono perfetti portatori di verità. Le loro opinioni possono essere influenzate dal modo in cui formuliamo il compito.

Gli autori suggeriscono di utilizzare questi "cambi di persona" come strumento diagnostico. Pensatelo come un test di stress per un ponte. Se scuotete il ponte un po' (cambiando la persona) e questo oscilla troppo, sapete che il ponte (o il sistema di ricerca) ha un punto debole. Vedendo quali sistemi di ricerca cambiano la loro classificazione quando l'umore dell'IA cambia, i ricercatori possono trovare sistemi che sono troppo sensibili al modo in cui vengono valutati.

In breve, l'articolo ci insegna che, sebbene l'IA possa essere un ottimo giudice, dobbiamo stare attenti al "costume" in cui la vestiamo. Se vogliamo risultati affidabili, dobbiamo attenerci ai modelli più grandi e intelligenti e capire che il modo in cui chiediamo all'IA di giudicare può spostare sottilmente il risultato. È un promemoria del fatto che, anche nel mondo dell'intelligenza artificiale, la prospettiva conta.