Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct

Immagina di cercare di risolvere un enigma complicato, ma invece di chiedere a un solo amico, ne chiedi a un'intera stanza di amici. Speri che, poiché sono tutte persone diverse, ti forniscano una vasta gamma di soluzioni creative. Questa è l'idea di base dietro l'uso degli "ensemble" di modelli di Intelligenza Artificiale (IA). Nel mondo dell'informatica, un ensemble è semplicemente un gruppo di diversi programmi di IA che lavorano insieme per risolvere un problema. La grande speranza è che, raccogliendo molte "voci" diverse, si ottenga un insieme di risposte più ricco e diversificato rispetto a quello che si otterrebbe da un solo modello.

Ma ecco l'inghippo: il fatto che tu abbia una stanza piena di persone non significa che stiano tutti dicendo cose diverse. Se sono tutti andati nella stessa scuola, hanno letto gli stessi libri e sono stati istruiti con le stesse regole, potrebbero finire per dare tutti la stessa identica risposta, solo con parole leggermente diverse. Questo articolo approfondisce un angolo specifico della ricerca sull'IA chiamato "misurazione della diversità". Si pone una domanda semplice ma profonda: quando chiediamo a un gruppo di IA di risolvere un problema che non ha un'unica risposta corretta (come l'interpretazione di un'emozione umana complessa), esse pensano davvero in modo diverso? O stanno solo riecheggiando l'una l'altra? I ricercatori si preoccupano di questo perché, se pensiamo di ricevere una vasta gamma di prospettive, ma in realtà stiamo ricevendo una folla di cloni, potremmo prendere decisioni errate basate su un falso senso di sicurezza.

La Grande Camera dell'Eco dell'IA

In questo studio, i ricercatori hanno allestito un esperimento massiccio per vedere quanto "rumore" produca effettivamente un gruppo di modelli di IA. Hanno riunito un panel di 16 diversi modelli di IA provenienti da 10 diverse famiglie (pensa a queste come a diversi marchi o lignaggi di IA). Hanno chiesto a questi modelli di agire come terapeuti esperti e scrivere un caso clinico per un paziente immaginario. La storia del paziente era abbastanza vaga da non avere un unico modo "corretto" di interpretarla; un bravo terapeuta potrebbe guardare la stessa storia e vederne molti angoli differenti.

Il team voleva misurare il "dissenso" o il disaccordo tra i modelli. Hanno utilizzato uno strumento matematico speciale chiamato Vendi Score. Immagina di avere un gruppo di persone che urlano risposte. Se tutti urlano la stessa identica parola, il Vendi Score è basso (come 1). Se tutti urlano una parola completamente diversa, il punteggio è alto (come 16). I ricercatori volevano vedere se i loro 16 modelli si sarebbero comportati come 16 individui unici o se sarebbero collassati in un'unica, noiosa voce.

La Grande Sorpresa: Meno di Due Voci

I risultati sono stati un po' scioccanti. Nonostante avessero 16 modelli diversi provenienti da 10 famiglie diverse, il gruppo si è comportato, in media, come se fosse composto da soli 1,69 voci distinte.

Per dare un contesto, i ricercatori hanno anche testato un singolo modello di IA chiedendogli la stessa domanda 16 volte da solo. Anche un solo modello, da solo, è riuscito a produrre 1,43 versioni diverse della risposta semplicemente cambiando leggermente il suo umore (quello che gli scienziati chiamano "variazione stocastica"). Quindi, l'intero team di 16 modelli ha aggiunto solo circa un quarto di una "voce" in più di diversità rispetto a quella che un singolo modello poteva generare da solo.

È come assumere un coro di 16 cantanti provenienti da 10 diverse scuole di musica, aspettandosi una sinfonia di stili unici, per poi scoprire che sembrano tutti la stessa persona che canticchia la stessa melodia, solo leggermente stonata. Il documento esclude esplicitamente l'idea che aggiungere semplicemente più modelli al gruppo crei automaticamente più diversità. In effetti, lo studio dimostizza che aggiungere più modelli a un panel è un modo inefficiente per ottenere più prospettive.

Chi è il Ribelle? (E perché dipende dalla folla)

I ricercatori volevano anche sapere: "Esiste un modello specifico che è sempre il ribelle, quello che dissente da tutti gli altri?". Hanno tracciato quale modello fosse il "più divergente" in ogni singolo round dell'esperimento.

Ecco la sorpresa: l'identità del ribelle cambiava a seconda di chi altro era presente nella stanza.

In un esperimento più piccolo con soli tre modelli, un modello specifico (GPT-4o) era il ribelle la maggior parte delle volte. Ma quando il team ha ampliato il gruppo a 16 modelli, quel modello è sceso al terzo posto. Nuovi "ribelli" sono emersi, come Ministral 14B e Llama 3.3 70B, che hanno preso il comando nel dissentire dal gruppo.

Questo dimostra che essere l' "outlier" (il valore anomalo) non è un tratto della personalità permanente di un modello di IA specifico. È una relazione. Un modello può sembrare molto diverso solo perché gli altri modelli nel gruppo sono molto simili tra loro. Se sostituisci il gruppo, il "ribelle" potrebbe improvvisamente sembrare un "conformista". Ciò significa che se un sistema ti mostra una "voce divergente" per aiutarti a prendere una decisione, quella voce ti sta dicendo più sulla specifica combinazione di IA presenti in quel momento che sul modello di IA specifico stesso.

Le Dimensioni o il Marchio Contano?

Il team ha anche testato due ipotesi comuni che le persone hanno sull'IA:

1. Più grande significa più diverso? Hanno confrontato modelli "piccoli" con modelli "grandi" all'interno della stessa famiglia. I risultati sono stati confusi. A volte il modello più piccolo era il ribelle; a volte lo era quello più grande. Non c'era una regola costante.
2. Il nome della famiglia conta? Hanno esaminato modelli della stessa "famiglia" (come diverse versioni dello stesso marchio). Sebbene i modelli della stessa famiglia tendessero a essere un po' più simili tra loro rispetto agli estranei, l'evidenza era debole perché avevano solo poche coppie da confrontare.

L'articolo conclude che non puoi prevedere quanto un'IA sarà "divergente" solo guardando la sua dimensione o il suo nome di marca. Devi effettivamente misurarlo nel contesto specifico in cui lo stai utilizzando.

Di cosa dissente realmente l'IA?

Infine, i ricercatori hanno controllato se i modelli dissentissero di più sui casi che erano stati progettati per essere aperti a molte interpretazioni. Avevano suddiviso le storie dei pazienti in tre tipi: quelle con una lettura chiara, quelle con una lettura condivisa ma inefficace, e quelle con letture genuinamente distinte.

Si aspettavano che i modelli dissentissero di più sulle storie "aperte". Non è successo. I modelli dissentivano tanto quanto (o persino leggermente meno) sulle storie aperte rispetto alle altre. Invece, l'entità del disaccordo era guidata dal contenuto clinico della storia. Ad esempio, le storie riguardanti la "depressione" scatenavano più disaccordo rispetto a quelle riguardanti il "trauma".

Ciò suggerisce che i modelli di IA non sono sensibili alla "apertura" di un problema nel modo in cui lo sono gli esseri umani. Reagiscono ai dettagli specifici della storia (come il tipo di malattia menzionata) piuttosto che alla complessità filosofica della situazione.

Il Punto Chiave

Questo studio non dice che l'IA sia inutile; dice solo che dobbiamo smettere di presumere che un grande gruppo di IA sia automaticamente un gruppo intelligente e diversificato. Se metti 16 modelli in una stanza, potresti ottenere solo la saggezza di due. La "diversità" che ottieni non è un numero fisso che puoi comprare aggiungendo più modelli; è una cosa fragile che dipende dalla specifica combinazione di modelli e dal problema specifico che stanno risolvendo.

La lezione più importante è che se utilizzi un gruppo di IA per aiutarti a prendere una decisione difficile, non contare semplicemente il numero di modelli che hai. Devi misurare quanto siano effettivamente diversi, perché la voce "divergente" che vedi potrebbe essere solo un effetto temporaneo di chi è seduto al tavolo, non un'intuizione profonda di una macchina unica.