🤖 AI

Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles

Questo articolo dimostra che l'aggregazione delle previsioni da parte di diversi modelli linguistici di grandi dimensioni tramite metodi appresi può superare le prestazioni dei singoli modelli, evidenziando al contempo che la contaminazione del cutoff di addestramento distorce significativamente le valutazioni delle capacità e che il beneficio primario di tali ensemble deriva dalla combinazione lineare di output di modelli diversi piuttosto che da complesse interazioni non lineari.

Autori originali: Igor Douven

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Igor Douven

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui la persona più intelligente nella stanza non sia affatto la più intelligente. Al contrario, il vero genio è l'intero gruppo seduto attorno al tavolo. Questa idea, nota come "saggezza delle folle", suggerisce che se si prendono le ipotesi di molte persone diverse e se ne fa la media, il risultato è spesso più accurato rispetto all'ipotesi del singolo miglior esperto. Pensatelo come a uno stormo di uccelli: nessun singolo uccello vede l'intera immagine, ma insieme navigano perfettamente. Gli scienziati sanno da tempo che questo funziona per gli esseri umani. Ma ora, con l'Intelligenza Artificiale (IA) ovunque, è emersa una grande domanda: questo trucco magico funziona anche per i robot? Se si chiede a un gruppo di diversi modelli di IA di indovinare l'esito di un evento futuro, la loro risposta combinata sarà più intelligente di qualsiasi singola IA? Questo non è solo un gioco divertente; è importante perché se le folle di IA funzionano, potremmo usarle per prevedere tutto, dal meteo ai mercati azionari, senza bisogno di un team di esperti umani. Ma c'è un intoppo: i modelli di IA sono addestrati su dati del passato e, se hanno già "visto" la risposta nei loro dati di addestramento, non stanno davvero indovinando: stanno solo barando perché ricordano.

Questo articolo approfondisce proprio questa domanda, trattando 15 diversi Modelli di Linguaggio di Grandi Dimensioni (LLM) come un team di concorrenti in un gioco di previsioni. I ricercatori hanno chiesto a queste IA di indovinare gli esiti di 254 domande del mondo reale, simili a scommettere se una squadra sportiva vincerà o se un politico verrà eletto. Hanno poi cercato di combinare le risposte delle IA in modi diversi per vedere se il gruppo potesse battere i singoli individui. I risultati sono stati un mix di notizie eccitanti e di un importante avviso di cautela.

Per prima cosa, la buona notizia: la "saggezza delle folle" sembra funzionare anche per l'IA, ma solo se le si combinano correttamente. I ricercatori hanno scoperto che prendere semplicemente la media di tutte le ipotesi dell'IA non era la strategia migliore. Invece, hanno utilizzato un programma per computer ingegnoso (un "aggregatore appreso") per capire come mescolare le risposte. Questo smart mixer ha fatto meglio di qualsiasi singolo modello di IA, e persino meglio della semplice media. Interessante è che lo studio suggerisce che questo miglioramento non è derivato dal fare una matematica complessa e magica da parte del mixer di IA. Invece, ha funzionato perché ha imparato a dare più peso ai modelli che commettevano tipi di errori diversi. È come un allenatore di una squadra di sport che si rende conto che, se un giocatore è ottimo in difesa ma scarso in attacco, e un altro è l'opposto, metterli insieme permette di coprire tutti i fronti. Lo studio ha scoperto che una semplice combinazione lineare — fondamentalmente una media ponderata — era sufficiente per ottenere i risultati migliori, suggerendo che la chiave della saggezza della folla di IA sia la diversità negli errori, non le interazioni complesse.

Tuttavia, c'è un enorme "ma" che cambia tutto. I ricercatori hanno scoperto che molti modelli di IA stavano segretamente barando. Poiché questi modelli sono addestrati su enormi quantità di internet fino a una certa data, spesso "ricordavano" le risposte a domande che si erano risolte prima che il loro addestramento terminasse. Questo è chiamato "contaminazione". Quando i ricercatori hanno filtrato tutte le domande di cui le IA potevano già conoscere le risposte, i risultati sono cambiati drasticamente. Il grande divario tra i modelli sofisticati ed costosi del "cloud" e i modelli più piccoli e locali è quasi svanito. I grandi modelli sembravano molto meno impressionanti quando non potevano fare affidamento sulla loro memoria. Infatti, anche la migliore folla di IA era ancora significativamente peggiore di un vero mercato di previsioni umano, dove le persone scommettono denaro sugli esiti in tempo reale. Il mercato umano era circa due volte più accurato della folla di IA, anche quando gli umani guardavano le stesse informazioni delle IA.

Quindi, qual è la conclusione? Le folle di IA possono essere intelligenti, ma sono facilmente ingannate dalla propria memoria. Se volete sapere se un'IA è effettivamente brava a prevedere il futuro, dovete testarla su cose accadute dopo che ha finito di apprendere. Fino ad allora, la "saggezza" di una folla di IA potrebbe essere solo un riflesso di ciò che già sa, piuttosto che di ciò che può capire. Lo studio suggerisce che, sebbene si possano costruire migliori team di IA mescolando diversi modelli, abbiamo ancora molta strada da fare prima di poter eguagliare l'intelligenza dinamica e in tempo reale di una folla umana.

Sintesi Tecnica: La Saggezza delle Folle di LLM

Definizione del Problema

Il fenomeno della "saggezza delle folle" postula che l'aggregazione dei giudizi di un gruppo diversificato produca spesso una precisione superiore rispetto al miglior membro individuale. Sebbene ampiamente validato con i previsori umani, rimane una questione aperta se i Large Language Models (LLM) esibiscano una simile intelligenza collettiva. Lavori precedenti (ad es., Schoenegger et al., 2024) hanno suggerito che le folle di LLM possano eguagliare i panel umani, ma si sono basati su un'aggregazione semplice (mediana) e non hanno investigato sistematicamente i meccanismi dei benefici di aggregazione o l'impatto della contaminazione dei dati.

Una sfida critica nell'valutare gli LLM su domande di mercati di previsione risolte è la contaminazione dal cutoff di addestramento. Se i dati di addestramento di un modello includono gli esiti di domande risolte prima della sua data di cutoff, il modello può "memorizzare" la risposta invece di ragionare, gonfiando artificialmente le prestazioni e distorcendo i confronti tra modelli con diverse date di cutoff. Questo studio mira a determinare se le folle di LLM esibiscano effetti di saggezza delle folle, identificare le strategie di aggregazione ottimali e valutare rigorosamente l'impatto della contaminazione sulle classifiche dei modelli e sui gap di capacità.

Metodologia

Dati e Modelli

Dataset: Lo studio ha utilizzato 254 domande di mercati di previsione binarie (SÌ/NO) da Manifold Markets.
- Set Principale: 208 elementi risolti tra giugno 2024 e marzo 2026.
- Sottogruppo Pulito (Clean Subset): 94 elementi risolti dopo il 1° settembre 2025, garantendo l'assenza di sovrapposizioni con qualsiasi data di cutoff di addestramento di un modello.
Modelli: Le stime di probabilità sono state elicitate da 15 LLM, comprendenti:
- Modelli Cloud Frontier: 10 modelli (ad es., serie Claude 4.6, serie GPT-5, Gemini Flash/Pro).
- Modelli Locali: 5 modelli più piccoli a pesi aperti (ad es., Mistral 7B, LLaMA 3.1 8B, Phi-4 14B).
Elicitazione: I modelli sono stati istruiti per fornire una stima di probabilità (0–1) per ogni affermazione basandosi esclusivamente sulla conoscenza di addestramento, senza ricerca su internet.

Metodi di Aggregazione

Lo studio ha valutato quattro metodi di aggregazione classici e due aggregatori appresi:

Metodi Classici: Media aritmetica, media geometrica, media armonica e media log-odds (media logit).
Aggregatori Appresi:
- Regressione Logistica: Un modello lineare che apprende pesi non uniformi per i 15 input dei modelli.
- Perceptron Multistrato (MLP): Una rete neurale con due strati nascosti (64 e 32 unità) addestrata per mappare il vettore di input a 15 dimensioni in una singola probabilità.

Protocollo di Valutazione: Gli aggregatori appresi sono stati addestrati sui 160 elementi non puliti e valutati sul sottogruppo pulito di 94 elementi (trasferimento temporale) per garantire che fossero testati su dati non visti. I metodi classici sono stati valutati direttamente sul sottogruppo pulito.

Tecniche di Analisi

Metriche: La metrica primaria è stata il punteggio di Brier (più basso è, meglio è); le metriche secondarie includevano l'accuratezza di classificazione e l'AUC.
Regressione Simbolica: Applicata all'MLP addestrato per recuperare una formula matematica interpretabile che approssimi la sua strategia di aggregazione, ricercando la frontiera di Pareto tra accuratezza e complessità.
Analisi della Contaminazione: Ha confrontato le prestazioni dei modelli sugli elementi "entro il cutoff" rispetto a quelli "fuori dal cutoff" e ha analizzato la stabilità del ranking tra il dataset completo e il sottogruppo pulito.
Baseline Umana: Ha confrontato le prestazioni degli LLM con la probabilità del mercato di Manifold, utilizzando sia il prezzo finale di mercato che un prezzo "corrispondente al cutoff" (prezzo di mercato al momento del cutoff di addestramento di ciascun modello) per controllare il vantaggio informativo.

Risultati Chiave

1. Prestazioni di Aggregazione

Learned vs. Classical: Entrambi gli aggregatori appresi (Regressione Logistica e MLP) hanno superato significativamente tutti i modelli individuali e i metodi di aggregazione classici sul sottogruppo pulito.
- La Regressione Logistica ha ottenuto il punteggio di Brier più basso (0,241), superando la media aritmetica (0,313) di circa il 23%.
- L'MLP ha ottenuto un punteggio di Brier leggermente superiore (0,264) ma una migliore discriminazione dell'ordine di rango (AUC 0,657 vs 0,633).
Linearità del Beneficio: La quasi equivalenza tra la Regressione Logistica e l'MLP suggerisce che il beneficio dell'aggregazione derivi principalmente dall'apprendimento di una combinazione lineare di output di modelli diversi piuttosto che da complesse interazioni non lineari.
Risultati della Regressione Simbolica: La formula più semplice utile recuperata dall'MLP era un segnale contrastivo tra due modelli specifici: $\sigma(p_{\text{Gemini Pro}} - p_{\text{Claude Haiku}})$ . Questa formula, utilizzando solo due modelli, ha quasi replicato le prestazioni dell'MLP completo a 15 modelli, indicando che il beneficio deriva da un piccolo numero di pattern di errore complementari.

2. Effetti della Contaminazione

Inflazione delle Prestazioni: I modelli hanno mostrato un'accuratezza significativamente più alta sugli elementi risolti prima del loro cutoff di addestramento rispetto a quelli risolti dopo. I differenziali di accuratezza variavano da +0,05 a +0,26.
Instabilità del Ranking: La contaminazione ha distorto significativamente le classifiche dei modelli. La correlazione di rango di Spearman tra il dataset completo e il sottogruppo pulito era solo $\rho = 0,532$ . Si sono verificati spostamenti notevoli, come LLaMA 3.1 8B che sale dal rango 14 al 6, e GPT-5.4 Mini che scende dal 6 al 13.
Collasso del Gap Cloud-Local: Il gap di prestazione apparente tra i modelli cloud frontier e i modelli locali più piccoli è crollato dal 35,8% (sul dataset completo) all'8,9% (sul sottogruppo pulito). Ciò suggerisce che gran parte della superiore percezione dei modelli frontier nei compiti di previsione fosse dovuta alla conoscenza degli esiti piuttosto che a un ragionamento superiore.

3. Confronto con le Folle Umane

LLM vs. Mercato: Anche controllando il vantaggio informativo del mercato (usando i prezzi di mercato corrispondenti al cutoff), la folla umana (mercato Manifold) ha superato ogni singolo LLM per un fattore da 1,5x a 2,6x in termini di punteggio di Brier.
Meccanismo: Il vantaggio umano riflette la capacità dei trader attivi di aggregare dinamicamente la conoscenza dispersa e aggiornare le stime in tempo reale, una capacità che gli LLM (che ragionano da snapshot congelati) non possono replicare.
Riconciliazione con il Lavoro Precedente: Lo studio osserva che, sebbene le folle di LLM possano non raggiungere i mercati di previsione dinamici, possono eguagliare le prestazioni dei panel umani statici (come trovato da Schoenegger et al., 2024), evidenziando che il divario è strutturale (aggregazione dinamica vs. statica) piuttosto che un fallimento fondamentale della cognizione umana rispetto agli LLM.

Significato e Rivendicazioni

L'articolo rivendica tre contributi primari:

Validazione della Saggezza delle Folle di LLM: Fornisce prove che le folle di LLM esibiscono effetti di saggezza delle folle, dove l'aggregazione appresa supera significativamente il miglior modello individuale.
Identificazione del Meccanismo: Dimostra che il beneficio dell'aggregazione negli LLM, similmente alle folle umane, si basa sulla diversità dei pattern di errore piuttosto che sulla semplice ponderazione delle prestazioni. Gli autori mostrano che combinazioni lineari semplici di modelli diversi sono sufficienti per catturare la maggior parte di questo beneficio.
La Contaminazione come Confondimento Critico: Lo studio stabilisce che la contaminazione dal cutoff di addestramento è un problema pervasivo che gonfia artificialmente le prestazioni dei modelli frontier e distorce le valutazioni delle capacità. Sostiene che una valutazione "pulita" (utilizzando domande che si risolvono dopo tutti i cutoff di addestramento dei modelli) è essenziale per una valutazione affidabile, rivelando che il divario tra i modelli locali e quelli frontier è molto più piccolo di quanto precedentemente ipotizzato.

Gli autori concludono che, sebbene le folle di LLM possano esibire intelligenza collettiva, la loro accuratezza è strutturalmente limitata dalla loro natura statica rispetto ai mercati umani dinamici, e che una valutazione rigorosa e priva di contaminazione è necessaria per comprendere le loro vere capacità di ragionamento.