💬 NLP

CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks

CoEval è un framework open-source che genera benchmark privi di contaminazione e controllati per attributi e impiega un insieme diversificato di modelli giudici per classificare in modo affidabile i modelli linguistici per task personalizzati senza richiedere dati etichettati o affidarsi a benchmark pubblici.

Autori originali: Alexander Apartsin, Yehudit Aperstein

Pubblicato 2026-06-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alexander Apartsin, Yehudit Aperstein

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un responsabile delle assunzioni che cerca di scegliere il dipendente migliore per un lavoro molto specifico, come "organizzare un magazzino caotico" o "scrivere barzellette divertenti sul giardinaggio". Hai un problema: non hai recensioni delle prestazioni passate (dati etichettati) e i test standard che tutti gli altri usano (benchmark pubblici) sono inutili perché i candidati li hanno già imparati a memoria studiandoli in precedenza.

Questo è esattamente il problema che CoEval risolve. È un nuovo strumento open-source che aiuta a classificare i modelli AI per le tue esigenze specifiche senza la necessità di esperti umani per la valutazione o il rischio che i candidati bari.

Ecco come funziona, suddiviso in semplici analogie:

1. Il generatore di "Test Freschi" (Niente imbrogli consentiti)

Di solito, i modelli AI affrontano gli stessi vecchi test (come l'SAT o il GRE) che esistono da anni. Poiché questi test sono molto popolari, i modelli AI li hanno probabilmente già visti durante il loro addestramento e ne hanno semplicemente memorizzato le risposte. È come uno studente che memorizza la chiave delle risposte invece di imparare la matematica.

CoEval cambia le regole del gioco. Invece di usare vecchie domande, utilizza una "AI Insegnante" per inventare domande brand-nuove sul momento, basandosi solo sulla descrizione del tuo compito.

L'analogia: Immagina un insegnante che crea un test di matematica mentre lo studente è nella stanza. Lo studente non avrebbe potuto memorizzare le risole perché le domande non esistevano fino a quel secondo.
Il risultato: Il documento prova che queste nuove domande sono fresche al 100%. Non condividono alcuna sequenza di 13 parole con i principali database di test pubblici, il che significa che l'AI non può imbrogliare richiamando vecchi dati.

2. La "Giuria" di Giudici (Diversità rispetto ai numeri)

Una volta che i modelli AI hanno risposto a queste domande fresche, qualcuno deve valutarle. Potresti chiedere a un'AI super intelligente di valutarle, ma questo è rischioso. Quel singolo giudice potrebbe avere pregiudizi strani, come preferire risposte lunghe rispetto a risposte brevi ma corrette, o preferire risposte simili alla propria famiglia di modelli.

CoEval utilizza un approccio a "Giuria". Raccoglie un piccolo gruppo di giudici provenienti da diverse aziende (ad esempio, uno da OpenAI, uno da Anthropic, uno da Google).

L'analogia: Pensa a un tribunale. Se hai un unico giudice noto per essere scontroso, il verdetto potrebbe essere ingiusto. Ma se hai una giuria di tre persone con background diversi, i loro singoli difetti si annullano a vicenda. Se un giudice ama le risposte lunghe e un altro le odia, il punteggio medio diventa equo.
La grande scoperta: Il documento ha scoperto che chi siede nella giuria conta più di quanti giudici ci siano. Aggiungere altri giudici della stessa azienda serve solo ad amplificare il loro pregiudizio comune. In realtà, un piccolo gruppo di giudici diversificati è incredibilmente affidabile. Infatti, un singolo giudice può talvolta essere "anti-correlato" (dando la risposta sbagliata), ma una giuria diversificata quasi mai lo è.

3. La fabbrica "Senza Umani"

Di solito, per costruire un buon test, servono esseri umani che scrivano le domande e valutino le risposte. Questo è lento e costoso.

L'analogia: CoEval è come una fabbrica completamente automatizzata. Fornisci un progetto (una descrizione del tuo compito) e questo genera automaticamente:
1. Progetta le domande del test.
2. Fa sostenere il test ai candidati AI.
3. Assembla la giuria diversificata per valutare le risposte.
4. Restituisce una classifica finale.
Il costo: Gli autori hanno condotto uno studio massiccio con quasi 8.000 valutazioni al prezzo di una tazza di caffè ($5,89). È così economico che potresti eseguire un nuovo test ogni volta che esce un nuovo modello AI.

4. Perché questo è importante

Il documento ha testato CoEval in tre scenari del mondo reale in cui non esistevano "risposte corrette":

Interazioni farmacologiche: Capire se due medicinali entrano in conflitto.
Ragionamento clinico: Diagnosticare i sintomi di un paziente.
Analisi legale: Interpretare le leggi.

In queste aree, non esistono test standard definitivi ("gold standard"). CoEval è riuscito a classificare i modelli, mostrando quali fossero i migliori per questi lavori specifici. Ha persino rilevato che un modello più piccolo e meno costoso era in realtà peggiore di uno più grande, cosa che un singolo giudice prevenuto avrebbe potuto mancare.

In sintesi

CoEval è uno strumento che dice: "Non fidarti dei vecchi test memorizzati. Non affidarti a un singolo giudice che potrebbe essere prevenuto. Inveve, genera un test fresco per il tuo compito specifico e fai in modo che un piccolo team diversificato di giudici AI lo valuti."

Trasforma il processo disordinoso e costoso di testare l'AI in un processo economico, ripetibile e giusto che qualsiasi team può utilizzare per trovare l'AI giusta per le proprie esigenze.

Sintesi Tecnica: CoEval

Definizione del Problema

I professionisti si trovano di fronte a un collo di bottiglia critico nella selezione dei modelli linguistici per applicazioni specifiche e personalizzate (ad esempio, riassumere note cliniche o dare priorità ai ticket di assistenza). Questa sfida deriva da due condizioni convergenti:

Assenza di Dati Etichettati: Costruire manualmente un benchmark rappresentativo e specifico per un compito è lento, costoso e spesso impossibile per nuovi domini o domini proprietari.
Benchmark Pubblici inattendibili: I benchmark statici standard sono sempre più contaminati. Gli elementi di test filtrano spesso nei corpora di pre-addestramento, facendo sì che i punteggi elevati riflettano la memorizzazione piuttosto che la generalizzazione o l'idoneità per il caso d'uso specifico.

Le soluzioni esistenti come i benchmark statici soffrono di rigidità (non estensibilità), suscettibilità alla contaminazione (contamination) e genericità (distribuzioni di input non corrispondenti). Nel frattempo, gli approcci "LLM-as-judge" affrontano i costi e l'estensibilità ma introducono nuovi bias, tra cui il bias di posizione, il bias di verbosità e l'auto-preferenza (giudici che favoriscono gli output della propria famiglia di modelli).

Metodologia: Il Framework CoEval

CoEval è un framework open-source e dichiarativo progettato per generare una pipeline di valutazione fresca, priva di contaminazioni, e per classificare i modelli candidati senza etichette umane. Opera attraverso una pipeline in cinque fasi guidata da un singolo file di configurazione, separando tre distinti ruoli di modello: Teacher (Insegnante), Student (Studente) e Judge (Giudice).

1. Separazione dei Ruoli

Teacher: Sintetizza elementi di benchmark mirati al dominio (prompt e risposte di riferimento) condizionati agli attributi target dichiarati.
Student: I modelli candidati sotto valutazione producono risposte agli prompt generati.
Judge: Valuta le risposte dello studente rispetto a una rubrica generata automaticamente.
Principio di Design: Il set di giudici è esplicitamente disgiunto per famiglia di vendor rispetto allo studente in fase di test. Questa separazione strutturale impedisce a un modello di valutare la propria famiglia, eliminando per design il canale di auto-preferenza.

2. Generazione Stratificata per Attributi

Invece di un campionamento uniforme, CoEval definisce un set di attributi target (ad esempio, difficoltà, argomento, tipo di ragionamento) e stratifica la generazione attraverso il loro prodotto cartesiano. Il campionatore garantisce un numero minimo di elementi per ogni strato ( $n_s \ge \lfloor N/|S| \rfloor$ ), assicurando che i casi limite e le regioni minoritarie della distribuzione di distribuzione siano coperti. Poiché gli elementi sono sintetizzati ex novo dall'specificazione degli attributi ad ogni esecuzione, sono strutturalmente resistenti alla contaminazione; non possono essere apparsi nei dati di pre-addestramento di alcuno studente.

3. Ensemble di Giudici Cross-Family e Aggregazione

Le risposte sono valutate da un panel di giudici provenienti da diversi vendor di modelli (ad esempio, OpenAI, Anthropic, Google, modelli open-weight).

Composizione sopra la Dimensione: Il framework postula che l'affidabilità sia guidata dalla diversità dei vendor (composizione) piuttosto che dalla dimensione del panel. Un grande panel di giudici della stessa famiglia amplifica i bias condivisi, mentre un piccolo panel diversificato li annulla.
Cancellazione del Bias: I singoli giudici portano spesso bias di segno misto (ad esempio, un giudice premia la verbosità mentre un altro la penalizza). La media dei punteggi attraverso un panel diversificato per vendor cancella questi bias.
Aggregazione: L'aggregatore predefinito è una media non pesata. CoEval offre anche un aggregatore di affidabilità non supervisionata che pesa i giudici in base al loro accordo medio con il consenso del panel, declassando gli outlier senza richiedere una verità di base (ground truth).

Contributi Chiave

Benchmark Auto-generati e Resistenti alla Contaminazione: CoEval genera benchmark freschi e controllati per attributo ad ogni esecuzione, garantendo che gli elementi non siano mai stati visti durante il pre-addestramento dello studente.
Affidabilità Guidata dalla Composizione: Il paper stabilisce che la composizione del panel di giudici (diversità di vendor), e non la dimensione, è il fattore decisivo per l'affidabilità. Un piccolo panel cross-family ben scelto è più affidabile di uno grande e omogeneo.
Aggregazione che Cancella i Bias: Il framework preclude strutturalmente l'auto-preferenza della stessa famiglia e cancella empiricamente il bias di verbosità attraverso l'aggregazione di un panel diversificato.
Framework Riutilizzabile e Senza Etichette: Fornisce una pipeline dichiarativa e agnostica rispetto al modello che può essere rigenerata per qualsiasi dominio o rilascio di modello a basso costo, sostituendo le classifiche statiche con valutazioni rinnovabili e specifiche per l'applicazione.

Risultati Empirici

Il framework è stato validato attraverso uno studio a media scala su quattro compiti (riassunto, QA, generazione di codice, ragionamento) coinvolgendo 7.978 valutazioni.

Correlazione con la Verità di Base (Ground-Truth): Nei compiti di QA con corrispondenza esatta (SciQ, ARC-Challenge) dove esiste una verità di base, i punteggi senza etichette di CoEval seguono la correttezza con una correlazione di Spearman $\rho = 0,86$ . Riproduce con successo la vera classifica dei modelli (ad esempio, $gpt\text{-}4o\text{-}mini > gpt\text{-}3.5\text{-}turbo > llama\text{-}3.2\text{-}3b$ ).
Affidabilità dell'Ensemble: L'affidabilità (misurata tramite ICC(3,k)) è non monotona rispetto alla dimensione del panel. Un panel cross-family di due giudici selezionati ha raggiunto un ICC = 0,70, mentre l'aggiunta indiscriminata di giudici a basso accordo ha ridotto l'affidabilità a 0,40.
Rimpianto della Scelta del Giudice (Judge-Choice Regret): Selezionare un singolo giudice senza etichette è rischioso; i candidati giudici variavano da anti-correlati ( $\rho = -0,04$ ) a positivamente correlati ( $\rho = 0,31$ ), un rimpianto di 0,35. L'ensemble cross-family non è mai anti-correlato.
Cancellazione del Bias: I singoli giudici hanno mostrato bias di verbosità che variavano da $r = -0,177$ a $r = +0,234$ . L'ensemble ha ridotto il bias assoluto medio del 93%, risultando in una correlazione lunghezza-punteggio di $r = +0,010$ (l'intervallo di confidenza include lo zero).
Resistenza alla Contaminazione: Gli elementi generati da CoEval hanno mostrato zero sovrapposizioni verbatim di 13 grammi con cinque importanti benchmark pubblici. Uno studio controllato ha dimostrato che i benchmark statici potevano classificare un modello da 0,5B che memorizza sopra un modello di frontiera, mentre i nuovi elementi di CoEval classificavano correttamente il modello di frontiera più in alto.
Efficienza dei Costi: L'intero studio di 7.978 valutazioni è costato 5,89 USD (circa $0,00074 per valutazione), rendendolo fattibile da rieseguire ad ogni rilascio di un modello.
Casi Studio di Dominio: Applicato a tre verticali personalizzati (interazione farmacologica, clinico, legale) senza dati etichettati, CoEval ha prodotto classifiche difendibili dove i giudici concordavano all'unanimità o facevano emergere reali disaccordi che un singolo giudice avrebbe nascosto.

Significato e Rivendicazioni

Il paper sostiene che CoEval risolva il dilemma "nessun dato, benchmark inattendibile" fornendo uno strumento di valutazione rinnovabile, privo di contaminazioni e reso resistente ai bias. Il suo significato primario risiede nello spostamento dal paradigma dei benchmark statici curati dall'uomo a quello delle pipeline dinamiche e dichiarative.

Gli autori sottolineano che la composizione sopra la dimensione è un principio di design fondamentale per il giudizio degli LLM: un panel diversificato e cross-family è il default a basso rimpianto che neutralizza l'auto-preferenza e cancella i bias di segno misto senza calibrazione umana. Chiudendo il ciclo dalla generazione degli elementi alla valutazione, CoEval assicura che sia gli elementi di valutazione che i giudici siano robusti contro i fallimenti specifici (memorizzazione e bias) che affliggono le attuali pratiche di valutazione. Il framework è presentato non come un benchmark isolato, ma come uno strumento riutilizzabile per i team che desiderano rigenerare le proprie classifiche specifiche per applicazione.