One-Eval: An Agentic System for Automated and Traceable LLM Evaluation

Il paper presenta One-Eval, un sistema agentic che automatizza la valutazione dei grandi modelli linguistici trasformando richieste in linguaggio naturale in flussi di lavoro eseguibili, tracciabili e personalizzabili, riducendo lo sforzo manuale e migliorando la riproducibilità nei contesti industriali.

L'essenziale

Immagina di dover valutare le prestazioni di un nuovo chef (il tuo modello di intelligenza artificiale) prima di assumerlo per il tuo ristorante.

In passato, questo processo era un incubo burocratico: dovevi cercare tu stesso i manuali di cucina (i benchmark), capire come leggere le ricette scritte in lingue diverse (i dataset), preparare gli ingredienti, cucinare i piatti da solo e poi scrivere un rapporto a mano. Se sbagliavi un passaggio, tutto il lavoro andava a monte.

One-Eval è come assumere un manager di cucina super-intelligente e automatizzato che fa tutto questo lavoro per te, ma con una differenza fondamentale: capisce cosa vuoi dire anche se lo spieghi in modo semplice e colloquiale.

Ecco come funziona, spiegato con un'analogia quotidiana:

1. La Richiesta (Il Cliente parla)

Tu non devi dire al manager: "Esegui lo script Python run_eval.py con il dataset mmlu e calcola la media ponderata".
Invece, gli dici semplicemente: "Voglio vedere se il nostro chef è bravo a cucinare piatti complessi e se segue le istruzioni alla lettera".

• Cosa fa One-Eval (NL2Bench): Il manager ascolta la tua richiesta, capisce che ti servono test su "cucina complessa" (ragionamento matematico) e "seguire le istruzioni" (compliance), e poi va nella sua biblioteca di ricette per scegliere i 5-6 test perfetti per la tua situazione. Non sceglie a caso, ma cerca le ricette che si adattano meglio ai tuoi obiettivi.

2. La Preparazione (Il Manager risolve i problemi)

Una volta scelti i test, il manager deve preparare tutto. Spesso le ricette arrivano da fonti diverse: una è su un foglio di carta, l'altra su un'app, una terza è scritta in un dialetto strano.

• Cosa fa One-Eval (BenchResolve): Il manager prende tutte queste ricette disparate, le traduce tutte nella stessa lingua, controlla che gli ingredienti (i dati) siano disponibili, li scarica e li mette in ordine. Se una ricetta manca di un ingrediente, lui lo trova da solo o ti avvisa. In pratica, trasforma il caos in un piano di lavoro perfetto e pronto all'uso, senza che tu debba toccare un singolo file.

3. La Valutazione e il Rapporto (Il Critico culinario)

Il chef cucina, il manager assaggia e... invece di darti solo un numero secco (es. "8 su 10"), ti dà un rapporto dettagliato.

• Cosa fa One-Eval (Metrics & Reporting): Non ti dice solo "è bravo". Ti dice: "È bravissimo a cucinare la pasta, ma sbaglia sempre le salse se non gli dici esattamente quanto sale mettere. Ecco tre esempi di piatti andati male e perché".
  • Ti mostra i punti di forza e di debolezza.
  • Ti dà consigli pratici: "Se vuoi assumere questo chef, devi solo addestrarlo meglio sulle salse".

4. Il Controllo Umano (Il Capo Chef)

Anche se il manager è automatizzato, sa che a volte serve il tocco umano.

• Cosa fa One-Eval (Human-in-the-Loop): Prima di lanciare tutto, il manager ti mostra il piano: "Ho scelto queste 5 ricette. Ti sembrano giuste? Vuoi cambiarne una?". Tu puoi dire "Sì, va bene" oppure "No, togli quella ricetta e metti quest'altra". Se sbagli, puoi annullare tutto e ricominciare senza perdere nulla, perché il sistema tiene traccia di ogni singolo passo (come una "scatola nera" che registra tutto per eventuali controlli futuri).

Perché è rivoluzionario?

Prima, per valutare un'intelligenza artificiale, serviva un esperto informatico che passasse ore a configurare cose. Con One-Eval, chiunque (un product manager, un responsabile qualità, un imprenditore) può chiedere una valutazione complessa in linguaggio naturale e ottenere un risultato professionale, tracciabile e pronto per prendere decisioni.

In sintesi: One-Eval trasforma la valutazione dell'IA da un "compito di informatica difficile" a una semplice "conversazione con un assistente esperto" che fa tutto il lavoro sporco per te.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "One-Eval: An Agentic System for Automated and Traceable LLM Evaluation" in italiano.

Panoramica del Problema

L'adozione rapida dei Modelli Linguistici su Grande Scala (LLM) e dei modelli multimodali nei sistemi industriali ha reso la valutazione un componente critico del ciclo di vita del modello. Tuttavia, le pratiche attuali presentano sfide significative:

• Sforzo Manuale Elevato: I praticanti devono identificare manualmente benchmark appropriati, riprodurre codebase eterogenee, configurare mappature degli schemi dei dataset e interpretare metriche aggregate.
• Flessibilità Limitata: I framework esistenti (es. lm-eval-harness, OpenCompass) si basano su configurazioni statiche e richiedono che l'utente mappi manualmente gli obiettivi di valutazione su setup concreti.
• Risultati Poveri per il Processo Decisionale: Le uscite sono spesso limitate a metriche scalari isolate, insufficienti per supportare decisioni industriali complesse come il confronto tra modelli, la prontezza per il deployment o la valutazione del rischio.
• Mancanza di Tracciabilità: I flussi di lavoro attuali spesso non preservano le prove delle decisioni prese o dei dati utilizzati, rendendo difficile il debug e l'audit.

Metodologia: One-Eval

One-Eval è un sistema di valutazione basato su agenti (agentic system) progettato per trasformare richieste di valutazione in linguaggio naturale in flussi di lavoro eseguibili, tracciabili e personalizzabili. Il sistema segue un'architettura modulare a tre stadi principali, integrata da un meccanismo "Human-in-the-Loop" (HITL).

1. NL2Bench (Strutturazione dell'Intento e Pianificazione)

Questa è la fase di ingresso che converte la richiesta dell'utente in un piano strutturato.

• Strutturazione dell'Intento: Traduce la richiesta testuale in una rappresentazione strutturata che cattura il dominio, le capacità target, i benchmark specifici richiesti e i vincoli di esecuzione.
• Recupero dei Candidati: Interroga due fonti:
  • Una galleria locale di 77 benchmark curati (verificati per l'esecuzione end-to-end).
  • Una ricerca live su HuggingFace Hub per coprire benchmark a lunga coda o recenti.
  • Utilizza modelli di embedding (per similarità semantica) e TF-IDF (per matching lessicale) per recuperare i candidati.
• Risoluzione e Normalizzazione: Normalizza gli identificatori dei benchmark e raccoglie metadati strutturali essenziali.
• Selezione sotto Vincoli: Seleziona un sottoinsieme compatto di benchmark che bilancia l'allineamento con l'intento dell'utente con vincoli pratici (costo, ridondanza, esecutibilità).

2. BenchResolve (Risoluzione e Configurazione del Benchmark)

Gestito dall'agente BenchResolveAgent, questa fase trasforma il piano nominale in configurazioni eseguibili.

• Risoluzione Gerarchica: Adotta una strategia "local-first". Se un benchmark è presente nel registro locale con configurazioni validate, le carica direttamente. Altrimenti, esegue una risoluzione dinamica su HuggingFace, scaricando dataset e metadati.
• Adattamento dei Dati Eterogenei: Normalizza ogni benchmark risolto in un oggetto di configurazione unificato (BenchInfo). Questo include la mappatura delle colonne (es. da question/answer a input/target) per creare un'interfaccia di input/output standardizzata, indipendentemente dallo schema originale del dataset.
• Tracciabilità: Persiste gli artefatti risolti (ID, percorsi cache, mappature) per garantire la riproducibilità.

3. Metriche e Reporting (Raccomandazione e Generazione di Report)

Questa fase analizza i risultati grezzi e genera report orientati al processo decisionale.

• Raccomandazione delle Metriche (Dual-Track):
  • Override Utente: Priorità alle configurazioni esplicite fornite nei metadati.
  • Ragionamento Augmentato: Per task non configurati, un agente semantico analizza il contesto del dataset (prompt, esempi few-shot) per raccomandare metriche appropriate.
  • Fallback: Se l'LLM fallisce, il sistema ricorre a suggerimenti basati su regole.
• Reporting Gerarchico: Genera report multigranulari:
  • Visione Macro: Profili di capacità (es. radar charts).
  • Visione Diagnostica: Analisi delle cause radice (es. allucinazioni vs errori di istruzioni) e analisi dei fallimenti.
  • Visione Micro: Tabelle di casi studio che collegano le metriche aggregate a istanze di fallimento specifiche.

Meccanismo Human-in-the-Loop (HITL)

Il sistema integra punti di controllo umani per revisione, modifica e rollback. Gli utenti possono approvare il piano, modificare l'intento, aggiungere benchmark locali o annullare azioni, mantenendo l'efficienza dell'automazione ma garantendo il controllo umano sulle decisioni critiche.

Contributi Chiave

1. Flusso di Lavoro End-to-End Guidato dall'Intento: Uno dei primi framework a trattare la valutazione come un processo decisionale guidato da agenti, trasformando richieste testuali in pipeline eseguibili senza configurazione manuale estensiva.
2. Architettura Modulare e Tracciabile: Separazione chiara tra strutturazione dell'intento, risoluzione dei dati e generazione di report, con la persistenza di tutti gli artefatti intermedi per audit e debug.
3. Adattamento Dinamico degli Schemi: Capacità di normalizzare automaticamente dataset eterogenei (con schemi diversi) in un'interfaccia unificata, riducendo drasticamente l'errore umano nella configurazione.
4. Reporting Orientato all'Azione: Spostamento dalla semplice aggregazione di punteggi scalari a report diagnostici che forniscono segnali azionabili per il miglioramento del modello e il processo decisionale industriale.

Risultati Sperimentali

Gli autori hanno valutato One-Eval su 100 richieste di valutazione in linguaggio naturale coprenti sei domini (ragionamento, matematica, codice, sicurezza, recupero, QA fattuale).

• Tasso di Successo End-to-End:
  • 99% di richieste hanno portato a un piano di benchmark recuperabile ed eseguibile (Plan Executable Rate).
  • 85% hanno raggiunto una configurazione automatica corretta (subset, split, mappature chiavi) senza errori di esecuzione.
  • 84% hanno completato l'intero flusso, inclusa l'inferenza del tipo di task e la raccomandazione delle metriche (Full Plan Rate).
• Efficienza: Il pipeline di 8 passaggi completa una valutazione in una mediana di circa 11,4 minuti per richiesta, senza intervento umano.
• Confronto con Framework Esistenti: Una tabella comparativa mostra che One-Eval è l'unico framework a supportare contemporaneamente benchmark personalizzati, automazione end-to-end, raccomandazione di benchmark e raccomandazione di metriche, a differenza di strumenti come lm-eval-harness o OpenCompass che richiedono configurazione manuale.

Significato e Impatto

One-Eval rappresenta un cambiamento di paradigma nella valutazione degli LLM, passando da un approccio manuale e statico a uno agente, automatizzato e adattivo.

• Per l'Industria: Riduce drasticamente il tempo e l'expertise necessari per valutare nuovi modelli, rendendo la valutazione un processo scalabile e ripetibile.
• Affidabilità e Audit: La capacità di tracciare ogni decisione (quale benchmark è stato scelto, perché, come è stato mappato lo schema) è cruciale per la conformità e la sicurezza nei contesti industriali.
• Decisioni Informate: Fornendo report diagnostici dettagliati invece di semplici punteggi, One-Eval aiuta gli ingegneri a identificare dove e perché un modello fallisce, facilitando iterazioni più mirate e un deployment più sicuro.

Il framework è disponibile pubblicamente su GitHub, promuovendo la riproducibilità e l'adozione di standard di valutazione più sofisticati nella comunità AI.