DEEP: Docker-based Execution and Evaluation Platform

Titolo

DEEP: Piattaforma di Esecuzione e Valutazione Basata su Docker

1. Il Problema

La valutazione comparativa di diversi sistemi di intelligenza artificiale (in particolare per la Traduzione Automatica - MT e il Riconoscimento Ottico dei Caratteri - OCR) è un compito ricorrente e cruciale nella ricerca e nelle competizioni pubbliche. Tuttavia, gli approcci tradizionali presentano diverse limitazioni:

• Mancanza di trasparenza sulle risorse: Nell'approccio classico, dove i partecipanti inviano solo le ipotesi (output), i valutatori non possono analizzare le risorse computazionali (tempo, memoria) necessarie per generare tali ipotesi.
• Opacità dei sistemi: Quando i partecipanti inviano il proprio sistema, l'opacità aumenta perché i valutatori non hanno accesso ai dati di test, ma spesso mancano strumenti per monitorare l'esecuzione in tempo reale.
• Interpretazione dei risultati: Le metriche statistiche tradizionali spesso non spiegano perché un sistema ottiene un certo punteggio. Inoltre, la differenza tra i punteggi di due sistemi potrebbe non essere statisticamente significativa, rendendo difficile determinare quale sia realmente superiore.
• Necessità di un'analisi olistica: È fondamentale valutare non solo la qualità (accuratezza), ma anche l'efficienza, la robustezza e l'impatto utente, specialmente in scenari "human-in-the-loop".

2. Metodologia: La Piattaforma DEEP

DEEP è una pipeline automatizzata progettata per gestire l'esecuzione, la valutazione e la visualizzazione dei modelli. La sua architettura è modulare e si basa su tre fasi principali:

A. Esecuzione Basata su Docker

• Containerizzazione: I sistemi da valutare devono essere forniti come immagini Docker. Questo garantisce isolamento, riproducibilità e permette di monitorare l'uso delle risorse.
• Input/Output: Il sistema accetta dataset di input (file XML per MT, directory di immagini per OCR) e li passa al container. Le ipotesi generate vengono raccolte in una directory specifica.
• Monitoraggio: Durante l'esecuzione, DEEP registra il tempo di calcolo e le risorse utilizzate, rimuovendo le immagini e i rifiuti dopo il completamento per ottimizzare lo spazio su disco.

B. Fase di Valutazione

• Metriche: Il sistema calcola diverse metriche di qualità. Attualmente supporta:
  • Per MT: BLEU, TER (Translation Error Rate), chrF, BEER.
  • Per OCR: WER (Word Error Rate), bWER (Bag-of-words WER).
  • Le metriche sono estensibili: gli utenti possono aggiungere nuove funzioni che accettano liste di ipotesi e riferimenti e restituiscono un punteggio float.
• Clustering Statistico: Per superare il limite delle semplici classifiche, DEEP utilizza un algoritmo di clustering basato sulla significatività statistica.
  • Utilizza il test di Randomizzazione Approssimata (ART) con 10.000 trial e un p-value di 0.05.
  • I sistemi vengono ordinati per punteggio e confrontati a coppie adiacenti. Se la differenza tra due sistemi non è statisticamente significativa, vengono assegnati allo stesso "cluster" di performance. Questo permette di identificare gruppi di sistemi con prestazioni equivalenti piuttosto che una semplice lista ordinata.

C. Visualizzazione (Web-App)

• Sviluppata con la libreria Streamlit, offre un'interfaccia interattiva per analizzare i risultati.
• Funzionalità chiave:
  • Selezione dinamica delle metriche visualizzate.
  • Filtri per selezionare specifici sistemi da analizzare.
  • Grafici interattivi:
    • Bar Chart: Punteggi ordinati dal migliore al peggiore (con baseline evidenziate).
    • Arc Chart: Tempo di calcolo richiesto da ciascun sistema.
    • Scatter Plot: Relazione tra qualità (punteggio) e tempo di esecuzione.
    • Cluster Chart: Punteggio medio per cluster statistico.
  • Esportazione dei dati in CSV, LaTeX, JSON o HTML.

3. Contributi Chiave

1. Automazione End-to-End: Unifica l'esecuzione (tramite Docker), la valutazione e l'analisi statistica in un'unica piattaforma coerente.
2. Trasparenza delle Risorse: Permette di correlare direttamente la qualità del modello con il costo computazionale (tempo di esecuzione), un aspetto spesso ignorato nelle valutazioni standard.
3. Analisi Statistica Avanzata: Integrazione nativa del clustering basato su ART per determinare la significatività delle differenze tra i modelli, evitando conclusioni errate basate su piccole variazioni di punteggio.
4. Estensibilità: Architettura modulare che supporta facilmente nuovi task (oltre a MT e OCR) e nuove metriche.
5. Open Source: Il codice è disponibile pubblicamente, permettendo alla comunità di adattarlo alle proprie esigenze specifiche.

4. Risultati (Caso d'Uso)

Gli autori hanno testato DEEP su un esperimento di Traduzione Automatica (Inglese -> Tedesco) utilizzando il set di test di WMT20 News.

• Dataset: 8 modelli open-source all'avanguardia (tra cui EuroLLM, M2M-100, MADLAD-400, Opus-MT, mBART, NLLB-200, Seed, T5).
• Hardware: Nvidia Quadro RTX 8000 (48 GB VRAM).
• Risultati principali:
  • Seed (7B) è emerso come il modello migliore, offrendo sia le prestazioni più alte (BLEU: 38.84) che tempi di esecuzione molto rapidi.
  • MADLAD-400 e NLLB-200 hanno ottenuto punteggi alti ma con tempi di calcolo significativamente più lunghi (classificati come "Heavy models").
  • Opus-MT è risultato il più veloce, ma con prestazioni inferiori.
  • Clustering: Per le metriche BLEU e chrF, ogni modello ha formato un cluster unico (differenze significative). Per la metrica TER, Seed e MADLAD-400 sono stati raggruppati nello stesso cluster, indicando che le loro differenze non erano statisticamente significative per quella specifica metrica.
  • La visualizzazione ha permesso di identificare tre gruppi: modelli bilanciati, modelli pesanti e una "zona di miglioramento" (EuroLLM, lento e con punteggi bassi, ma con potenziale).

5. Significato e Conclusioni

DEEP rappresenta un passo avanti significativo nella metodologia di valutazione delle competenze linguistiche e visive.

• Riproducibilità: L'uso dei Docker garantisce che le valutazioni siano eseguite in ambienti identici, eliminando le variabili legate all'hardware o alle dipendenze software.
• Decisioni Informate: Fornisce ai ricercatori e ai competitori una visione olistica che bilancia qualità ed efficienza, fondamentale per il deployment reale dei modelli.
• Futuro: Gli autori intendono espandere DEEP per supportare altri tipi di dati e task, rendendolo uno standard de facto per le competizioni e la ricerca accademica nel campo del Machine Learning.

In sintesi, DEEP non è solo uno strumento di calcolo, ma un framework completo che trasforma la valutazione da un semplice confronto di numeri a un'analisi approfondita delle performance, delle risorse e della significatività statistica dei modelli.