💻 computer science

JETO-Bench: A Reproducible Benchmark for Execution Time Improvement Patches in Java

Questo articolo introduce JETO-Mine, uno strumento configurabile innovativo per la generazione di benchmark riproducibili di patch di miglioramento dei tempi di esecuzione in Java, che è stato utilizzato per creare JETO-Bench — un dataset di 660 patch identificate da 174 repository — e ha dimostrato che gli attuali agenti di codifica come OpenHands raggiungono un tasso di successo del 14,3% su questi compiti, evidenziando al contempo una significativa mancanza di test relativi alle prestazioni nei progetti open-source.

Autori originali: Khashayar Etemadi, Zhendong Su

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Khashayar Etemadi, Zhendong Su

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca massiccia di codice software scritto in Java, un popolare linguaggio di programmazione. Per anni, i ricercatori hanno cercato di costruire dei "meccanici robotici" (agenti IA) che possano trovare automaticamente bug nel codice e risolverli. Tuttavia, la maggior parte di questi robot è stata addestrata a correggere solo bug funzionali — errori in cui il software si blocca o fornisce la risposta errata (come una calcolatrice che dice 2+2=5).

Che dire dei bug di prestazione? Questi sono errori in cui il software funziona correttamente ma è incredibilmente lento, come un motore di un'auto che funziona bene ma sussulta e impiega un'eternità per raggiungere le 60 mph. Fino ad ora, è stato molto difficile testare se i nostri meccanici robotici potessero correggere questi problemi di "lentezza", specialmente in Java.

Ecco una semplice scomposizione di ciò che introduce questo articolo:

1. Il Problema: La "Volatilità" di Java

Correggere i problemi di velocità in Java è come cercare di cronometrare un corridore su una pista che cambia superficie ogni pochi secondi.

La Sfida: Java ha un "motore" speciale (la JVM) che diventa più veloce man mano che lo usi (compilazione Just-In-Time) e che occasionalmente si ferma per pulire il proprio spazio di lavoro (Garbage Collection). Questo rende la misurazione della velocità molto complicata. Un test potrebbe sembrare lento solo perché il computer si stava "riscaldando", non perché il codice fosse cattivo.
Il Vuoto: Gli existing benchmark (set di test) per correggere i problemi di velocità esistono principalmente per altri linguaggi come Python o C++. La Java mancava di un set di test equo e affidabile.

2. La Soluzione: JETO-Mine (Il "Minatore d'Oro")

Gli autori hanno costruito uno strumento chiamato JETO-Mine. Immaginatelo come una macchina ad alta tecnologia per setacciare l'oro dal codice software.

Fase 1: La Ricerca (Analisi Statica): La macchina scansiona milioni di commit (modifiche) su GitHub. Utilizza un'IA intelligente (un LLM) per leggere le "note" che gli sviluppatori hanno lasciato quando hanno apportato modifiche, cercando indizi che dicano: "Ho reso questo più veloce".
Fase 2: Il Laboratorio (Analisi Dinamica): Questa è la parte più importante. Una volta trovato un potenziale "fix di velocità", JETO-Mine inserisce il codice in un container Docker. Immaginatelo come un laboratorio sigillato, identico per ogni singolo test.
- Esegue il codice 30 volte per ottenere una media.
- Utilizza una matematica rigorosa (test statistici) per dimostrare che l'accelerazione è reale e non solo un colpo di fortuna causato dal rumore casuale del computer.
- Assicura che le versioni "prima" e "dopo" girino esattamente nello stesso ambiente in modo che il confronto sia equo.
Fase 3: Il Giudice (Harness di Valutazione): Questo è un arbitro che controlla se il fix di un meccanico robotico funziona davvero. Esegue il nuovo codice, controlla se supera ancora tutti i test originali e misura se è effettivamente più veloce.

3. Il Risultato: JETO-Bench (Il "Tesoro")

Usando JETO-Mine, i ricercatori hanno creato JETO-Bench.

Hanno scavato attraverso 11 anni di storia e quasi 1,8 milioni di modifiche al codice.
Hanno trovato 660 potenziali correzioni di velocità.
Dopo test rigorosi, hanno verificato 91 di queste come correzioni "gold standard" che sono garantite per funzionare e sono riproducibili.
Scoperta Chiave: Hanno scoperto che la maggior parte dei progetti Java open-source non ha test che dimostrino che un pezzo di codice sia più veloce. È come avere un'auto da corsa ma senza cronometro per dimostrare che è veloce. Questo è un enorme divario nel modo in cui il software viene attualmente testato.

4. La Prova su Strada: L'IA può correggere questi bug?

Per vedere se JETO-Bench è utile, i ricercatori hanno preso un agente di codifica IA all'avanguardia chiamato OpenHands e gli hanno chiesto di correggere questi 91 problemi di velocità.

Il Punteggio: OpenHands ha risolto con successo il 14,3% dei problemi.
Il Significato: Questo risultato è simile a quanto trovato da altri studi per Python e C++. Dimostra che, sebbene l'IA stia migliorando, correggere il codice "lento" è ancora molto difficile.
Il Bonus: Il "Giudice" (harness di valutazione) ha catturato automaticamente quasi tutti i fix errati. Se l'IA tentava di correggere la parte sbagliata del codice o rompeva la build, il sistema lo sapeva immediatamente.

5. Perché questo è importante

Riproducibilità: Prima di questo, se volevi testare un nuovo strumento di correzione della velocità, dovevi sperare che il codice originale funzionasse ancora anni dopo. JETO-Bench fornisce un ambiente sigillato, una capsula del tempo (Docker), in modo che chiunque possa eseguire lo stesso identico test oggi e ottenere lo stesso risultato.
Una Nuova Sfida: Il documento evidenzia che dobbiamo inventare nuovi modi per scrivere test che misurino la velocità, non solo la correttezza.
Non ancora una Soluzione Magica: Lo studio conferma che anche gli agenti IA avanzati faticano con l'ottimizzazione delle prestazioni, suggerendo che questa è una frontiera che necessita di ulteriore ricerca.

In breve: Gli autori hanno costruito una macchina (JETO-Mine) per trovare e verificare esempi reali di codice Java che diventa più veloce. Hanno confezionato questi esempi in un set di test (JETO-Bench) e hanno dimostrato che gli attuali robot IA possono correggere circa 1 problema di velocità su 7, ma hanno anche rivelato che il mondo del software manca degli strumenti (i test) per misurare correttamente i miglioramenti di velocità in primo luogo.

Riepilogo Tecnico: JETO-Bench e JETO-Mine

Definizione del Problema

L'Automated Program Repair (APR) ha fatto progressi significativi, spinti da benchmark come Defects4J e SWE-Bench. Tuttavia, questi benchmark si concentrano prevalentemente su bug funzionali, lasciando sottorappresentati i problemi non funzionali, nello specifico il miglioramento dei tempi di esecuzione. Sebbene esistano benchmark per patch di miglioramento del tempo di esecuzione (ETIPs) per Python, C++ e .NET (ad esempio, PIE, SWE-Perf, PerfBench), Java ne rimane ampiamente privo.

L'assenza di benchmark per Java è critica a causa delle specifiche caratteristiche di runtime del linguaggio. La dipendenza di Java dalla compilazione Just-In-Time (JIT) e dal Garbage Collection (GC) introduce volatilità nelle misurazioni del tempo di esecuzione. A differenza di Python o C++, dove il tempo di esecuzione è più direttamente legato al codice sorgente, le misurazioni Java richiedono una gestione rigorosa del warm-up della JVM, dell'interferenza del GC e delle pause non deterministiche. Inoltre, i dataset Java esistenti (ad esempio, Yi et al.) sono fissi, non estendibili e mancano di ambienti containerizzati, rendendo difficile la riproducibilità man mano che le dipendenze del progetto evolvono. Infine, gli attuali benchmark di performance generalmente non possono essere estesi per raccogliere nuove patch del mondo reale basate su configurazioni definite dall'utente.

Metodologia: JETO-Mine

Per affrontare queste lacune, gli autori presentano JETO-Mine, uno strumento configurabile e riutilizzabile progettato per creare automaticamente benchmark riproducibili di ETIP in progetti Java reali. JETO-Mine opera attraverso una pipeline a tre fasi:

1. Fase di Analisi Statica

Questa fase scansiona i repository GitHub per identificare potenziali ETIP utilizzando filtri definiti dall'utente e un classificatore basato su LLM.

Selezione del Repository: Filtra per progetti Java attivi (Java 8+, Maven Wrapper) con specifici conteggi di stelle e date di aggiornamento recenti.
Filtraggio Commit/PR: Analizza i diff sul branch principale, mantenendo le modifiche che interessano solo file .java, escludendo i file di test e modificando un numero limitato di file.
Classificazione LLM: Fornisce un prompt a un LLM con il titolo dell'issue, la descrizione e il messaggio del commit per determinare se la modifica affronti principalmente il miglioramento del tempo di esecuzione.
Deduplicazione: Sostituisce i singoli commit con i loro corrispondenti Pull Request (PR) per catturare l'intento completo dello sviluppatore e deduplica in base ai diff del codice.

2. Fase di Analisi Dinamica

Questa fase trasforma gli ETIP identificati in ambienti eseguibili e riproducibili utilizzando Docker.

Costruzione dell'Ambiente: Crea immagini Docker contenenti la specifica versione di Java e le dipendenze richieste per compilare e testare il progetto.
Mitigazione JVM: Per contrastare la volatilità della JVM, la pipeline esegue un round dedicato di "warm-up" (scartato) prima delle esecuzioni temporizzate. Esegue le suite di test più volte (default $n=30$ ) all'interno di configurazioni JVM identiche per minimizzare la varianza di GC e JIT.
Test Statistici: Esegue test binomiali accoppiati a una coda sull'esecuzione dei tempi tra le versioni originale e quella patchata. Una patch è considerata un ETIP se mostra un miglioramento statisticamente significativo (p-value configurabile e percentuale di miglioramento minima) in specifiche classi di test.
Validazione: Assicura che il progetto si compili e che tutti i test passino per entrambe le versioni. Se una patch fallisce la compilazione o rompe i test esistenti, viene esclusa.

3. Harness di Valutazione

Questa fase fornisce strumenti per la valutazione quantitativa delle patch e dei test generati.

Valutazione della Patch: Prende una patch generata, la applica al codice originale all'interno del container Docker e esegue test statistici per determinare se la patch migliora il tempo di esecuzione.
Valutazione della Generazione di Test: Supporta la valutazione degli strumenti che generano "test detector di ETIP" (test che possono verificare statisticamente i miglioramenti delle performance).

Contributi Chiave

1. Strumento JETO-Mine

Il primo strumento configurabile per la creazione di benchmark di ETIP Java riproducibili. Permette ai ricercatori di raccogliere continuamente nuovi benchmark con filtri personalizzati e livelli di rigore statistico, affrontando la rigidità dei dataset esistenti.

2. Benchmark JETO-Bench

Utilizzando JETO-Mine, gli autori hanno costruito JETO-Bench, composto da:

660 ETIP Identificati: Raccolti da 174 repository Java open-source che coprono 11 anni di storia dello sviluppo (quasi 1,8 milioni di commit).
91 ETIP Eseguibili Verificati Manualmente: Un sottoinsieme curato in cui le patch vengono compilate con successo, superano i test e sono collegate a issue descrittive. Questi sono accompagnati da immagini Docker per la piena riproducibilità.
Diversità: Il benchmark copre diversi tipi di progetti (sistemi distribuiti, framework cloud-native) e include patch multi-file e multi-modulo, adatti per valutare strumenti di riparazione a livello di repository.

3. Valutazione Empirica

Gli autori hanno valutato OpenHands, un agente di codifica open-source leader, sui 91 ETIP verificati.

Success Rate: OpenHands ha corretto correttamente il 14,3% (13/91) delle issue. Questo si allinea ai tassi di successo riportati per studi simili su altri linguaggi, suggerendo che JETO-Bench sia un benchmark affidabile.
Fault Localization: Nel 27,5% dei casi, OpenHands ha modificato la corretta posizione del codice ma non è riuscito a produrre una patch semanticamente corretta, evidenziando la localizzazione dei guasti come un'area chiave di miglioramento.
Scarsità di Test: Lo studio ha rivelato che i progetti Java open-source mancano ampiamente di test che dimostrino miglioramenti nei tempi di esecuzione. Solo il 15% degli ETIP verificati conteneva benchmark JMH, e i test JUnit esistenti raramente rilevavano differenze di performance statisticamente significative.

Risultati e Conclusioni

Precisione: L'analisi manuale di 50 ETIP selezionati casualmente ha confermato un tasso di precisione del 96% per il processo di identificazione di JETO-Mine.
Scalabilità: L'analisi statica ha elaborato 1,7 milioni di commit in 478 ore (circa 20 giorni) al costo di $5,33 per il filtraggio LLM. L'analisi dinamica ha elaborato 660 ETIP in 152 ore, con un tempo mediano di build dell'immagine Docker di 34 minuti e una dimensione mediana di 790 MB.
Performance dell'Agente: OpenHands ha ottenuto un tasso di successo del 14,3%, con il 22% delle patch generate che sono state compilate con successo e hanno superato i test. L'harness di valutazione ha filtrato efficacemente le patch errate (solo 20/91 hanno superato tutti i test), confermando il valore del feedback basato sull'esecuzione.
Gap nella Generazione di Test: Un tentativo preliminare di usare OpenHands per generare test detector di ETIP per i 91 casi ha avuto successo in un solo caso, sottolineando la difficoltà di generare test che possano misurare in modo affidabile i miglioramenti delle performance.

Significato e Rivendicazioni

Il documento afferma che JETO-Mine e JETO-Bench colmano una lacuna critica nel panorama della riparazione automatizzata fornendo il primo benchmark configurabile e riproducibile per i miglioramenti del tempo di esecuzione in Java.

Riproducibilità: Utilizzando Docker e i test statistici per mitigare la volatilità della JVM, il benchmark assicura che le affermazioni sulle performance siano oggettive e riproducibili, a differenza dei precedenti dataset statici.
Estensibilità: A differenza dei dataset fissi, JETO-Mine permette alla comunità di espandere continuamente il benchmark con nuove patch secondo specifiche esigenze di ricerca.
Opportunità di Ricerca: I risultati evidenziano una significativa lacuna nelle pratiche di testing correnti: la scarsità di test che verificano i miglioramenti del tempo di esecuzione. Gli autori sostengono che questo rappresenti un'opportunità promettente per la ricerca futura nella generazione automatica di test per l'ottimizzazione delle performance.
Utilità del Benchmark: La valutazione di OpenHands dimostra che JETO-Bench è efficace per valutare le capacità e i limiti degli agenti di codifica avanzati sui compiti di performance Java, rispecchiando i risultati visti in altri linguaggi.

Gli autori concludono che, sebbene gli agenti attuali mostrino un successo limitato nel correggere problemi di performance, l'esistenza di un benchmark rigoroso e riproducibile come JETO-Bench è essenziale per guidare i futuri progressi nell'ottimizzazione automatica delle performance e nella generazione di test.