AutoRestTest at the SBFT 2026 Tool Competition

Riepilogo Tecnico: AutoRestTest alla competizione degli strumenti SBFT 2026

Definizione del Problema
Testare le API REST presenta sfide significative a causa dei vasti spazi di input e delle complesse dipendenze tra le operazioni. La maggior parte degli strumenti esistenti utilizza un approccio black-box, utilizzando le specifiche OpenAPI (OAS) per esercitare gli endpoint senza accesso al codice sorgente. Tuttavia, navigare efficacemente in questi vasti spazi di input per rilevare guasti, mantenendo l'efficienza, rimane un gap di ricerca critico. La competizione SBFT 2026 REST League è stata istituita per fornire un benchmark standardizzato caratterizzato da servizi diversificati e criteri di valutazione robusti per distinguere i migliori strumenti in questo dominio.

Metodologia
AutoRestTest affronta queste sfide attraverso un flusso di lavoro che integra tre componenti principali: un Grafo di Dipendenza delle Proprietà Semantiche (SPDG), un sistema di Apprendimento per Rinforzo Multi-Agente (MARL) e un modulo di generazione di valori guidato da Modelli di Linguaggio di Grandi Dimensioni (LLM).

1. Grafo di Dipendenza delle Proprietà Semantiche (SPDG): Il sistema analizza l'OAS per costruire un grafo in cui le operazioni API fungono da vertici. Utilizzando un modello di embedding GloVe leggero, calcola la somiglianza semantica tra parametri, corpi della richiesta e risposte tra coppie di operazioni. Gli archi vengono aggiunti dove la somiglianza supera una soglia configurabile, creando un grafo pesato che cattura la forza della dipendenza dei parametri. Questo grafo viene aggiornato dinamicamente man mano che il testing procede e nuove dipendenze vengono scoperte.
2. Apprendimento per Rinforzo Multi-Agente (MARL): Il sistema impiega quattro agenti specializzati, ognuno dei quali mantiene una Q-table e seleziona azioni tramite una strategia epsilon-greedy:
   • Agente di Operazione: Seleziona il prossimo endpoint da esplorare.
   • Agente di Parametro: Utilizza il campionamento stratificato per determinare quali parametri includere, garantendo la presenza di tutti i parametri richiesti pur bilanciando la copertura per quelli opzionali.
   • Agente di Valore: Determina le fonti di dati e assegna i valori. Esso attinge da candidati generati da LLM, risposte precedentemente riuscite o valori predefiniti.
   • Agente di Dipendenza: Mantiene l'SPDG e traccia le dipendenze tra le operazioni.
   • Nota: Un agente per l'header dell'autenticazione bearer è stato supportato ma disabilitato per la competizione.
3. Generazione di Valori Guidata da LLM: Per minimizzare l'uso di token, la generazione dei valori avviene in una fase di pre-elaborazione parallelizzata. Per ogni operazione, il sistema interroga un LLM per produrre valori di parametri consapevoli del dominio. Questi vengono validati rispetto al Sistema Sotto Test (SUT). In caso di fallimento della validazione, le risposte del server informano una query raffinata, ripetendo l'operazione fino a tre volte. I valori validati (o i valori dell'ultimo tentativo) sono memorizzati nello spazio di azione dell'agente di valore per il riutilizzo.
4. Generazione e Mutazione delle Richieste: Una volta inizializzati gli agenti, essi selezionano indipendentemente le azioni per costruire le richieste. Il codice di stato della risposta guida un segnale di ricompensa condiviso: le risposte 2xx sono prioritarie per costruire catene di successo, le risposte 5xx sono premiate per incoraggiare il rilevamento di guasti, e altre risposte sono penalizzate per indirizzare l'esplorazione. Inoltre, il sistema applica mutazioni ai payload (ad esempio, alterazioni del tipo di parametro, sostituzioni di valori limite) per scoprire casi limite ed errori interni del server.

Contributi Chiave e Raffinamenti
Dalla sua presentazione iniziale, AutoRestTest è stato perfezionato per migliorarne l'efficienza e la robustezza:

• Pre-elaborazione LLM Parallelizzata: Riduce i tempi di configurazione elaborando le operazioni in modo concorrente.
• Gestione Migliorata dei Parametri: Inclusione esplicita dei parametri richiesti e campionamento stratificato per quelli opzionali.
• Mutazioni di Valore Limite: Mutazioni mirate (ad esempio, stringhe vuote, valori numerici estremi) per innescare errori del server.
• Compatibilità Ampliata: Supporto per provider LLM più economici e open-source e migliorata analisi OAS per specifiche diverse.

Risultati
Nella SBFT 2026 REST League, AutoRestTest ha competuto contro altri cinque strumenti state-of-the-art black-box (CATS, EvoMaster, RESTest, RestTestGen e Schemathesis) su 11 API REST reali contenenti 317 operazioni. Ogni strumento è stato eseguito 10 volte per API con un budget temporale di un'ora.

• Classifica: AutoRestTest ha ottenuto il primo posto in tutte e tre le categorie di valutazione: rilevamento dei guasti, efficienza complessiva ed efficacia complessiva.
• Rilevamento dei Guasti: Ha rilevato una media di 67,09 errori unici del server (5xx) per API, che è 2,7 volte superiore allo strumento successivo (24,65).
• Efficienza: Ha raggiunto un'Area Sotto la Curva (AUC) del rilevamento dei guasti di 151.490, che è 2,3 volte superiore al concorrente più vicino (66.761), indicando una generazione rapida di test efficaci.
• Copertura: Ha coperto una media di 17,27 operazioni elaborate con successo per API, dimostrando una copertura ampia.
• Costo: Il sistema ha consumato circa 9,6 milioni di input token e 2,2 milioni di output token in tutte le esecuzioni, per un costo totale di circa $1,83, ovvero circa $0,02 per esecuzione per servizio.

Significato e Limitazioni
Il documento afferma che il successo di AutoRestTest deriva dalla sinergia tra l'esplorazione consapevole delle dipendenze (SPDG), la generazione di test adattiva (MARL) e la generazione di input consapevole del dominio (LLM). I risultati suggeriscono che questa architettura è particolarmente efficace in ambienti con vincoli temporali, producendo rapidamente test di alto valore.

Gli autori riconoscono una specifica limitazione incontrata durante la competizione: un crash sull'API di ricerca voli causato da un'assunzione implicita di codifica UTF-8 nel parser della risposta. Notano che le versioni future mireranno a gestire le diverse codifiche di risposta in modo più fluido. Lo strumento è pubblicamente disponibile come software open-source.