Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

Nelle fabbriche che costruiscono le macchine che alimentano l'industria moderna, arriva un momento critico prima che qualsiasi prodotto lasci la linea di assemblaggio: l'ispezione finale. Questa non è una semplice verifica estetica della verniciatura, ma una verifica rigorosa e ad alta posta in gioco del software che permette a un essere umano di comunicare con una macchina. Questi sistemi, noti come interfacce uomo-macchina, devono funzionare perfettamente ogni singola volta, eppure vengono testati sotto un vincolo implacabile: il tempo. La linea di produzione non può fermarsi per ore per eseguire ogni possibile controllo, e il budget per i test è fisso e non negoziabile. Se un guasto critico sfugge alla verifica, le conseguenze possono essere gravi, ma se i test richiedono troppo tempo, la fabbrica perde denaro. Per decenni, gli ingegneri hanno risolto questo dilemma affidandosi alla propria esperienza, scegliendo un sottoinsieme di test da eseguire in base all'intuizione e a vecchie liste di controllo. Questo approccio è incoerente; un ingegnere potrebbe individuare un difetto pericoloso che un altro potrebbe mancare, e il processo cambia ogni volta che arriva una nuova versione del prodotto. La sfida centrale è decidere quali test siano assolutamente necessari e quali possano essere saltati senza compromettere la sicurezza, trasformando un'ipotesi soggettiva in una decisione affidabile e basata sui dati.

Un team di ricercatori della Sichuan Technology and Business University ha affrontato questo problema sviluppando un nuovo modo per programmare questi test, passando dall'intuizione umana a un sistema di punteggio matematico. Chiamano il loro metodo "Time-Weighted Utility Scoring Model" (Modello di Punteggio dell'Utilità Pesata nel Tempo). Invece di chiedere a un ingegnere di decidere se eseguire un test o saltarlo, il sistema calcola automaticamente un punteggio per ogni singolo caso di test presente nella libreria. Questo punteggio non è un semplice passaggio o fallimento; è un valore complesso derivato da tre fattori specifici. Primo, il sistema analizza il rischio: quanto è probabile che questa specifica funzione fallisca in base alla sua cronologia? Secondo, pesa l'importanza: quanto è critica questa funzione per la sicurezza e l'operatività della macchina? Terzo, misura il costo: quanto tempo e potenza di calcolo richiede l'esecuzione di questo specifico test? Combinando questi tre elementi, il modello genera un numero singolo che rappresenta il valore complessivo dell'esecuzione di quel test in quel preciso momento.

I ricercatori hanno applicato questo modello a un sistema di interfaccia uomo-macchina industriale e hanno scoperto che poteva ridurre drasticamente il tempo richiesto per i test senza sacrificare la sicurezza. Nei loro esperimenti, l'esecuzione dell'intero set di test richiedeva 425,9 secondi. Utilizzando il loro nuovo sistema di punteggio per selezionare solo i test più preziosi, hanno ridotto il tempo totale a 174,9 secondi, una riduzione di quasi il 59 percento. Fondamentalmente, questa velocità non è avvenuta a scapito della rilevazione degli errori. Il sistema ha rilevato il 100 percento dei guasti critici che l'intero set di test avrebbe trovato. Ci è riuscito identificando un piccolo gruppo di test ad alta priorità che erano obbligatori per la sicurezza e utilizzando un metodo di campionamento intelligente per il resto, assicurando che i guasti più probabili venissero catturati precocemente nel processo.

Il cuore del sistema è la sua capacità di apprendere e adattarsi. I punteggi non sono statici; vengono aggiornati dopo ogni round di test. Se un caso di test è passato con successo molte volte in passato, il suo punteggio di rischio diminuisce e il sistema può ammetterlo all'esecuzione con una probabilità inferiore. Al contrario, se un caso di test ha una storia di fallimenti, il suo punteggio di rischio sale e il sistema lo dà priorità per garantire che il problema venga rilevato. Per i casi che ottengono un punteggio superiore a una soglia predefinita, il sistema li include deterministicamente come test obbligatori, mentre i restanti sono ammessi tramite campionamento probabilistico proporzionale ai loro punteggi. Ciò crea un ciclo di feedback in cui la strategia di test evolve con il prodotto. I ricercatori hanno validato questo approccio facendo in modo che cinque diversi ingegneri senior valutassero indipendentemente l'importanza e il rischio dei test. Hanno scoperto che, sebbene le opinioni individuali degli ingegneri variassero leggermente, il risultato finale del sistema rimaneva stabile e coerente tra diversi gruppi di dati. Ciò dimostra che il metodo non si basa sul giudizio specifico di una persona, ma produce un risultato affidabile indipendentemente da chi effettua la valutazione.

Uno dei risultati più significativi è che il sistema non si limita a scegliere i test più economici o quelli con il maggior numero di errori storici. Esso bilancia tutti e tre i fattori simultaneamente. Quando i ricercatori hanno testato il sistema osservando un solo fattore alla volta — come la scelta dei test basata solo sul costo o solo sul rischio — i risultati sono stati molto peggiori. Il sistema che considerava tutti e tre i fattori insieme è stato in grado di trovare i guasti molto più velocemente e con meno test rispetto a qualsiasi approccio a fattore singolo. Nei loro tentativi, il nuovo metodo ha richiesto l'esecuzione di soli circa 23 casi di test specifici per raggiungere un tasso di rilevamento dei guasti del 100 percento all'interno del gruppo sperimentale specifico di 1.200 esecuzioni, mentre altri metodi richiedevano significativamente più test per raggiungere lo stesso livello di confidenza. Questa efficienza significa che le fabbriche possono verificare la sicurezza dei loro prodotti in meno della metà del tempo, liberando risorse per la produzione pur mantenendo uno standard di tolleranza zero per i difetti critici.

Lo studio dimostra che sostituire le decisioni ad hoc basate sull'esperienza con una procedura documentata e basata sul punteggio non è solo possibile, ma superiore per il software industriale critico per la sicurezza. I ricercatori hanno dimostrato che, trattando la selezione dei test come una decisione di rischio sulla qualità piuttosto che come una semplice questione di efficienza, potevano garantire la verifica delle funzioni critiche massimizzando al contempo il numero di guasti trovati per unità di tempo. I risultati sono stati coerenti attraverso molteplici gruppi indipendenti di dati, suggerendo che il metodo è robusto e riproducibile. Trasformando il processo caotico della selezione dei test in un piano sistematico e consapevole delle risorse, questo approccio offre un nuovo standard per i test di accettazione in fabbrica, garantendo che le macchine che alimentano il nostro mondo siano sicure, affidabili e pronte per il mercato senza sprecare tempo prezioso.