Bug-Report-Driven Fault Localization: Industrial Benchmarking and Lesson Learned at ABB Robotics

1. Enunciazione del Problema

Nella manutenzione del software industriale, l'identificazione della posizione di un guasto (fault localization) rappresenta un collo di bottiglia dispendioso in termini di tempo e costi. Gli sviluppatori fanno spesso affidamento su segnalazioni di bug testuali (titoli e descrizioni) durante la fase di triage, senza avere accesso a tracce di esecuzione, log dinamici o al contesto completo del codice. Sebbene l'Apprendimento Automatico (ML) e i Modelli Linguistici di Grande Dimensione (LLM) abbiano mostrato promesse in contesti open-source, la loro applicabilità in ambienti industriali riservati e proprietari rimane poco esplorata.

La sfida principale affrontata è: I modelli di elaborazione del linguaggio naturale (NLP), utilizzando solo il testo delle segnalazioni di bug, possono prevedere con accuratezza i componenti software specifici (sottocartelle) dove è necessaria una correzione, senza accesso al codice sorgente o agli artefatti di runtime?

2. Metodologia

Fonte dei Dati e Contesto

• Dataset: Dati proprietari di ABB Robotics (Västerås, Svezia), comprendenti cinque anni di segnalazioni di bug risolte.
• Volume: 660 segnalazioni di bug uniche collegate a commit di codice verificati.
• Etichette: L'obiettivo è stato definito a livello di sottocartella (componente) piuttosto che a livello di singolo file. Questa astrazione si allinea ai flussi di lavoro degli sviluppatori, riduce la sparsità delle etichette e rispetta la coerenza architetturale.
• Vincoli: Lo studio è stato condotto in stretta confidenzialità (esecuzione on-premise), senza accesso al codice sorgente, ai grafi di chiamata o alle tracce di esecuzione durante l'inferenza.

Pipeline Sperimentale

Lo studio ha inquadrato la localizzazione dei guasti come un problema di classificazione e ranking di testo multi-etichetta. La pipeline includeva:

1. Preprocessing: Normalizzazione del testo (minuscolo, rimozione del camel case, lemmatizzazione, rimozione delle stop-word) ed eliminazione dei metadati non testuali (es. gravità, assegnatario) per garantire uno scenario "solo testo".
2. Estrazione delle Caratteristiche:
   • ML Tradizionale: Vettori TF-IDF (Frequenza del Termine–Frequenza Inversa del Documento) e Embedding di Frasi (utilizzando all-mpnet-base-v2).
   • Trasformatori: Tokenizzazione nativa per RoBERTa-Base e Distil-RoBERTa.
3. Aumento dei Dati: Per affrontare lo squilibrio delle classi e i dati limitati, gli autori hanno applicato la sostituzione di sinonimi (basata su WordNet) e lo scambio casuale di parole al set di addestramento. Le strategie includevano l'aumento dell'intero set rispetto al targeting solo delle etichette sottorappresentate.
4. Modelli Valutati:
   • Tradizionali: Regressione Logistica (LR), Macchina a Vettori di Supporto (SVM), Foreste Casuali (RF).
   • Deep Learning: RoBERTa-Base e Distil-RoBERTa fine-tuned.
5. Metriche di Valutazione: Sono state utilizzate metriche centrate sul ranking per simulare il processo decisionale degli sviluppatori:
   • Accuratezza Top-$k$ (Hit@k) per $k \in \{1, 3, 5, 10\}$.
   • Recall@k, Precisione Media Media (MAP) e Rank Reciproco Medio (MRR).

3. Contributi Chiave

1. Benchmark Industriale: Una valutazione su larga scala della localizzazione dei guasti basata solo su testo su un sistema industriale reale e proprietario, in contrasto con studi precedenti basati su dati open-source o artefatti ausiliari (come stack trace).
2. Confronto dei Modelli: Un confronto controllato tra modelli leggeri e interpretabili (LR, SVM, RF) e LLM basati su Transformer fine-tuned sotto vincoli industriali identici.
3. Evidenza Empirica sugli LLM: Risultati che mettono in discussione l'assunzione secondo cui gli LLM superano universalmente i metodi classici in contesti industriali specifici del dominio e vincolati dai dati.
4. Linee Guida Azionabili: Raccomandazioni pratiche per l'adozione industriale, identificando quando i modelli semplici sono sufficienti rispetto a quando i modelli complessi aggiungono valore marginale.
5. Riproducibilità: Un pacchetto di replicazione pubblico (esclusi i dati proprietari) contenente script, configurazioni e iperparametri.

4. Risultati Chiave

Confronto delle Prestazioni (RQ1 & RQ2)

• Modelli Tradizionali vs. LLM: Contrariamente alle aspettative, i modelli tradizionali che utilizzano caratteristiche TF-IDF hanno costantemente superato o eguagliato i modelli RoBERTa fine-tuned.
  • Migliore Esecutore: La Regressione Logistica (LR) con TF-IDF e aumento Random Swap ha raggiunto il MRR più alto (0,6655) ed è stata in pareggio per la migliore Accuratezza Top-1 (52,63%).
  • Random Forest (RF): Con l'aumento Full Synonym Replacement, la RF ha raggiunto il MAP più alto (0,6171) e il Recall@1 (42,65%).
  • SVM: Ha ottenuto i migliori risultati su Accuratezza Top-5 (85,53%) e Recall@5 (78,51%) senza aumento.
• Prestazioni degli LLM: Né RoBERTa-Base né Distil-RoBERTa hanno superato i migliori baseline TF-IDF. Distil-RoBERTa si è generalizzato leggermente meglio di RoBERTa-Base, ma è comunque rimasto indietro rispetto ai modelli lineari.
• Importanza delle Caratteristiche: Le caratteristiche TF-IDF hanno superato significativamente gli Embedding di Frasi per i modelli tradizionali. Ciò suggerisce che in questo specifico dominio, indizi lessicali precisi e terminologia specifica del dominio sono più predittivi della similarità semantica generalizzata.

Impatto dell'Aumento dei Dati

• L'aumento ha avuto un effetto dipendente dal modello. Ha migliorato sostanzialmente le prestazioni di Random Forest, ma ha offerto guadagni marginali o leggermente negativi per LR e SVM (probabilmente perché le perturbazioni hanno diluito le parole chiave discriminative).
• Gli LLM hanno beneficiato dell'aumento, ma non hanno colmato il divario con i migliori baseline TF-IDF.

Evidenze Quantitative

• Accuratezza Top-1: ~53% (significa che il componente raccomandato per primo era corretto in oltre la metà dei casi).
• Accuratezza Top-5: Fino a ~86% (gli sviluppatori possono trovare il componente corretto tra le prime 5 raccomandazioni nella stragrande maggioranza dei casi).
• MAP/MRR: ~0,61–0,66, indicando una forte qualità del ranking.

5. Significato e Implicazioni

• Economicità e Deployabilità: Lo studio dimostra che modelli leggeri ed eseguibili localmente (LR/SVM con TF-IDF) sono sufficienti per la localizzazione dei guasti industriale. Non richiedono accesso al codice sorgente, né API esterne, né risorse computazionali minime, rendendoli ideali per ambienti riservati.
• Sfida all'"Hype degli LLM": In contesti industriali specifici del dominio e vincolati dai dati, con alto squilibrio delle classi, i modelli Transformer complessi non forniscono necessariamente un vantaggio prestazionale rispetto a modelli classici ben sintonizzati. La natura "scatola nera" e il costo computazionale degli LLM potrebbero non essere giustificati quando modelli più semplici raggiungono risultati comparabili o superiori.
• Adozione Pratica: I risultati suggeriscono un percorso di adozione pragmatico:
  1. Iniziare con LR o SVM utilizzando TF-IDF per un triage rapido.
  2. Introdurre Random Forest con aumento se lo squilibrio delle etichette diventa un fattore limitante.
  3. Integrare le liste classificate direttamente nei tracker dei bug per restringere lo spazio di ricerca, agendo come strumento di supporto piuttosto che come localizzatore completamente automatizzato.
• Validità: Sebbene limitato a un singolo sistema (minaccia alla validità esterna), la rigorosa configurazione on-premise e i vincoli realistici forniscono un benchmark altamente credibile per l'adozione dell'AI industriale.

In conclusione, il documento fornisce prove empiriche che le segnalazioni di bug storiche possono essere sistematicamente sfruttate per una localizzazione dei guasti assistita dall'AI, scalabile e a basso costo, validando l'uso di modelli interpretabili basati solo su testo come complemento robusto alle pratiche di debug tradizionali nell'industria.