Sintesi Tecnica: ConformalFL

Definizione del Problema

La localizzazione dei guasti basata sullo spettro (SBFL) genera una classificazione di righe di codice eseguibili basata sulla copertura dei test, ma non fornisce al programmatore un criterio di arresto concreto. I programmatori devono decidere quante righe ispezionare prima di abbandonare la classificazione, una decisione complicata dalle vaste differenze nella dimensione del programma, nel supporto dei test, nella concentrazione dei punteggi e nei legami esatti tra i punteggi. Gli approveri esistenti spesso si affidano a politiche Top-N fisse o euristiche non calibrate che ignorano queste realtà operative e non offrono una garanzia formale riguardo al rischio di mancare un guasto.

Il documento affronta la necessità di un metodo che traduca un "rischio di mancata individuazione marginale" selezionato dall'utente (ad esempio, "Sono disposto a mancare il guasto nel 10% dei casi") in un insieme di ispezione specifico e adattivo al bug. L'obiettivo è fornire un insieme di candidati verificabile e completo rispetto ai legami (tie-complete) che contenga almeno una riga guasta mappata con una probabilità garantita, senza assumere che il metodo migliori la qualità della classificazione SBFL sottostante.

Metodologia

Il metodo proposto, ConformalFL, applica la Regressione Quantilica Conformalizzata (CQR) per prevedere il punto di interruzione dell'ispezione per un bug specifico in base alle sue caratteristiche spettrali pre-guasto.

1. Formulazione del Target

Il metodo definisce il target di previsione come la posizione di ingresso normalizzata del primo gruppo di punteggi guasti ($y_{entry}$).

• Logica Operativa: I candidati sono ordinati per punteggio SBFL decrescente. I legami esatti formano gruppi di punteggio. Il metodo prevede una frazione $b_i$ e calcola un indice di interruzione $k_i$. L'insieme dei candidati risultante include tutte le righe con punteggi maggiori o uguali al punteggio alla posizione $k_i$.
• Gestione dei Legami (Tie Handling): Per garantire che l'insieme sia "tie-complete", se l'interruzione cade all'interno di un gruppo di legami, l'intero gruppo viene incluso. Il target è il punto di ingresso del gruppo di legami guasto, non la fine, per evitare un doppio conteggio non necessario dell'espansione dei legami.

2. Pipeline di Previsione

• Vettore di Caratteristiche: Il modello utilizza 20 caratteristiche disponibili prima che il guasto venga rivelato, inclusi la dimensione del codice, metriche di test/copertura e 12 caratteristiche di distribuzione dei punteggi Ochiai (momenti, entropia, gap, conteggi dei legami, ecc.). L'identità del progetto e la posizione del guasto sono esclusi dal modello primario.
• Regressione Quantilica: Un regressore gradient-boosted stima il quantile superiore condizionale ($bq_{1-\alpha}$) del target $y_{entry}$ date le caratteristiche $x_i$.
• Correzione Conformal: Per ottenere garanzie di copertura marginale su campioni finiti, il metodo utilizza un set di calibrazione tenuto separato. Calcola i residui unidirezionali ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) e applica una correzione basata sul quantile $(1-\alpha)$ di questi residui.
• Interruzione Finale: Il budget finale è la somma del quantile previsto e della correzione conformale, limitato all'intervallo $[0, 1]$. Se la dimensione del campione di calibrazione richiesto è insufficiente (ad esempio, per obiettivi di copertura molto elevati con dataset piccoli), il metodo passa a un esito di "nessuna compressione" (ispezione completa), segnalando esplicitamente che il livello di rischio richiesto non è supportato.

3. Disegno Sperimentale

• Dataset: Un universo fissato di 395 bug storici Defects4J (Java), ridotto a 248 bug "con candidato presente" (quelli con almeno una riga eseguibile guasta mappata e sia test passanti che falliti).
• Protocollo: 3letture di split stratificate per progetto (60% training, 20% calibrazione, 20% test).
• Comparatori:
  • GBR: Il regressore quantilico gradient-boosted non calibrato.
  • Global Conformal: Un cutoff costante indipendente dalle caratteristiche derivato dai target di calibrazione.
  • Politiche Fisse: Politiche Top-N e a percentuale fissa (es. Top-10%) pre-registrate.
• Stress Test: Valutazioni su progetto tenuto fuori (Leave-One-Project-Out), cronologica (spostamento temporale) e cross-language (trasferimento su Python/BugsInPy).

Risultati Chiave

Valutati a un livello di copertura nominale del 90%:

1. Copertura vs. Carico di Lavoro:

   • ConformalFL (CQR): Ha raggiunto il 91,8% di copertura media ispezionando il 30,2% dei candidati eseguibili (mediana 508,5 righe).
   • Non Calibrato (GBR): Ha raggiunto l'87,6% di copertura al 15,6% di ispezione.
   • Global Conformal: Ha raggiunto il 91,8% di copertura ma ha richiesto il 44,2% di ispezione.
   • Fixed Top-10%: Ha raggiunto il 90,1% di copertura al 28,3% di ispezione.

2. Valore della Calibrazione:

   • La calibrazione ha aggiunto circa 4,2 punti percentuali di copertura rispetto al GBR non calibrato, ma a un costo di +14,7 punti percentuali di sforzo di ispezione.
   • Rispetto al cutoff costante di Global Conformal, CQR ha mantenuto lo stesso livello medio di copertura riducendo l'ispezione del 14,0 punti percentuali, dimostrando il valore dei cutoff adattivi al bug rispetto a quelli statici.

3. Distribuzione del Carico di Lavoro:

   • La distribuzione del carico di lavoro è altamente asimmetrica. Mentre l'ispezione mediana era di circa 508 righe, la media era di circa 1.521 righe a causa di una coda pesante.
   • Il 18,9% dei casi ha portato a "nessuna compressione" (ispezione completa) a causa dell'espansione del set di candidati dovuta ai legami di punteggio. Ciò è accaduto specificamente quando l'interruzione cadeva su un confine di punteggio zero.

4. Stress Test:

   • Spostamento di Progetto (Project Shift): La copertura variava per progetto (85,7%–100%), e campioni di calibrazione piccoli (ad es. 5 bug) hanno portato a esiti vacui (100% ispezione).
   • Cross-Language: Quando trasferito su Python (BugsInPy) senza riaddestramento, CQR ha mantenuto un'alta copertura empirica (98,3%) ma ha subito un grave degrado del carico di lavoro, ispezionando in media il 66,9% delle istruzioni, con il 53,3% dei casi che richiedeva l'ispezione completa.

Significato e Rivendicazioni

Il documento presenta rivendicazioni modeste e specifiche riguardo al contributo di ConformalFL:

• Controllo del Rischio Verificabile: Il contributo primario è una mappatura verificabile da un rischio di mancata individuazione richiesto a un insieme di ispezione adattivo al bug e completo rispetto ai legami. Fornisce una garanzia formale di copertura marginale sotto l'assunto di scambiabilità tra i bug di calibrazione e quelli di deployment.
• Nessuna Dominanza Universale: Il documento afferma esplicitamente che ConformalFL non domina empiricamente le politiche fisse ben scelte (come Top-10%) in questo benchmark. La politica fissa Top-10% ha performato in modo comparabile in termini di copertura e sforzo senza richiedere calibrazione.
• Limitazioni:
  • Il metodo non migliora la qualità della classificazione SBFL sottostante.
  • Non garantisce la copertura condizionale per progetti o sottogruppi specifici.
  • Non garantisce la validità in presenza di spostamenti di distribuzione (ad es. cross-language o nuovi progetti) dove la scambiabilità fallisce.
  • Non misura il tempo di debugging umano, poiché il numero di righe non equivale ai costi di cambio contesto o allo sforzo di comprensione.

Conclusione: ConformalFL offre uno strumento pratico per i team dotati di dati storici sui guasti per sostituire le euristiche non calibrate con una regola trasparente che scambia esplicitamente il rischio di mancata individuazione con lo sforio di ispezione. Tuttavia, la sua utilità è limitata dalla necessità di dati di calibrazione rappresentativi e dal potenziale esito di "nessuna compressione" quando i legami di punteggio sono prevalenti o i campioni di calibrazione sono piccoli.