Technische Samenvatting: ConformalFL

Probleemstelling

Spectrum-Based Fault Localization (SBFL) genereert een rangschikking van uitvoerbare programmalijnen op basis van testdekking, maar slaagt er niet in de ontwikkelaar een concreet stopcriterium te bieden. Ontwikkelaars moeten beslissen hoeveel regels ze moeten inspecteren voordat ze de rangschikking verlaten, een beslissing die wordt bemoeilijkt door enorme verschillen in programmagrootte, testondersteuning, scoreconcentratie en exacte score-gelijkheden (ties). Bestaande benaderingen vertrouwen vaak op vaste Top-N-beleidsregels of ongekalibreerde heuristieken die deze operationele realiteiten negeren en geen formele garantie bieden met betrekking tot het risico op het missen van een fout.

Het artikel adresseert de behoefte aan een methode die een door de gebruiker gekozen "marginaal missingsrisico" (bijv. "Ik ben bereid om de fout in 10% van de gevallen te missen") vertaalt naar een specifieke, bug-adaptieve inspectieset. Het doel is om een controleerbare, tie-complete set kandidaten te bieden die met een gegarandeerde waarschijnlijkheid ten minste één gemapte foutieve lijn bevat, zonder aan te nemen dat de methode de onderliggende kwaliteit van de SBFL-rangschikking verbetert.

Methodologie

De voorgestelde methode, ConformalFL, past Conformalized Quantile Regression (CQR) toe om de inspectie-afkapwaarde voor een specifieke bug te voorspellen op basis van de pre-fout spectrumkenmerken.

1. Doelformulering

De methode definieert het voorspellingstarget als de genormaliseerde invoerpositie van de vroegste foutieve scoregroep ($y_{entry}$).

• Operationele Logica: Kandidaten worden gerangschikt op basis van een dalende SBFL-score. Exacte gelijkheden vormen scoregroepen. De methode voorspelt een fractie $b_i$ en berekent een afkapindex $k_i$. De resulterende kandidaatenset bevat alle lijnen met scores die groter dan of gelijk aan de score op positie $k_i$ zijn.
• Tie-afhandeling: Om te garanderen dat de set "tie-complete" is, wordt de gehele groep opgenomen als de afkapwaarde binnen een tie-groep valt. Het target is het invoerpunt van de foutieve tie-groep, niet het eindpunt, om onnodige dubbeltellingen van de tie-expansie te voorkomen.

2. Voorspellingspipeline

• Feature Vector: Het model gebruikt 20 kenmerken die beschikbaar zijn voordat de fout wordt onthuld, waaronder codegrootte, test/dekking-metrieken en 12 distributiekenmerken van de Ochiai-scores (momenten, entropie, gaten, tie-aantallen, etc.). Projectidentiteit en foutlocatie worden uit het primaire model uitgesloten.
• Quantile Regression: Een gradient-boosted regressor schat het conditionele bovenste kwantiel ($bq_{1-\alpha}$) van het target $y_{entry}$ gegeven de kenmerken $x_i$.
• Conformal Correctie: Om een dekking in eindige steekproeven te garanderen, gebruikt de methode een gehouden kalibratieset. Het berekent eenzijdig residuen ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) en past een correctie toe op basis van het $(1-\alpha)$-kwantiel van deze residuen.
• Finale Afkapwaarde: Het uiteindelijke budget is de som van het voorspelde kwantiel en de conformal correctie, afgeknipt naar $[0, 1]$. Als de vereiste omvang van de kalibratiesample onvoldoende is (bijv. voor zeer hoge dekkingstargets met kleine datasets), schakelt de methode over op een "geen-compressie" uitkomst (volledige inspectie), waarbij expliciet wordt gesignaleerd dat het gevraagde risiconiveau niet ondersteund wordt.

3. Experimenteel Ontwerp

• Dataset: Een vastgelegde universum van 395 historische Defects4J bugs (Java), gereduceerd tot 248 "kandidaat-aanwezige" bugs (die ten minste één gemapte foutieve uitvoerbare lijn hebben en zowel passerende als falende tests).
• Protocol: 30 project-gestratificeerde splitsingen (60% training, 20% kalibratie, 20% test).
• Vergelijkingsmethoden:
  • GBR: De ongekalibreerde gradient-boosted quantile regressor.
  • Global Conformal: Een kenmerk-onafhankelijke constante afkapwaarde afgeleid van kalibratie-targets.
  • Vaste Beleidsregels: Vooraf geregistreerde Top-N en vaste percentage-beleidsregels (bijv. Top-10%).
• Stress Tests: Gehouden project (Leave-One-Project-Out), chronologisch (temporele verschuiving) en cross-language (transfer naar Python/BugsInPy) evaluaties.

Belangrijkste Resultaten

Geëvalueerd bij een nominaal dekkingniveau van 90%:

1. Dekking vs. Werkbelasting:

   • ConformalFL (CQR): Bereikte 91,8% gemiddelde dekking terwijl 30,2% van de uitvoerbare kandidaten werd geïnspecteerd (mediaan 508,5 regels).
   • Ongekalibreerd (GBR): Bereikte 87,6% dekking bij 15,6% inspectie.
   • Global Conformal: Bereikte 91,8% dekking maar vereiste 44,2% inspectie.
   • Vaste Top-10%: Bereikte 90,1% dekking bij 28,3% inspectie.

2. Kalibratiewaarde:

   • Kalibratie voegde ongeveer 4,2 procentpunten dekking toe over de ongekalibreerde GBR, maar tegen een kost van +14,7 procentpunten in inspectie-inspanning.
   • Vergeleken met de constante Global Conformal afkapwaarde, behield CQR dezelfde gemiddelde dekking terwijl het de inspectie met 14,0 procentpunten verminderde, wat de waarde van bug-adaptieve afkapwaarden boven statische waarden aantoont.

3. Werkbelastingsverdeling:

   • De werkbelastingsverdeling is sterk scheef. Terwijl de mediaan inspectie ~508 regels was, was het gemiddelde ~1.521 regels door een zware staart.
   • 18,9% van de gevallen resulteerde in "geen compressie" (volledige inspectie) omdat score-gelijkheden de kandidaatenset uitbreidden tot de volledige rangschikking. Dit gebeurde specifiek wanneer de afkapwaarde op een nul-score grens viel.

4. Stress Tests:

   • Project Verschuiving: Dekking varieerde per project (85,7%–100%), en kleine kalibratiesamples (bijv. 5 bugs) resulteerden in triviale (100% inspectie) uitkomsten.
   • Cross-Language: Wanneer overgedragen naar Python (BugsInPy) zonder hertraining, behield CQR een hoge empirische dekking (98,3%), maar leed het onder ernstige degradatie van de werkbelasting, waarbij gemiddeld 66,9% van de statements werd geïnspecteerd, met 53,3% van de gevallen die een volledige inspectie vereisten.

Betekenis en Claims

Het artikel maakt bescheiden, specifieke claims met betrekking tot de bijdrage van ConformalFL:

• Controleerbaar Risicobeheer: De primaire bijdrage is een controleerbare mapping van een gevraagd missingsrisico naar een bug-adaptieve, tie-complete inspectieset. Het biedt een formele garantie van marginale dekking onder de aanname van uitwisselbaarheid (exchangeability) tussen kalibratie- en implementatie-bugs.
• Geen Universele Dominantie: Het artikel stelt expliciet dat ConformalFL niet empirisch domineert over goed gekozen vaste beleidsregels (zoals Top-10%) op deze benchmark. De vaste Top-10% beleidsregel presteerde vergelijkbaar qua dekking en inspanning zonder kalibratie te vereisen.
• Beperkingen:
  • De methode verbetert de onderliggende SBFL-rangschikkingskwaliteit niet.
  • De methode garandeert geen conditionele dekking voor specifieke projecten of subpopulaties.
  • De methode garandeert geen validiteit onder distributieverschuivingen (bijv. cross-language of nieuwe projecten) waar uitwisselbaarheid faalt.
  • De methode meet geen menselijke debugtijd, aangezien het aantal regels niet gelijkstaat aan context-switching kosten of begripsinspanning.

Conclusie: ConformalFL biedt een praktische tool voor teams met historische foutgegevens om ongekalibreerde heuristieken te vervangen door een transparante regel die expliciet de afweging maakt tussen missingsrisico en inspectie-inspanning. De bruikbaarheid is echter begrensd door de vereiste van representatieve kalibratiegegevens en de potentie voor "geen-compressie" uitkomsten wanneer score-gelijkheden frequent voorkomen of kalibratiesamples klein zijn.