Technisches Resümee: ConformalFL

Problemstellung

Die spektrum-basierte Fehlersuche (Spectrum-Based Fault Localization, SBFL) generiert eine Rangfolge ausführbarer Programmzeilen basierend auf der Testabdeckung, versagt jedoch dabei, dem Entwickler ein konkretes Abbruchkriterium zu liefern. Entwickler müssen entscheiden, wie viele Zeilen sie untersuchen sollen, bevor sie die Rangfolge aufgeben – eine Entscheidung, die durch enorme Unterschiede in der Programmgröße, der Testunterstützung, der Konzentration der Scores und exakten Score-Gleichständen (Ties) erschwert wird. Bestehende Ansätze verlassen sich oft auf feste Top-N-Policys oder unkalibrierte Heuristiken, die diese operativen Realitäten ignorieren und kein formales Garantieverhältnis hinsichtlich des Risikos, einen Fehler zu übersehen, bieten.

Das Paper adressiert die Notwendigkeit einer Methode, die ein vom Benutzer gewähltes „marginales Miss-Risiko“ (z. B. „Ich bin bereit, den Fehler in 10 % der Fälle zu übersehen“) in ein spezifisches, bug-adaptives Inspektionsset übersetzt. Das Ziel ist die Bereitstellung eines auditierbaren, tie-kompletten Kandidatensatzes, der mit einer garantierten Wahrscheinlichkeit mindestens eine gemappte fehlerhafte Zeile enthält, ohne dabei vorauszusetzen, dass die Methode die Qualität des zugrunde liegenden SBFL-Rankings verbessert.

Methodik

Die vorgeschlagene Methode, ConformalFL, wendet Conformalized Quantile Regression (CQR) an, um den Inspektions-Cutoff für einen spezifischen Bug basierend auf dessen Pre-Fault-Spektrummerkmalen vorherzusagen.

1. Zielformulierung

Die Methode definiert das Vorhersageziel als die normalisierte Eintrittsposition der frühesten fehlerhaften Score-Gruppe ($y_{entry}$).

• Operative Logik: Kandidaten werden nach abnehmendem SBFL-Score geordnet. Exakte Gleichstände bilden Score-Gruppen. Die Methode sagt einen Bruchteil $b_i$ voraus und berechnet einen Cutoff-Index $k_i$. Der resultierende Kandidatensatz umfasst alle Zeilen mit Scores, die größer als oder gleich dem Score an Position $k_i$ sind.
• Umgang mit Gleichständen (Tie Handling): Um sicherzustellen, dass der Satz „tie-komplett“ ist, wird im Falle eines Cutoffs innerhalb einer Gleichstands-Gruppe die gesamte Gruppe aufgenommen. Das Ziel ist der Eintrittspunkt der fehlerhaften Gleichstands-Gruppe, nicht das Ende, um unnötige Doppelzählung durch die Gleichstands-Expansion zu vermeiden.

2. Vorhersage-Pipeline

• Feature-Vektor: Das Modell verwendet 20 Merkmale, die vor der Enthüllung des Fehlers verfügbar sind, darunter Codegröße, Test-/Abdeckungsmetriken und 12 Verteilungsmerkmale der Ochiai-Scores (Momente, Entropie, Lücken, Anzahl der Gleichstände usw.). Projektidentität und Fehlerlokalisierung werden aus dem primären Modell ausgeschlossen.
• Quantilsregression: Ein Gradient-Boosted-Regressor schätzt das bedingte obere Quantil ($bq_{1-\alpha}$) des Targets $y_{entry}$ gegeben die Merkmale $x_i$.
• Konformale Korrektur: Um garantierte marginale Abdeckung bei endlichen Stichproben zu erreichen, verwendet die Methode einen gehaltenen Kalibrierungsdatensatz. Es werden einseitige Residuen ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) berechnet und eine Korrektur basierend auf dem $(1-\alpha)$-Quantil dieser Residuen angewendet.
• Finaler Cutoff: Das finale Budget ist die Summe aus dem vorhergesagten Quantil und der konformalen Korrektur, begrenzt auf $[0, 1]$. Wenn die erforderliche Größe des Kalibrierungssamples unzureichend ist (z. B. für sehr hohe Abdeckungsziele mit kleinen Datensätzen), wechselt die Methode zu einem „No-Compression“-Ergebnis (vollständige Inspektion) und signalisiert explizit, dass das angeforderte Risikoniveau nicht unterstützt wird.

3. Experimentelles Design

• Datensatz: Ein fixierter Bestand von 395 historischen Defects4J-Bugs (Java), reduziert auf 248 „kandidaten-präsentierte“ Bugs (jene mit mindestens einer gemappten fehlerhaften ausführbaren Zeile und sowohl passenden als auch fallenden Tests).
• Protokoll: 3 30 projektstratifizierte Splits (60 % Training, 20 % Kalibrierung, 20 % Test).
• Vergleichsmodelle:
  • GBR: Der unkalibrierte Gradient-Boosted-Quantilsregressor.
  • Global Conformal: Ein feature-unabhängiger konstanter Cutoff, der aus den Kalibrierungs-Targets abgeleitet wurde.
  • Feste Policys: Vorregistrierte Top-N und feste prozentuale Policys (z. B. Top-10 %).
• Stresstests: Leave-One-Project-Out (Projekt-Shift), chronologische (temporaler Shift) und Cross-Language-Evaluierungen (Transfer auf Python/BugsInPy).

Kernergebnisse

Evaluierung auf einem nominalen 90 %-Abdeckungsniveau:

1. Abdeckung vs. Arbeitsaufwand:

   • ConformalFL (CQR): Erreichte 91,8 % mittlere Abdeckung bei der Inspektion von 30,2 % der ausführbaren Kandidaten (Median 508,5 Zeilen).
   • Unkalibriert (GBR): Erreichte 87,6 % Abdeckung bei 15,6 % Inspektion.
   • Global Conformal: Erreichte 91,8 % Abdeckung, erforderte aber 44,2 % Inspektion.
   • Feste Top-10%: Erreichte 90,1 % Abdeckung bei 28,3 % Inspektion.

2. Kalibrierungswert:

   • Die Kalibrierung fügte etwa 4,2 Prozentpunkte Abdeckung gegenüber dem unkalibrierten GBR hinzu, jedoch bei einem Kostenfaktor von +14,7 Prozentpunkten an Inspektionsaufwand.
   • Im Vergleich zum konstanten Global Conformal Cutoff behielt CQR die gleiche mittlere Abdeckung bei, reduzierte jedoch die Inspektion um 14,0 Prozentpunkte, was den Wert bug-adaptiver Cutoffs gegenüber statischen zeigt.

3. Verteilung des Arbeitsaufwands:

   • Die Verteilung des Arbeitsaufwands ist stark schief. Während die mediane Inspektion ~508 Zeilen betrug, lag der Mittelwert bei ~1.521 Zeilen aufgrund eines schweren Ausläufers (Heavy Tail).
   • 18,9 % der Fälle führten zu „No-Compression“ (vollständige Inspektion), da Score-Gleichstände den Kandidatensatz auf das gesamte Ranking ausdehnten. Dies geschah speziflich, wenn der Cutoff auf eine Zero-Score-Grenze fiel.

4. Stresstests:

   • Projekt-Shift: Die Abdeckung variierte je nach Projekt (85,7 %–100 %), und kleine Kalibrierungsstichproben (z. B. 5 Bugs) führerten zu trivialen (100 % Inspektion) Ergebnissen.
   • Cross-Language: Beim Transfer auf Python (BugsInPy) ohne Retraining behielt CQR eine hohe empirische Abdeckung (98,3 %) bei, litt jedoch unter einer schweren Degradation des Arbeitsaufwands und untersuchte im Durchschnitt 66,9 % der Statements, wobei 53,3 % der Fälle eine vollständige Inspektion erforderten.

Bedeutung und Ansprüche

Das Paper stellt bescheidene, spezifische Ansprüche bezüglich des Beitrags von ConformalFL:

• Auditierbare Risikokontrolle: Der primäre Beitrag ist eine auditierbare Abbildung von einem angeforderten Miss-Risiko auf ein bug-adaptives, tie-komplettes Inspektionsset. Es bietet eine formale Garantie der marginalen Abdeckung unter der Annahme der Austauschbarkeit zwischen Kalibrierungs- und Deployment-Bugs.
• Keine universelle Dominanz: Das Paper stellt explizit fest, dass ConformalFL die empirische Dominanz gegenüber gut gewählten festen Policys (wie Top-10 %) auf diesem Benchmark nicht erreicht. Die feste Top-10%-Policy schnitt in Bezug auf Abdeckung und Aufwand vergleichbar ab, ohne eine Kalibrierung zu erfordern.
• Limitierungen:
  • Die Methode verbessert nicht die Qualität des zugrunde liegenden SBFL-Rankings.
  • Sie garantiert keine bedingte Abdeckung für spezifische Projekte oder Subpopulationen.
  • Sie garantiert keine Gültigkeit unter Verteilungsverschiebungen (z. B. Cross-Language oder neue Projekte), bei denen die Austauschbarkeit nicht gegeben ist.
  • Sie misst nicht die menschliche Debugging-Zeit, da Zeilenanzahl nicht gleich Kontextwechsel-Kosten oder Verständnisaufwand ist.

Fazit: ConformalFL bietet Teams mit historischen Fehlerdaten ein praktisches Werkzeug, um unkalibrierte Heuristiken durch eine transparente Regel zu ersetzen, die das Miss-Risiko explizit gegen den Inspektionsaufwand abwägt. Der Nutzen ist jedoch durch die Anforderung repräsentativer Kalibrierungsdaten und das Potenzial für „No-Compression“-Ergebnisse begrenzt, wenn Score-Gleichstände häufig vorkommen oder die Kalibrierungsstichproben klein sind.