Towards Improving the External Validity of Software Engineering Experiments with Transportability Methods

1. Problemstellung

Kontrollierte Experimente sind in der Softwaretechnik (SE) ein zentrales Instrument, um kausale Zusammenhänge zu validieren. Ein Hauptproblem dieser Methode ist jedoch die externe Validität:

• Rekrutierungsprobleme: Es ist oft schwierig oder teuer, eine repräsentative Stichprobe der Zielpopulation (z. B. erfahrene Softwareingenieure) zu finden.
• Verzerrte Stichproben: Forscher weichen daher häufig auf leicht zugängliche Teilnehmer (z. B. Studierende) oder vereinfachte Artefakte aus.
• Kovariaten-Shift (Covariate Shift): Dies führt dazu, dass die Verteilung relevanter Merkmale (Kovariaten, z. B. Erfahrung) in der experimentellen Stichprobe nicht der Verteilung in der Zielpopulation entspricht.
• Folge: Wenn diese Kovariaten den Behandlungseffekt moderieren (d. h. den Effekt der Intervention je nach Merkmal verändern), wird der durchschnittliche Behandlungseffekt (ATE) in der Stichprobe verzerrt geschätzt und lässt sich nicht direkt auf die Zielpopulation übertragen.

Bisher wurden Methoden, um experimentelle Daten mit größeren Beobachtungsdaten zu kombinieren und Ergebnisse zu „transportieren", in der SE-Forschung kaum angewendet.

2. Methodik: Transportabilitätsmethoden

Das Paper stellt einen formalen Rahmen aus der statistischen kausalen Inferenz vor, der es erlaubt, Ergebnisse aus einer experimentellen Stichprobe auf eine breitere Zielpopulation zu übertragen, ohne neue experimentelle Daten zu erheben.

Grundlegende Annahmen (Preconditions):
Damit die Methoden funktionieren, müssen bestimmte Bedingungen erfüllt sein (basierend auf Colnet et al.):

• A1–A4: Gültigkeit des kontrollierten Experiments (Konsistenz, Randomisierung, Ignorierbarkeit).
• A5 (Sample Ignorability): Die Teilnahme am Experiment hängt von den Kovariaten ab (es liegt ein Kovariaten-Shift vor).
• A6 (Transportability of Conditional ATE): Innerhalb jeder Schicht (Stratum) der Kovariaten ist der Behandlungseffekt in der Stichprobe derselbe wie in der Zielpopulation.
• A7 (Positivity): Jeder Teil der Zielpopulation hat eine nicht-null Wahrscheinlichkeit, in die Stichprobe aufgenommen zu werden (keine Schicht ist komplett unbesetzt).

Schätzmethode:
Das Paper beschreibt zwei Hauptklassen von Schätzern zur Rekonstruktion des wahren ATE ($\tau$) aus dem experimentellen ATE ($\tau_1$) und der Verteilung der Kovariaten in der Zielpopulation:

1. Reweighting (Umgewichtete Schätzung): Nutzung des Inverse Probability of Sampling Weighting (IPSW). Datenpunkte werden basierend auf ihrer „Teilnahme-Wahrscheinlichkeit" (Trial Eligibility) umgewichtet. Weniger repräsentative Gruppen (z. B. sehr erfahrene Ingenieure in einer Student-Stichprobe) erhalten ein höheres Gewicht.
2. Regression (Plug-in g-formula): Anpassung separater linearer Modelle für Kontroll- und Behandlungsgruppe basierend auf den Kovariaten. Anschließend wird der Effekt über die Verteilung der Zielpopulation gemittelt.

3. Simulation und Ergebnisse

Die Autoren führten eine Computersimulation durch, um die Wirksamkeit der Methoden zu demonstrieren:

• Setup: Eine Zielpopulation von 1000 Personen wurde simuliert, wobei die Erfahrung ($X$) einer negativen Binomialverteilung folgte. Die Teilnahme am Experiment ($S$) war invers zur Erfahrung korreliert (weniger erfahrene Personen wurden häufiger rekrutiert). Der wahre ATE war bekannt ($\tau = 16,7$).
• Vergleich: Vier Methoden wurden verglichen:
  1. Einfache Mittelwertdifferenz (Baseline).
  2. Lineare Regression mit Interaktionsterm.
  3. IPSW-Schätzer (Transportability).
  4. Plug-in g-formula (Transportability).
• Ergebnisse:
  • Die einfache Mittelwertdifferenz schätzte den Effekt massiv zu hoch (da die Stichprobe überwiegend unerfahrene Teilnehmer mit einem starken Effekt enthielt).
  • Die lineare Regression verbesserte die Schätzung, schätzte aber immer noch zu hoch, da sie eine lineare Interaktion annahm, während der reale Effekt nicht-linear war.
  • Beide Transportability-Methoden konnten den wahren ATE erfolgreich rekonstruieren.
  • Die Plug-in g-formula erwies sich als robuster und genauer als IPSW, welches bei extremen Gewichten eine hohe Unsicherheit aufwies.

4. Wichtige Beiträge

Das Paper liefert vier wesentliche Beiträge für die SE-Forschung:

1. Konzeptuelle Einführung: Eine klare Darstellung von Transportabilitätsmethoden und deren notwendigen Voraussetzungen im Kontext von SE.
2. Empirischer Nachweis: Eine Simulation, die zeigt, dass diese Methoden Verzerrungen durch nicht-repräsentative Stichproben (z. B. Studierende vs. Profis) korrigieren können.
3. Anwendungsszenarien: Identifikation von drei Bereichen, in denen diese Methoden relevant sind:
   • Teilnehmer-Erfahrung: Validierung von Studierenden als Ersatz für Profis.
   • Systemeigenschaften: Übertragbarkeit von Ergebnissen an handgemachten oder Open-Source-Artefakten auf industrielle Systeme.
   • Aufgabenkomplexität: Generalisierung von vereinfachten Experimentalaufgaben auf reale Arbeitsumgebungen.
4. Roadmap und Leitlinien: Ein Fahrplan für die Adoption dieser Methoden in der SE.

5. Signifikanz und Ausblick

Die Bedeutung dieses Papers liegt darin, dass es einen praktischen Weg aufzeigt, die externe Validität von SE-Experimenten zu stärken, ohne die Kosten und den Aufwand für die Rekrutierung großer, repräsentativer Stichproben drastisch erhöhen zu müssen.

Empfohlene Schritte für die Community:

• Identifikation von Moderatoren: Forscher müssen systematisch bestimmen, welche Kovariaten (z. B. Erfahrung, Domänenwissen) den Behandlungseffekt beeinflussen.
• Operationalisierung: Diese Kovariaten müssen messbar und valide definiert werden (z. B. wie „Erfahrung" genau gemessen wird).
• Sammlung von Beobachtungsdaten: Es sollten große Datensätze über die Verteilung dieser Kovariaten in der Zielpopulation gesammelt werden (z. B. durch Umfragen), um als Referenz für die Transportierung zu dienen.
• Kontextualisierung der Ergebnisse: Anstatt nur einen globalen ATE zu berichten, sollten Forscher stratifizierte Effekte und die Grenzen der Generalisierbarkeit (basierend auf der Abdeckung der Kovariaten) kommunizieren.

Zusammenfassend bietet das Paper einen Brückenschlag zwischen der strengen internen Validität kontrollierter Experimente und der praktischen Relevanz für die reale Softwareentwicklung, indem es mathematische Werkzeuge nutzt, um die Lücke zwischen experimenteller Stichprobe und Zielpopulation zu schließen.