Technische Zusammenfassung: Amortisierte kausale Sensitivitätsanalyse mittels vorab an Daten angepasster Netzwerke

1. Problemstellung

Die kausale Inferenz aus Beobachtungsdaten beruht auf der nicht überprüfbaren Annahme des Fehlens unbeobachteter Störfaktoren. Die kausale Sensitivitätsanalyse adressiert dies, indem sie Schranken für kausale Effekt-Schätzer (z. B. den Conditional Average Potential Outcome, CAPO) unter variierenden Annahmen über die Stärke unbeobachteter Störfaktoren bereitstellt, parametrisiert durch ein Sensitivitätsniveau $\Gamma$.

Bestehende Methoden zur Berechnung dieser Schranken sind inhärent verfahrensbezogene Prozeduren pro Instanz. Für jede Änderung des Datensatzes, der kausalen Fragestellung, der Behandlungsgruppe oder des Sensitivitätsniveaus $\Gamma$ muss eine neue, rechenintensive Optimierung initialisiert werden. Dies schränkt die praktische Anwendung der Sensitivitätsanalyse ein und verdrängt sie oft zu einer abschließenden Überprüfung statt zu einem systematischen Werkzeug zur Exploration, wie sich Schlussfolgerungen über Annahmen hinweg verändern. Die Kernherausforderung besteht darin, diese wiederholten, kostspieligen Optimierungen durch einen schnellen, amortisierten Inferenzmechanismus zu ersetzen, der diverse Datensätze und Fragestellungen ohne Nachtraining bewältigen kann.

2. Methodik

Die Autoren schlagen einen amortisierten Ansatz unter Verwendung von Prior-Data Fitted Networks (PFNs) vor, einer Klasse von Foundation-Modellen, die In-Context-Learning durchführen. Die Methodik besteht aus drei Hauptkomponenten:

2.1. Amortisierte Vorhersageaufgabe

Anstatt zur Testzeit ein Optimierungsproblem zu lösen, trainieren die Autoren ein PFN, um eine Abbildung von einem Datensatz $D_N$, einer kausalen Fragestellung $(x, a)$ und einem Sensitivitätsniveau $\Gamma$ direkt auf die posteriori-prädiktiven Verteilungen (PPDs) der unteren und oberen Sensitivitätsschranken ($\theta^-$ und $\theta^+$) zu lernen.
$$D_N, x, a, \Gamma \longrightarrow \text{PPD}(\theta^-), \text{PPD}(\theta^+)$$
Dies ermöglicht dem Modell, Schranken für neue Eingaben mittels eines einzigen Vorwärtsdurchlaufs vorherzusagen und umgeht so die Notwendigkeit einer pro Instanz durchgeführten Optimierung.

2.2. Allgemeine Vorab-Datenerstellung (Label-Generierung)

Eine kritische Hürde beim Training von PFNs für die Sensitivitätsanalyse besteht darin, dass die Sensitivitätsschranken – im Gegensatz zur punktuell identifizierten kausalen Inferenz – nicht direkt aus dem datengenerierenden Prozess (DGP) verfügbar sind; sie müssen über eine nicht-triviale Optimierung berechnet werden. Die Autoren führen eine allgemeine Vorab-Datenerstellung ein, die auf die Klasse der Generalized Treatment Sensitivity Models (GTSMs) anwendbar ist, zu der das Marginal Sensitivity Model (MSM), $f$-Sensitivitätsmodelle und Rosenbaums Sensitivitätsmodell gehören.

Die Konstruktion umfasst:

1. Stichprobenziehung von SCMs: Synthetische strukturelle kausale Modelle (SCMs) werden aus einer Prior-Verteilung $\Pi_S$ gestichprobt, um Beobachtungsdatensätze zu generieren.
2. Lagrange-Skalarisierung: Um Trainingslabels ($\theta^-, \theta^+$) für diese synthetischen DGPs zu generieren, formulieren die Autoren die Schrankenberechnung als ein Mehrkriterien-Optimierungsproblem. Sie streben einen Kompromiss an zwischen der Minimierung/Maximierung des kausalen Effekts und der Minimierung der Verletzung der Sensitivitätsmodell-Bedingung.
   • Das Ziel wird mittels eines Lagrange-Multiplikators $\lambda$ skalarisiert:
     $$\mathcal{L}^\uparrow_\lambda(P) = Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
     $$\mathcal{L}^\downarrow_\lambda(P) = -Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
   • Durch das Durchlaufen von $\lambda$ von hoch nach niedrig zeichnet die Methode die Pareto-Frontier der Lösungen in der $(\Gamma, \theta)$-Ebene nach.
3. Warm-Start-Optimierung: Um die Pareto-Frontier effizient zu berechnen, setzen die Autoren eine Warm-Start-Strategie ein, bei der die Lösung für ein gegebenes $\lambda$ die Optimierung für das nächste $\lambda$ initialisiert. Eine theoretische Analyse (Satz 1) zeigt, dass unter Standardannahmen zur Konvexität und Linearität diese Abtastung die vollständige Pareto-Frontier wiederherstellt.
4. Dimensionsreduktion: Die Optimierung über vollständige Verteilungen wird auf eine handhabbare Optimierung über eine einzige bedingte latente Verteilung $P(U | x, A \neq a)$ reduziert, wobei eine Reparametrisierungskonstruktion verwendet wird. Dies vermeidet die Notwendigkeit einer zweistufigen neuronalen Dichteschätzung, die von früheren GTSM-Methoden erforderlich war.

2.3. Training des Foundation-Modells

Das PFN wird auf den synthetischen Vorab-Datenpaaren (Datensätze, Fragestellungen, $\Gamma$) und den berechneten Sensitivitätsschranken-Labels trainiert. Die Modellarchitektur verwendet einen Transformer mit zwei Ausgabeköpfen (für untere und obere Schranken), wobei jeder Kopf eine Gaußsche Mischungsverteilung modelliert, um unsicherheitsbewusste Vorhersagen zu liefern. Ein weicher Monotonie-Regularisierer wird angewendet, um sicherzustellen, dass die vorhergesagten Schranken sich korrekt in Bezug auf $\Gamma$ verhalten (d. h. die Schranken weiten sich aus, wenn $\Gamma$ zunimmt).

3. Hauptbeiträge

1. Vorab-Daten-Label-Konstruktion: Ein allgemeines Schema zur Generierung von Trainingslabels für Sensitivitätsschranken mittels Lagrange-Skalarisierung. Dieser Ansatz vermeidet modellspezifische analytische Herleitungen und stellt theoretisch unter Konvexitätsbedingungen die vollständige Pareto-Frontier wieder her.
2. Erstes Foundation-Modell für kausale Sensitivitätsanalyse: Das Training eines PFN, das als Foundation-Modell für das In-Context-Learning von Sensitivitätsschranken dient. Es sagt direkt PPDs für Schranken basierend auf einem Datensatz, einer Fragestellung und einem Sensitivitätsniveau voraus.
3. Empirische Validierung: Demonstration, dass der amortisierte Ansatz Sensitivitätsschranken in verschiedenen Szenarien (einschließlich des Marginal Sensitivity Model) genau approximiert, wobei die Rechenzeit zur Testzeit um Größenordnungen schneller ist als bei verfahrensbezogenen Methoden pro Instanz.

4. Ergebnisse

• Genauigkeit: Auf zurückgehaltenen synthetischen Datensätzen stimmt das PFN eng mit analytischen Schranken für das Marginal Sensitivity Model (MSM) überein. Die posteriori-prädiktiven Intervalle sind gut kalibriert, mit empirischen Abdeckungsraten (z. B. 90,3 % für die obere Schranke), die nahe an den nominalen Niveaus liegen.
• Effizienz: Der amortisierte Ansatz ersetzt teure Optimierungen pro Instanz durch einen einzigen Vorwärtsdurchlauf. Die mediane Inferenzzeit für einen gebündelten Vorwärtsdurchlauf beträgt etwa 2,9 Sekunden, im Vergleich zu den wiederholten Optimierungen, die von bestehenden Methoden erforderlich sind.
• Wirksamkeit des Warm-Starts: Experimente zeigen, dass die Warm-Start-Optimierungsstrategie zur Label-Generierung das Reue-Risiko (Regret) im Vergleich zu Cold-Start-Methoden um einen Faktor von 1,90 reduziert und gleichzeitig signifikant schneller ist.
• Unsicherheitsquantifizierung: Das Modell gibt vollständige posteriori-prädiktive Verteilungen aus und liefert damit unsicherheitsbewusste Schätzungen statt nur Punktvorhersagen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, das erste Foundation-Modell für kausale Sensitivitätsanalyse vorzustellen. Ihre primäre Bedeutung liegt in der Verschiebung des Paradigmas von einer pro Instanz durchgeführten, rechenintensiven Sensitivitätsanalyse hin zu einem amortisierten, In-Context-Learning-Framework.

• Praktische Auswirkungen: Durch die Ermöglichung einer schnellen Evaluierung über viele kausale Fragestellungen und Sensitivitätsannahmen hinweg macht der Ansatz die Sensitivitätsanalyse zu einem praktikablen Werkzeug für systematische Entscheidungsfindung, anstatt sie nur als abschließende, isolierte Überprüfung zu betrachten.
• Allgemeingültigkeit: Die Vorab-Daten-Konstruktion ist nicht an ein spezifisches Sensitivitätsmodell gebunden, was den Ansatz allgemein auf die Klasse der GTSMs anwendbar macht.
• Einschränkungen: Die Autoren vermerken bescheiden, dass die Leistung von der Abdeckung des synthetischen Priors relativ zu den Daten zur Testzeit abhängt. Die theoretische Konstruktion beruht auf der Konvexität der Sensitivitätsdivergenz und der Linearität der kausalen Fragestellung. Derzeit konzentriert sich die Implementierung auf binäre Behandlungen und skalare Ergebnisse, und die Label-Generierung für Modelle ohne geschlossene Schranken bleibt eine optimierungsbasierte Approximation, die Monte-Carlo-Rauschen unterliegt.

Zusammenfassend bietet diese Arbeit eine prinzipielle Methode, um die Rechenkosten der kausalen Sensitivitätsanalyse zu „amortisieren" und ermöglicht so eine skalierbare und systematische Bewertung unbeobachteter Störfaktoren in Beobachtungsstudien.