Post-Selection Distributional Model Evaluation

1. Problemstellung

Herkömmliche Methoden zur formalen Modellbewertung und -auswahl konzentrieren sich typischerweise darauf, zu zertifizieren, dass ein Modell einen vorab definierten Schwellenwert für einen Leistungsindikator (Key Performance Indicator, KPI) einhält. In der Praxis ist dieser Ziel-KPI-Wert jedoch oft nicht im Voraus bekannt. Stattdessen möchten Anwender häufig die vollständigen Trade-offs zwischen Leistung und Zuverlässigkeit (Reliability) bei verschiedenen Betriebspunkten analysieren.

Das zentrale Problem besteht darin, die Verteilung des KPIs (z. B. Latenz oder Fehlerrate) für Kandidatenmodelle zuverlässig zu schätzen, wenn dieselben Daten sowohl für die Vorab-Auswahl (Pre-Selection) einer Teilmenge vielversprechender Modelle als auch für die anschließende Schätzung der Verteilung verwendet werden. Die naive Anwendung klassischer Konfidenzintervalle in diesem Szenario führt zu einem Post-Selection-Bias, da die Unsicherheit durch die datenabhängige Auswahl unterschätzt wird, was zu übermäßig optimistischen Schätzungen führt.

2. Methodik: PS-DME Framework

Die Autoren stellen Post-Selection Distributional Model Evaluation (PS-DME) vor, ein allgemeines Framework für eine statistisch valide Verteilungsbewertung nach einer beliebigen datenabhängigen Modellauswahl.

Kernkomponenten:

• Ziel: Für jede ausgewählte Konfiguration $k$ aus einer Menge $\mathcal{K}$ sollen Konfidenzbänder für die gesamte kumulative Verteilungsfunktion (CDF) des KPIs, $F_k(x)$, konstruiert werden.
• Gültigkeitskriterium: Die Methode garantiert die Kontrolle der False Coverage Rate (FCR). Das bedeutet, dass der erwartete Anteil der ausgewählten Modelle, deren wahre CDF nicht innerhalb der geschätzten Konfidenzbänder liegt, einen vom Nutzer definierten Schwellenwert $\delta$ nicht überschreitet.
• Technischer Ansatz (E-Werte): Im Gegensatz zu herkömmlichen Methoden nutzt PS-DME das Konzept der E-Werte (e-values). E-Werte sind Teststatistiken, die robuster gegenüber nachträglicher (post-hoc) Auswahl sind als p-Werte.
  • Die Methode verwendet eine e-Calibrator-Funktion $f(\cdot)$, um aus p-Werten (basierend auf der DKW-Ungleichung oder Berk-Jones-Statistik) E-Werte zu generieren.
  • Durch Invertierung des Tests basierend auf dem E-Wert werden Konfidenzbänder $[L_k(x), U_k(x)]$ konstruiert, die auch dann gültig bleiben, wenn die Auswahlregel $S(\cdot)$ beliebige Abhängigkeiten von den Daten aufweist.
• Vollständige Datennutzung: Ein entscheidender Vorteil von PS-DME ist, dass der gesamte Datensatz sowohl für die Modellauswahl als auch für die Inferenz verwendet werden kann (In-Sample-Inferenz), ohne die statistische Validität zu gefährden.

Vergleich mit Baseline (SS-DME):
Als Vergleichsbasis dient eine Sample-Splitting-Methode (SS-DME), bei der Daten in einen Auswahlteil und einen Inferenzteil getrennt werden.

• Nachteil von SS-DME: Durch die Trennung steht für die Konfidenzband-Schätzung nur ein reduzierter Datensatz zur Verfügung, was zu breiteren Bändern führt.
• Vorteil von PS-DME: PS-DME nutzt alle Daten. Die Arbeit leitet eine explizite Bedingung her, unter der PS-DME schmalere (präzisere) Konfidenzbänder liefert als SS-DME, insbesondere wenn die Stichprobengröße begrenzt ist.

3. Wichtige Beiträge

1. Neues Framework: Einführung von PS-DME als erstes Framework, das die Schätzung vollständiger KPI-Verteilungen nach beliebiger datenabhängiger Modellauswahl mit garantierter FCR-Kontrolle ermöglicht.
2. Theoretische Garantien: Beweis, dass PS-DME die FCR-Bedingung erfüllt, indem E-Werte genutzt werden, um den Bias der Vorab-Auswahl zu korrigieren.
3. Effizienzanalyse: Herleitung einer analytischen Bedingung, die zeigt, wann die Nutzung des gesamten Datensatzes in PS-DME die Kosten der Post-Selection-Korrektur überwiegt und somit präzisere Schätzungen liefert als das Aufteilen der Daten.
4. Flexibilität: Das Framework ist nicht auf spezifische Verteilungen oder Auswahlregeln beschränkt und kann mit verschiedenen E-Calibratoren (z. B. Power-Familie) und Teststatistiken (DKW oder Berk-Jones) implementiert werden.

4. Ergebnisse und Experimente

Die Methode wurde in drei Szenarien validiert:

• Synthetische Daten (Lineare Regression):

  • PS-DME zeigte eine deutlich geringere Falsch-Abdeckung (Miscoverage) im Vergleich zu einer naiven In-Sample-Methode (die keine Bias-Korrektur hat).
  • Im Vergleich zur Sample-Splitting-Methode (SS-DME) lieferte PS-DME bei kleinen Stichprobengrößen ($n=20$) signifikant schmalere Konfidenzbänder und damit bessere garantierte KPI-Werte (niedrigerer quadratischer Fehler).

• Text-to-SQL mit Large Language Models (LLMs):

  • Anwendung auf das Spider-Benchmark mit dem Modell Qwen2.5-7B.
  • Es wurden verschiedene Decoding-Strategien (Greedy, Best-of-n, Iterative Refinement) mit unterschiedlichen Hyperparametern (Temperature, Top-p) verglichen.
  • PS-DME ermöglichte die zuverlässige Identifikation von Konfigurationen, die bei gegebenen Zuverlässigkeitsanforderungen ($1-\gamma$) die beste Leistung (niedrigste Loss) garantieren. PS-DME übertraf SS-DME konsistent bei der Garantie niedrigerer KPI-Werte.

• Telekommunikationsnetzwerke (O-RAN):

  • Bewertung von Netzwerkkonfigurationen basierend auf der Pufferbelegung (Buffer Occupancy) für URLLC-Dienste.
  • Auch hier zeigte PS-DME robustere Garantien als SS-DME, insbesondere in Szenarien mit begrenzten Kalibrierungsdaten. Die Analyse der Split-Ratio zeigte, dass PS-DME in datenarmen Umgebungen überlegen ist, während SS-DME bei sehr großen Datensätzen und bestimmten Aufteilungen konkurrenzfähig sein kann.

5. Bedeutung und Ausblick

Die Arbeit adressiert eine kritische Lücke im maschinellen Lernen und der Systembewertung: Die Notwendigkeit, nicht nur einen einzelnen Leistungsindikator, sondern das gesamte Risiko- und Leistungsprofil von Modellen unter Unsicherheit zu verstehen.

• Praktische Relevanz: PS-DME ermöglicht es Ingenieuren und Forschern, Modelle sicher zu vergleichen und auszuwählen, ohne sich auf willkürliche Schwellenwerte festzulegen. Dies ist besonders wichtig in sicherheitskritischen Anwendungen (z. B. autonomes Fahren, Telekommunikation, medizinische KI), wo das Verständnis der gesamten Verteilung (z. B. von Latenzen oder Ausfallraten) entscheidend ist.
• Ressourceneffizienz: Durch die Möglichkeit, Daten vollständig zu nutzen, reduziert die Methode den Bedarf an großen Datensätzen für die Validierung, was in vielen realen Anwendungen kosteneffizienter ist als das Aufteilen von Daten.
• Zukünftige Arbeiten: Die Autoren planen, das Framework auf multivariate Leistungsmaße zu erweitern und schärfere Konfidenzband-Konstruktionen zu entwickeln, um die Entscheidungsfindung bei der Modellbereitstellung weiter zu unterstützen.

Zusammenfassend bietet PS-DME einen rigorosen, dateneffizienten und statistisch fundierten Weg, um die Zuverlässigkeit von KI-Modellen in dynamischen und unsicheren Umgebungen zu bewerten.