📊 statistics

Deployment-complete benchmarking

Dieser Beitrag führt das „deployment-complete benchmarking" ein, einen Rahmen, der durch Quantifizierung von Evidenzambiguität prüft, ob Benchmark-Scores zuverlässig Einsatzentscheidungen bestimmen, und zeigt, dass aktuelle Benchmarks trotz hoher Scores oft reale Entscheidungen nicht stützen, sowie eine „zertifiziere-anschaff"-Strategie vorschlägt, um falsche Einsatzentscheidungen erheblich zu reduzieren.

Ursprüngliche Autoren: El Mustapha Mansouri, Keigo Arai

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: El Mustapha Mansouri, Keigo Arai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Personalverantwortlicher, der entscheiden muss, wen Sie für eine sehr spezifische Stelle einstellen: die Fahrt mit einem Lieferwagen durch einen Schneesturm.

Sie haben eine Liste von Kandidaten und ihnen einen standardisierten Fahrtest gegeben. Der Test misst, wie gut sie ein Auto auf einem leeren Parkplatz einparken und an einem sonnigen Tag fahren können. Die Ergebnisse sind klar: Kandidat A erhielt eine perfekte Punktzahl von 100/100, und Kandidat B erhielt 95/100.

Basierend auf diesem „Benchmark-Score" würden Sie natürlich Kandidat A einstellen. Doch hier liegt das Problem: Der Test, den Sie ihnen gegeben haben, hat ihre Fähigkeit, in einem Schneesturm zu fahren, tatsächlich nicht geprüft.

Dieses Papier mit dem Titel „Deployment-complete benchmarking" (Abschluss-orientiertes Benchmarking) argumentiert, dass wir genau diesen Fehler bei KI-Modellen, neuen Materialien und medizinischen Verbindungen machen. Wir behandeln einen Testscore als Garantie dafür, dass ein System für die reale Welt bereit ist, obwohl dieser Score oft nur beweist, dass das System gut im Test selbst ist.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Das „Faser"-Problem: Gleicher Score, unterschiedliche Realität

Die Autoren führen ein Konzept ein, das als „Faser" (fiber) bezeichnet wird. Stellen Sie sich eine Faser als eine Gruppe von Personen vor, die alle exakt denselben Score auf Ihrem Fahrtest erhalten haben.

Das ideale Szenario: Jeder in dieser Gruppe ist gleich gut darin, in einem Schneesturm zu fahren. Wenn Sie jemanden aus dieser Gruppe einstellen, sind Sie auf der sicheren Seite.
Das reale Problem (Gemischte Fasern): In der Realität ist diese Gruppe gemischt. Manche können in einem Schneesturm fahren; andere werden sofort einen Unfall bauen. Sie alle erhielten denselben Score beim sonnigen Test, aber der Test hat den Unterschied nicht erkannt.

Das Papier nennt dies eine „gemischte Faser". Es ist ein mathematischer Beweis dafür, dass Ihr Testscore nicht ausreicht, um eine Entscheidung zu treffen. Wenn Sie eine „gemischte Faser" haben, fliegen Sie blind.

2. Die Falle des „perfekten Scores"

Die Autoren führten Experimente durch, bei denen sie einen perfekten Test erstellten. Sie stellten fest, dass selbst wenn ein Modell einen 100 % perfekten Score im Benchmark (dem sonnigen Test) erreicht, es für die reale Aufgabe (den Schneesturm) dennoch nutzlos sein kann.

Analogie: Stellen Sie sich einen Koch vor, der perfekt darin ist, einen Kuchen in einer ruhigen Küche zu backen. Sie stellen ihn ein, um ein riesiges Bankett in einer chaotischen, lauten Küche zu kochen. Sein „perfekter Kuchenscore" sagt Ihnen nicht, ob er das Chaos bewältigen kann.
Die Erkenntnis: In ihren Experimenten scheiterte ein Modell, das im Test „perfekt" war, dennoch in etwa 55 % der Fälle daran, das reale Ergebnis vorherzusagen, weil der Test ein entscheidendes Stück Information verpasst hatte (das „Residuum" oder den „Schneesturm").

3. Die „Gemischte Faser"-Auditierung

Die Autoren gingen hinaus und prüften reale Benchmarks (wie Tox21 für Toxikologie und JARVIS für Materialwissenschaft), um zu sehen, wie viele „gemischte Fasern" existierten. Die Ergebnisse waren schockierend:

Toxikologie (Tox21): 97,9 % der Gruppen mit demselben Testscore enthielten eine Mischung aus sicheren und toxischen Chemikalien. Der Testscore war fast nutzlos, um die Sicherheit zu beurteilen.
Materialien (Matbench/JARVIS): Bei den Hauptaudits betrug der Median der Kandidaten, die Sie mit Zuversicht einstellen könnten, 0 %. Die Scores waren so mehrdeutig, dass Sie keiner davon ohne weitere Informationen vertrauen konnten.

4. Die Lösung: „Zertifizieren-dann-Akquirieren"

Was tun wir also? Das Papier schlägt einen neuen Arbeitsablauf namens „Zertifizieren-dann-Akquirieren" (Certify-Then-Acquire) vor.

Anstatt nur auf den Score zu schauen und eine Entscheidung zu treffen, folgen Sie diesen Schritten:

Score prüfen: Schauen Sie sich das Benchmark-Ergebnis an.
Faser prüfen: Fragen Sie: „Enthält diese Score-Gruppe eine Mischung aus guten und schlechten Ergebnissen?"
Wenn sie gemischt (mehrdeutig) ist: Raten Sie nicht! Stoppen Sie. Sie müssen einen weiteren spezifischen Test (eine „Sonde") durchführen, um die Verwirrung aufzuklären.
- Analogie: Wenn der Fahrtest mehrdeutig ist, stellen Sie den Fahrer noch nicht ein. Geben Sie ihm einen schnellen 5-Minuten-Test speziell im Schnee.
Wenn sie rein ist: Wenn die Gruppe alle sicher (oder alle unsicher) ist, dann können Sie eine Entscheidung treffen.

Die Ergebnisse dieses neuen Ansatzes:

Bei den Toxikologietests reduzierte diese Methode falsche Entscheidungen (falsche Alarme) von 1,19 % auf 0,027 %.
Bei den Materialtests reduzierte sie falsche Entscheidungen von 20,3 % auf 0,128 %.
Bonus: Oft änderte sich, welches Modell oder Material Sie wählten. Das „beste" Modell nach dem alten Score war oft die schlechteste Wahl für die reale Aufgabe. Die neue Methode wählte das richtige aus.

5. Die „Abschlusskurve"

Die Autoren schlagen eine neue Art vor, Ergebnisse zu berichten. Anstatt nur zu sagen: „Unser Modell erreichte 95 % Genauigkeit", sollte ein Bericht eine „Abschlusskurve" (Completion Curve) enthalten.

Diese Kurve beantwortet: „Wie viel mehr Information (oder Geld) müssen wir ausgeben, um sicher zu sein, dass unsere Entscheidung richtig ist?"

Wenn die Kurve flach ist, benötigen Sie viele zusätzliche Tests, um sicher zu sein.
Wenn die Kurve steil ist, sind Sie bereits nahe daran, sicher zu sein.

Das Fazit

Das Papier argumentiert, dass ein Score keine Entscheidung ist. Ein Score ist nur ein Beweisstück.

Alter Weg: „Das Modell erreichte 95 %, also setzen wir es ein." (Dies ist riskant, weil der Score die reale Gefahr möglicherweise nicht abdeckt.)
Neuer Weg: „Das Modell erreichte 95 %, aber dieser Score lässt uns bei 20 % der Fälle unsicher. Lassen Sie uns einen zusätzlichen Test für diese 20 % durchführen, um sicher zu sein, bevor wir es einsetzen."

Die Autoren kommen zu dem Schluss, dass wir bei jeder hochriskanten Entscheidung (Einsatz von KI, Kauf von Materialien, Zulassung von Medikamenten) aufhören müssen, nur den Score zu berichten. Wir müssen berichten, was der Score tatsächlich stützt, wo er mehrdeutig ist und wie viel es kostet, diese Mehrdeutigkeit zu beheben.

Technisches Fazit: Deployment-Abgeschlossenes Benchmarking

Problemstellung
Derzeitige Benchmarks für maschinelles Lernen leiten zunehmend kritische Entscheidungen zur Implementierung, wie etwa die Beschaffung von Modellen, die Materialscreening oder die Triagierung von Verbindungen. Es besteht jedoch eine fundamentale Diskrepanz: Ein Benchmark-Score liefert lediglich Belege für die spezifische Antwort, die er erfasst (z. B. Vorhersagegenauigkeit auf einem Testset), nicht notwendigerweise jedoch für die erforderliche Implementierungsaktion (z. B. Sicherheit, Robustheit oder ein spezifischer physikalischer Schwellenwert). Ein Modell kann auf einem Benchmark perfekt performen, während die aus diesem Score abgeleitete Aktion unterbestimmt bleibt, da die Implementierung von Antworten abhängt, die außerhalb des Benchmark-Umfangs liegen (z. B. Toxizität, Stabilität oder Robustheit gegenüber Out-of-Distribution-Daten). Diese Arbeit argumentiert, dass Standardmetriken wie Genauigkeit, Kalibrierung und Unsicherheit nicht garantieren, dass ein Benchmark-Score eine spezifische Implementierungsbehauptung stützt.

Methodik
Die Autoren führen das deployment-abgeschlossene Benchmarking ein, ein Rahmenwerk, das den Übergang von Benchmark-Belegen zur Implementierungsaktion als mathematisches Faktorisierungsproblem behandelt.

Formale Definitionen:
- Sei $S$ der Raum der Kandidaten, $Z$ der Raum der erfassten Belege (Benchmark-Scores) und $A$ der Raum der Implementierungsaktionen.
- Ein Benchmark erfasst eine Belegabbildung $E: S \to Z$ . Eine Implementierungsbehauptung ist eine Aktion $D: S \to A$ .
- Behauptungs-Abgeschlossenheit: Ein Benchmark ist für eine Behauptung $D$ genau dann abgeschlossen, wenn $D$ auf jedem Belegfaser $E^{-1}(z)$ konstant ist. Äquivalent dazu muss eine Abbildung $\phi: Z \to A$ existieren, sodass $D = \phi \circ E$ gilt.
- Gemischte Fasern: Enthält eine Faser $E^{-1}(z)$ Kandidaten, die unterschiedliche Implementierungsaktionen erfordern (z. B. sollte ein Kandidat implementiert, ein anderer abgelehnt werden), handelt es sich um eine „gemischte Faser". Dies dient als mathematischer Nachweis, dass die berichteten Belege nicht ausreichen, um die Aktion zu bestimmen.
Diagnosewerkzeuge:
- Audit gemischter Fasern: Eine Diagnose, die den Anteil der Kandidaten zählt, die in gemischten Fasern residieren.
- Abschlusskurven: Diese quantifizieren die Kosten (in Form zusätzlicher Antwortsonden oder Budgets), die erforderlich sind, um Mehrdeutigkeiten zu beheben. Sie stellen den „zertifizierten Anteil" (Kandidaten mit reinen Fasern) gegen das „Antwortbudget" dar.
- Zertifizierungstypen: Die Arbeit unterscheidet zwischen exakter Zertifizierung (endliche Mengen mit bekannten Labels), Kalibrierungszertifizierung (empirisches Risiko auf zurückgehaltenen Daten) und vorhergesagter Zertifizierung (Intervallgrenzen basierend auf Modellannahmen).
Experimentelles Design:
- Kontrollierte Antworträume: Synthetische Experimente, bei denen die Geometrie des Antwortraums bekannt ist, was eine präzise Berechnung der „Residualgröße" (die Komponente der Implementierungsantwort, die für den Benchmark unsichtbar ist) ermöglicht.
- Öffentliche Audits: Analyse bestehender Datensätze (Tox21, Matbench, JARVIS, Vision), um die Prävalenz gemischter Fasern in realen Benchmarks zu messen.
- Zurückgehaltene Wiedergaben: Operative Simulationen, bei denen ein „zertifiziere-und-anschaffe"-Workflow getestet wird. Kandidaten mit reinen Fasern werden sofort entschieden; solche in gemischten Fasern werden für zusätzliche Messungen (Beschaffung) weitergeleitet.

Hauptergebnisse

Benchmark-Genauigkeit $\neq$ Implementierungs-Abgeschlossenheit:
- In kontrollierten Experimenten erreichte die konforme Vorhersage im Benchmark-Kanal eine Abdeckung von 94,98 % bei gemessenen Labels, aber nur 10,07 % beim ungemessenen Implementierungskanal.
- Selbst bei null Benchmark-Fehlern (perfekte Vorhersage auf dem Benchmark) brach die Implementierungsabdeckung zusammen (auf 45,4 % bei einer bestimmten Residualgröße), da die Implementierungsrichtung eine Komponente hatte, die orthogonal zum Benchmark-Span lag.
- Leaderboard-Inversion: Das Modell mit dem besten Benchmark-Mittleren Absolute Fehler (MAE) war oft das schlechteste bei der Zertifizierung von Implementierungskandidaten. In einigen Läufen zertifizierte das Modell mit dem besten MAE nur 6 % seiner Top-Kandidaten, während ein Modell mit schlechterem MAE 100 % zertifizierte, weil sein Antwortspan die Implementierungssonde abdeckte.
Systemische Unvollständigkeit in öffentlichen Benchmarks:
- Tox21: 97,9 % der Fasern (Gruppen von Verbindungen mit identischen 7-Assay-Profilen) waren in Bezug auf das SR-p53-Implementierungs-Endpunkt gemischt.
- Matbench & JARVIS: In den Hauptaudits der 20-Quantile betrug der median zertifizierbare Anteil für Stabilitäts- und Bandlückenbehauptungen 0 %.
- Vision: Reine Vorhersagefasern ließen 22,7 % der Behauptungen zur Korruptionsrobustheit mehrdeutig.
Operative Auswirkungen bewusster Abschluss-Politiken:
- Reduzierte Fehlentscheidungen: In zurückgehaltenen Wiedergaben von Tox21 reduzierte ein „zertifiziere-und-anschaffe"-Workflow die empirischen Fehlentscheidungen von 1,19 % (Benchmark-Mehrheitspolitik) auf 0,027 %. In JARVIS sanken die falschen Bandlückenentscheidungen von 20,3 % auf 0,128 %.
- Modellauswahl: Bewusste Abschluss-Workflows wählten andere Modelle aus als Benchmark-MAE-Workflows. In einem repräsentativen JARVIS-Split traf das Benchmark-MAE-Modell 613 falsche Bandlückenentscheidungen, während der antwortausgewählte Workflow keine traf.
- Sondenauswahl: „Antwort-Rang"- und „Residual-gierige" Politiken identifizierten erfolgreich implementierungsrelevante Sonden (z. B. spezifische Toxizitätstests oder Bandlückenberechnungen), die Mehrdeutigkeiten reduzierten und dabei unsicherheitsbasierte oder diversitätsbasierte Beschaffungsstrategien übertrafen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass bereitgestellte Implementierungs-Benchmarks ihren Berichtsstandard von „nur Scores" zu einem prüfbaren Belegpaket verschieben müssen. Dieses Paket sollte Folgendes enthalten:

Den Score.
Die verwendete Belegabbildung.
Die spezifische Aktion, die der Score unterstützen soll.
Den Anteil der Kandidaten, deren Aktion bereits bestimmt ist (reine Fasern).
Den Mehrdeutigkeitsanteil (gemischte Fasern).
Die Abschlusskosten (Budget erforderlich, um Mehrdeutigkeiten zu beheben).

Die Autoren argumentieren, dass Genauigkeit, Kalibrierung und Unsicherheitsschätzung nach wie vor wertvoll für das Ranking und die Zuverlässigkeit sind, aber unterschiedliche Fragen beantworten. Implementierungsabgeschlossenheit fragt spezifisch, ob das Belegpaket die Aktion bestimmt. Der Rahmenwerk bietet eine Diagnose für Fälle, in denen Belege unzureichend sind, eine Grenze dafür, was Statistiken fehlende Informationen reparieren können (keine, wenn sie sich ausschließlich auf dieselben Belege stützen), und eine Designregel für die Beschaffung der notwendigen Informationen zur Unterstützung von Implementierungsentscheidungen.

Einschränkungen und Geltungsbereich
Die Arbeit behauptet nicht, dass alle Benchmarks nutzlos sind, sondern dass sie für spezifische Implementierungsbehauptungen oft unvollständig sind. Der „zertifiziere-und-anschaffe"-Workflow behandelt mehrdeutige Kandidaten nicht als Fehler, sondern als Anfragen für weitere Messungen. Der Rahmenwerk ist bezugsrelativ; das Hinzufügen von Deskriptoren, Einschränkungen oder neuen Messungen ändert die Belegabbildung und kann die Abschlusskosten senken. Die Ergebnisse werden als empirische Risikobewertungen auf zurückgehaltenen Daten und mathematische Diagnosen auf endlichen Mengen präsentiert, nicht als formale Populationsgarantien für unbeobachtete Verteilungen.