Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

Dieser Beitrag argumentiert, dass standardmäßige punktuelle Metriken wie RMSE und MAE strukturell versagen, multimodale inverse Probleme zu bewerten, indem sie Rekonstruktionen systematisch zugunsten schmalerer Verteilungen verzerren, und schlägt ein dreiteiliges Bewertungsprotokoll vor, das auf Verteilungsgenauigkeit, Spektrumstreue und Unsicherheitskalibrierung basiert, um wissenschaftlich valide Schlussfolgerungen zu gewährleisten.

Das Wesentliche

Das große Problem: Die „Durchschnitts"-Falle

Stellen Sie sich vor, Sie versuchen, den Standort eines versteckten Schatzes zu erraten. Sie haben eine Karte, aber die ist etwas verschwommen. Manchmal befindet sich der Schatz definitiv in der Nord-Höhle, und manchmal definitiv in der Süd-Höhle. Er befindet sich niemals in der Mitte.

In der Welt der Wissenschaft (wie der Teilchenphysik oder der medizinischen Bildgebung) nutzen Wissenschaftler oft Computer, um diese „Rätsel" zu lösen. Seit langem bewerten sie, wie gut ein Computer ist, indem sie eine einfache Frage stellen: „Wie nah ist Ihre Vermutung an der wahren Antwort?"

Wenn der Computer „Nord" rät und der Schatz sich in „Nord" befindet, erhält er eine hohe Punktzahl. Wenn er „Süd" rät und der Schatz in „Nord" ist, erhält er eine niedrige Punktzahl.

Das Papier argumentiert, dass diese Bewertungsweise kaputt ist, wenn es zwei mögliche Antworten gibt (Nord und Süd).

Wenn ein Computer gezwungen wird, nur eine Zahl als Antwort zu geben, um seinen „Fehlerwert" zu minimieren, wird er betrügen. Anstatt zu sagen „Es ist entweder Nord oder Süd", wird er „Mitte" raten.

• Warum? Mathematisch ist die „Mitte" der Durchschnitt von Nord und Süd. Der Abstand von Mitte zu Nord ist derselbe wie von Mitte zu Süd. Daher hat die „Mitte"-Vermutung den niedrigsten durchschnittlichen Fehler.
• Das Problem: Der Schatz befindet sich niemals in der Mitte. Der Computer liefert eine mathematisch „perfekte" Durchschnittsantwort, die physikalisch unmöglich ist.

Die Konsequenz: Ein verschwommenes, verzerrtes Bild

Das Papier zeigt, dass Wissenschaftler, wenn sie diese „Durchschnitts"-Werte (genannt RMSE oder MAE) verwenden, um die besten Computermodelle auszuwählen, versehentlich Modelle auswählen, die die Wahrheit verwischen.

Stellen Sie sich vor, Sie versuchen, eine Bergkette aus verschwommenen Fotos nachzubilden.

• Die Wahrheit: Zwei scharfe, deutlich getrennte Gipfel (Nord und Süd).
• Das „Durchschnitts"-Modell: Es zeichnet einen einzigen, breiten, flachen Hügel in der Mitte.

Wenn Sie auf den „flachen Hügel" schauen, mag er den Fotos näher kommen als die scharfen Gipfel, sodass der Computer eine bessere Punktzahl erhält. Aber wenn Sie diesen flachen Hügel nutzen, um ein Skigebiet zu bauen, werden Sie in große Schwierigkeiten geraten, da es keine echten Gipfel zum Skifahren gibt.

In der Wissenschaft enthalten diese „Gipfel" und „Schwänze" der Daten die wichtigsten Geheimnisse (wie die Masse eines neuen Teilchens). Indem wir den Computer zwingen, eine einzelne „Durchschnitts"-Antwort zu geben, verwischen wir versehentlich die wichtigsten Details und machen unsere wissenschaftlichen Messungen falsch.

Die Lösung: Ein neuer Drei-Schritte-Test

Die Autoren schlagen eine neue Methode vor, um diese Computer zu testen, ähnlich wie einen Fahrtest mit drei verschiedenen Teilen statt nur einem.

1. Der „Vollständige Karte"-Test (CRPS)
Anstatt nur nach einer Vermutung zu fragen, bitten wir den Computer, die gesamte Karte der Möglichkeiten zu zeichnen.

• Analogie: Anstatt zu fragen „Ist der Schatz Nord oder Süd?", fragen wir: „Zeichnen Sie die Wahrscheinlichkeitskarte."
• Ein gutes Modell zeichnet zwei getrennte Flecken (einen für Nord, einen für Süd). Ein schlechtes Modell zeichnet einen großen Fleck in der Mitte. Dieser Test belohnt Modelle, die zugeben: „Ich weiß nicht genau, welches es ist, aber ich weiß, dass es eines von diesen beiden ist."

2. Der „Menschenmenge"-Test (Spectrum Fidelity)
Wir betrachten die Ergebnisse von 10.000 Vermutungen gemeinsam.

• Analogie: Wenn Sie 1.000 Leute fragen, wo der Schatz ist, und 500 sagen Nord und 500 sagen Süd, erhalten Sie ein perfektes Bild der beiden Höhlen. Wenn das „Durchschnitts"-Modell verwendet wird, sagen alle „Mitte", und Sie erhalten ein Bild einer einzigen, gefälschten Höhle.
• Dieser Test prüft, ob die Sammlung der Vermutungen der realen Welt entspricht, nicht nur, ob einzelne Vermutungen nah dran sind.

3. Der „Vertrauens"-Test (Kalibrierung)
Wir prüfen, ob der Computer ehrlich ist bezüglich dessen, wie sicher er ist.

• Analogie: Wenn eine Wetter-App sagt, es gibt eine 90%ige Wahrscheinlichkeit für Regen, dann sollte es 90% der Zeit regnen. Wenn sie 90% sagt, aber es nur 50% der Zeit regnet, lügt die App über ihr Vertrauen.
• Dieser Test stellt sicher, dass der Computer nicht einfach wild rät, sondern tatsächlich an den richtigen Stellen zuversichtlich ist.

Was sie fanden

Die Autoren testeten diese neue Methode an zwei Dingen:

1. Einem künstlichen mathematischen Problem, bei dem sie die exakte Antwort kannten.
2. Einem echten physikalischen Problem mit Top-Quarks (winzige Teilchen), bei dem zwei Neutrinos (Geisterteilchen) der Detektion entkommen, was die Mathematik sehr schwierig macht.

Das schockierende Ergebnis:
Die Modelle, die unter dem alten „Durchschnitts"-Test wie die „Gewinner" aussahen (diejenigen, die die einzelne, flache Mittel-Antwort gaben), waren tatsächlich die schlechtesten darin, die wahre Form der Daten zu bewahren.

Die Modelle, die die „unordentlichen" Zwei-Flecken-Antworten gaben (diejenigen, die unter dem alten Test schlechter aussahen), waren tatsächlich die besten darin, die Wahrheit zu sagen.

Die Quintessenz

Das Papier kommt zu dem Schluss, dass wie Sie Erfolg messen, bestimmt, was Sie finden.

Wenn Sie nur messen „wie nah ist die Vermutung an der Wahrheit", werden Sie Modelle bauen, die die interessanten, komplexen Teile der Realität auslöschen. Um die richtige wissenschaftliche Antwort zu erhalten, müssen Sie aufhören, nach einer einzelnen Zahl zu fragen, und beginnen, nach der vollständigen Geschichte der Möglichkeiten zu fragen.

Kurz gesagt: Fragen Sie nicht nur „Wie nah waren Sie?", sondern „Haben Sie die ganze Geschichte erzählt?"

Technische Zusammenfassung

Problemstellung

In der wissenschaftlichen Rekonstruktion (z. B. Teilchenphysik, medizinische Bildgebung, Geophysik) wird die Evaluierung derzeit von punktuellen Metriken wie dem Root-Mean-Squared-Error (RMSE), dem Mean-Absolute-Error (MAE) und der Ereignisauflösung pro Ereignis dominiert. Diese Metriken operieren unter der impliziten Annahme, dass ein niedrigerer Fehler einer besseren Rekonstruktion entspricht.

Die Autoren argumentieren, dass diese Annahme strukturell für unterbestimmte inverse Probleme versagt, bei denen die bedingte Posterior-Verteilung $p(z|x)$ multimodal ist. In solchen Szenarien ist der optimale Prädiktor unter MSE der bedingte Erwartungswert $E[z|x]$. Für multimodale Posteriors fällt dieser Erwartungswert häufig in Bereiche verschwindender Wahrscheinlichkeitsdichte (zwischen den Modi). Folglich produzieren Modelle, die auf die Minimierung punktueller Fehler trainiert sind, Vorhersagen, die einzeln „unphysikalisch" sind und, wenn aggregiert, das marginale Spektrum der latenten Variable $z$ systematisch komprimieren. Diese Kompression verzerrt die Ränder, Modi und Formen von Verteilungen, welche die genauen Merkmale sind, auf die nachgelagerte wissenschaftliche Messungen angewiesen sind.

Theoretische Grundlage

Das Papier stellt ein theoretisches Argument auf Basis des Gesetzes der totalen Varianz auf:
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
Die Autoren zeigen, dass für jeden Punktschätzer $f_\theta(x)$, der gegen den bedingten Mittelwert $E[z|x]$ konvergiert, die Varianz der Vorhersagen $\text{Var}[E[z|x]]$ strikt kleiner oder gleich der wahren marginalen Varianz $\text{Var}[z]$ ist, wobei Gleichheit nur gilt, wenn die Posterior-Verteilung eine Breite von Null hat.

• Implikation: Punktschätzer produzieren inhärent ein marginales Spektrum, das schmaler als die Wahrheit ist. Dies ist eine Verzerrung (Bias) und keine Varianzkomponente, was bedeutet, dass sie sich mit größeren Datengrößen nicht verringert.
• Konsequenz: Die ausschließliche Evaluierung von Modellen durch punktuelle Metriken belohnt aktiv die Unterdrückung der Posterior-Struktur und bestraft Modelle, die diese bewahren, was zu verzerrten wissenschaftlichen Schlussfolgerungen führt.

Methodik: Ein dreiteiliges Evaluierungsprotokoll

Um diese Fehlermodi zu adressieren, schlagen die Autoren ein Drei-Metriken-Protokoll vor, bei dem jede Metrik eine spezifische, von den anderen übersehene Unzulänglichkeit anspricht:

1. Verteilungsgenauigkeit pro Ereignis (CRPS):

   • Verwendet den Continuous Ranked Probability Score (CRPS), eine strikt korrekte Bewertungsfunktion.
   • Im Gegensatz zu RMSE/MAE wird CRPS nur minimiert, wenn die Vorhersageverteilung mit dem wahren Posterior übereinstimmt. Er bestraft den „Posterior-Collapse" (Vorhersage eines einzelnen Punktes in einem multimodalen Raum) statt ihn zu belohnen.
   • Er reduziert sich für Punktschätzer auf MAE, was einen fairen Vergleich zwischen generativen und Regressionsmodellen ermöglicht.

2. Spektrumtreue auf Bevölkerungsebene:

   • Bewertet die marginale Verteilung $p(z)$ über den gesamten Datensatz, welche die für nachgelagerte Physik relevante Größe ist.
   • Verwendet eine binierte $\chi^2$-Statistik, die das Histogramm der vorhergesagten Werte mit den wahren Werten vergleicht.
   • Diese Metrik erkennt die systematische Kompression spektraler Merkmale (Ränder und Modi), die punktuelle Metriken übersehen.

3. Vertrauenswürdigkeit der Unsicherheit (Kalibrierung):

   • Bewertet, ob die Breite der vorhergesagten Posterior-Verteilung vertrauenswürdig ist, unter Verwendung von konformaler Vorhersage zur Erzeugung von Abdeckungskurven.
   • Ein perfekt kalibriertes Modell erzeugt eine Abdeckungskurve, die der Diagonalen folgt (empirische Abdeckung entspricht dem nominalen Konfidenzniveau).
   • Dies unterscheidet zwischen Modellen, die lediglich scharf (schmal) sind, und solchen, die sowohl scharf als auch kalibriert sind.

Hauptbeiträge

1. Theoretischer Beweis: Es wurde gezeigt, dass jeder Punktschätzer, der MSE oder MAE minimiert, ein marginales Spektrum erzeugt, das strikt schmaler als die Wahrheit ist, sobald die Posterior-Verteilung eine von Null verschiedene Varianz aufweist, unabhängig von Architektur oder Datengröße.
2. Evaluierungsprotokoll: Einführung eines einheitlichen Protokolls (CRPS, Spektrumtreue, Kalibrierung), das auf Regressions-, Mischungs- und generative Modellfamilien anwendbar ist.
3. Empirische Validierung: Es wurde gezeigt, dass sich die Modell-Rankings zwischen punktuellen und verteilungsbasierten Metriken sowohl auf synthetischen als auch auf realen Benchmarks umkehren.

Experimentelle Ergebnisse

Benchmark I: Synthetisches inverses Problem

• Aufbau: Ein kontrolliertes Problem mit einer analytisch handhabbaren bimodalen Posterior-Verteilung ($x = z^2 + \epsilon$).
• Ergebnisse:
  • Ein Standard-Regressions-MLP erreichte den niedrigsten RMSE, kollabierte jedoch das marginale Spektrum zu einem Spike bei Null (dem bedingten Mittelwert) und konnte die bimodale Wahrheit nicht darstellen.
  • Generative Modelle (Normalizing Flows, Mixture Density Networks) hatten einen höheren RMSE, erreichten aber eine nahezu perfekte CRPS und Spektrumtreue ($\chi^2_{spec}$ nahe den Freiheitsgraden).
  • Das Mitteln der Posterior-Stichproben des Normalizing Flow stellte den schlechten RMSE und die spektrale Verzerrung des Regressionsmodells wieder her, was bestätigt, dass die Regression einfach der bedingte Mittelwert des Flows ist.

Benchmark II: Teilchenphysik (Top-Quark-Rekonstruktion)

• Aufbau: Rekonstruktion von Top-Quark-Paaren aus dileptonischen Zerfällen (ein Viele-zu-Eins-inverses Problem mit kombinatorischer Mehrdeutigkeit und fehlenden Neutrinos).
• Ergebnisse:
  • Punktuelle Metriken: Ein Transformer, der mit reinem MSE trainiert wurde, erreichte den besten RMSE. Ein Transformer mit MMD-Regularisierung (Marginal Maximum Mean Discrepancy) schnitt leicht schlechter ab.
  • Verteilungsbasierte Metriken: Die Rangfolge kehrte sich um. Ein Discrete Normalizing Flow dominierte bei CRPS und Spektrumtreue. Die Transformer, selbst mit MMD-Regularisierung, konnten die Multimodalität pro Ereignis nicht korrigieren, was zu massiven $\chi^2_{spec}$-Werten führte (um Größenordnungen schlechter als bei Flows).
  • Kalibrierung: Während CRPS und Spektrumtreue die Flows von den Transformern unterschieden, unterschied die Kalibrierung zwischen den beiden Flow-Architekturen. Der Discrete Flow (exakte Likelihood) war gut kalibriert, während der Continuous Flow (approximative ODE-basierte Likelihood) systematisch unterdeckte – eine Unterscheidung, die allein durch CRPS unsichtbar bleibt.

Bedeutung und Behauptungen

Das Papier behauptet, dass das Evaluierungsprotokoll und nicht das Modell die wissenschaftliche Schlussfolgerung bestimmt. Durch die Abhängigkeit von punktuellen Metriken hat die wissenschaftliche Gemeinschaft unbewusst Modelle bevorzugt, deren rekonstruierte Spektren nachgelagerte Messungen nicht unterstützen können.

• Strukturelle Fehlausrichtung: Die Autoren behaupten, dass punktuelle Metriken in multimodalen Settings strukturell nicht mit den Zielen der wissenschaftlichen Rekonstruktion übereinstimmen.
• Notwendigkeit des Protokolls: Das vorgeschlagene dreistufige Protokoll ist notwendig, um Unterscheidungen zwischen Architekturen aufzudecken, die unter Standardmetriken identisch erscheinen (z. B. Unterscheidung zwischen exakten und approximativen Likelihood-Flows via Kalibrierung).
• Domänenunabhängigkeit: Die Ergebnisse gelten für jedes inverse Problem mit nicht zu vernachlässigender Posterior-Varianz (z. B. Phasenretrieval, kosmologische Inferenz) und nicht nur für die spezifisch getesteten Benchmarks.

Die Autoren schließen, dass eine sorgfältige Evaluierung unter Verwendung dieses Protokolls die Verzerrung einer rein punktuellen Evaluierung sichtbar macht und Praktikern eine Vergleichsbasis bietet, auf der wissenschaftliche Schlussfolgerungen beruhen können. Sie stellen fest, dass ihre Ergebnisse zwar robust sind, die absoluten Leistungswerte jedoch spezifisch für ihr experimentelles Setup sind und die Umkehrung der Rangfolge selbst das robuste, generalisierbare Ergebnis darstellt.