📊 statistics

Aggregate Models, Not Explanations: Improving Feature Importance Estimation

Dieser Artikel zeigt durch theoretische Analyse und empirische Validierung, dass die Aggregation von Schätzungen zur Merkmalswichtigkeit über einzelne Modelle innerhalb eines Ensembles genauere Ergebnisse liefert als die Erklärung des Ensembles als Ganzes, insbesondere bei expressiven Modellen, bei denen die Reduzierung des übermäßigen Risikos für eine zuverlässige wissenschaftliche Entdeckung entscheidend ist.

Ursprüngliche Autoren: Joseph Paillard, Angel Reyero Lobo, Denis A. Engemann, Bertrand Thirion

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Joseph Paillard, Angel Reyero Lobo, Denis A. Engemann, Bertrand Thirion

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, welche Zutaten in einer riesigen, komplexen Suppe für ihren spezifischen Geschmack verantwortlich sind. Sie haben ein Team von Spitzenköchen (Machine-Learning-Modelle), die den Geschmack perfekt vorhersagen können. Da jedoch die Küche chaotisch ist (Datensampling) und die Köche unterschiedliche Stimmungen oder Ausgangspunkte haben (algorithmische Zufälligkeit), liefert jeder Koch eine leicht unterschiedliche Liste „wichtiger Zutaten". Manchmal sagt Koch A, dass „Salz" der Schlüssel ist, während Koch B behauptet, es sei „Pfeffer", obwohl beide zustimmen, dass die Suppe hervorragend schmeckt.

Diese Arbeit mit dem Titel „Aggregate Models, Not Explanations" (Aggregierte Modelle, keine Erklärungen) adressiert das Problem, wie man die zuverlässigste Liste wichtiger Zutaten erhält, wenn Ihre Köche inkonsistent sind.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

Das Problem: Der „Rashomon"-Effekt

Im Film Rashomon erzählen verschiedene Zeugen widersprüchliche Geschichten über dasselbe Ereignis. Im Machine Learning nennt man dies den Rashomon-Effekt. Man kann viele verschiedene Modelle haben, die alle gleichermaßen gut darin sind, das Ergebnis vorherzusagen (die Suppe schmeckt hervorragend), aber sie alle geben unterschiedlichen Zutaten die Schuld für den Geschmack.

Wenn Wissenschaftler versuchen, diese Modelle zu nutzen, um herauszufinden, warum etwas passiert (wie etwa die Entdeckung einer Heilung für eine Krankheit), ist diese Inkonsistenz gefährlich. Wenn Sie Geld investieren, um „Pfeffer" als Heilmittel zu testen, basierend auf der Liste eines Kochs, ein anderer Koch aber „Salz" sagte, verschwenden Sie möglicherweise Ressourcen.

Die zwei Strategien: Zwei Wege, die Köche zu befragen

Die Arbeit vergleicht zwei Möglichkeiten, dieses Chaos zu bewältigen:

Der Ansatz der „Sub-Modelle" (Die Köche einzeln befragen):
Sie fragen Koch A: „Was ist die wichtigste Zutat?" Dann fragen Sie Koch B: „Was ist die wichtigste Zutat?" Schließlich nehmen Sie alle ihre Antworten und mitteln sie.
- Der Fehler: Wenn jeder Koch leicht verzerrt ist (z. B. weil sie alle die Bedeutung von Salz aufgrund ihrer Ausbildung leicht überschätzen), wird das Mitteln ihrer Antworten diesen Bias nicht beheben. Sie erhalten lediglich einen „Konsens" einer falschen Antwort.
Der Ansatz des „Modell-Level-Ensembles" (Erstellen eines Super-Kochs):
Anstatt einzelne Köche zu befragen, lassen Sie alle Köche während des Kochens zusammenarbeiten. Sie kombinieren ihre Vorhersagen in Echtzeit, um einen einzigen „Super-Koch" (ein Ensemble-Modell) zu schaffen, der genauer ist als jeder einzelne Koch. Dann fragen Sie diesen Super-Koch: „Was ist die wichtigste Zutat?"
- Der Vorteil: Da der Super-Koch genauer darin ist, den Geschmack vorherzusagen, ist auch die Erklärung, die er liefert, genauer.

Die große Entdeckung: „Fixiere die Vorhersage, fixiere die Erklärung"

Die Autoren führten eine theoretische Analyse durch und fanden eine entscheidende Regel: Für viele komplexe Modelle stammt die größte Fehlerquelle beim Herausfinden von „was wichtig ist" aus den eigenen Vorhersagefehlern des Modells.

Stellen Sie es sich so vor: Wenn ein Koch schlecht kocht (hoher Fehler), wird auch seine Erklärung, warum das Essen gut schmeckt, schlecht sein.

Der Ansatz der Sub-Modelle versucht, das Rauschen (Varianz) durch Mitteln zu glätten, behebt aber nicht die grundlegenden Kochfehler (Bias).
Der Ansatz des Modell-Level-Ensembles verbessert tatsächlich das Kochen (reduziert den Vorhersagefehler). Da der Super-Koch ein besserer Koch ist, ist seine Erklärung der Zutaten von Natur aus vertrauenswürdiger.

Die Arbeit zeigt, dass für beliebte Methoden wie LOCO (Entfernen einer Zutat, um zu sehen, was passiert) und SAGE (eine komplexe spieltheoretische Methode) das Bauen eines Super-Kochs zuerst fast immer besser ist als das Mitteln der Meinungen einzelner Köche.

Wann ist dies relevant?

Die Arbeit testete dies an:

Synthetischen Daten: Mathematischen Rätseln, bei denen die „wahren" Zutaten bekannt waren. Der Super-Koch-Ansatz fand die richtigen Zutaten konsistent häufiger und mit weniger Verwirrung.
Realen Daten (UK Biobank): Sie untersuchten einen riesigen Datensatz von 46.000 Personen und 2.922 Proteinen, um den Body-Mass-Index (BMI) vorherzusagen.
- Sie stellten fest, dass der Super-Koch-Ansatz bekannte biologische Marker (wie Leptin und FABP4) viel klarer identifizierte.
- Der Ansatz der einzelnen Köche (Sub-Modelle) lieferte Ergebnisse, die so wackelig waren (hohe Fehlerbalken), dass sie oft echte Signale nicht vom Rauschen unterscheiden konnten.

Die Ausnahme: Die „Linearen" Methoden

Die Arbeit stellt fest, dass diese Regel nicht universell gilt. Für bestimmte Methoden wie CFI (Conditional Feature Importance) und PFI (Permutation Feature Importance) ist die Mathematik anders. Diese Methoden sind wie lineare Gleichungen, bei denen sich der „Kochfehler" selbst aufhebt. Für diese spezifischen Werkzeuge funktioniert das Mitteln der Antworten einzelner Köche genauso gut wie das Erstellen eines Super-Kochs. Für die komplexeren, nicht-linearen Methoden, die im modernen KI-Einsatz verwendet werden, ist das Bauen des Super-Kochs jedoch der Gewinner.

Zusammenfassung

Wenn Sie verstehen wollen, warum ein komplexes KI-Modell eine Entscheidung trifft, mitteln Sie nicht einfach die Meinungen vieler verschiedener Modelle. Kombinieren Sie stattdessen die Modelle zuerst, um einen einzigen, genaueren Prädiktor zu erstellen, und fragen Sie dann diesen einzelnen Prädiktor nach seiner Erklärung. Dies reduziert das „Rauschen" und den „Bias", die wissenschaftliche Entdeckungen mit KI normalerweise so schwierig machen.

Titel: Modelle aggregieren, nicht Erklärungen: Verbesserung der Schätzung von Merkmalsbedeutsamkeit

Problemstellung
Methoden zur Bestimmung der Merkmalsbedeutsamkeit werden zunehmend eingesetzt, um maschinelle Lernmodelle (ML) von prädiktiven Motoren zu Werkzeugen für wissenschaftliche Entdeckungen zu transformieren, insbesondere in hochriskanten biomedizinischen Anwendungen. Allerdings weisen expressive Modelle (z. B. tiefe neuronale Netze, Random Forests) häufig Instabilität aufgrund von Variationen bei der Datensampling und algorithmischer Stochastizität (z. B. zufällige Initialisierung) auf. Dieses Phänomen, bekannt als „Rashomon-Effekt", führt dazu, dass Modelle mit ähnlicher Vorhersageleistung widersprüchliche Erklärungen für dieselben Daten liefern.

Eine kritische praktische Frage stellt sich bei der Bewältigung dieser Instabilität durch Ensembling: Sollte man die aus einzelnen Submodellen abgeleiteten Bedeutsamkeitswerte aggregieren (die „Submodelle"-Strategie), oder sollte man die Vorhersagen einzelner Modelle aggregieren, um einen einzigen Ensemble-Prädiktor zu bilden, und daraus dann die Bedeutsamkeit ableiten (die „Ensemble"-Strategie)? Aufgrund der Nichtlinearität gängiger Bedeutsamkeitsmaße (z. B. Risikodifferenzen) sind diese beiden Ansätze mathematisch nicht äquivalent. Die bisherige Literatur hat sich weitgehend auf die Aggregation individueller Erklärungen konzentriert, ohne eine formale Analyse des daraus resultierenden Schätzfehlers durchzuführen, wodurch die optimale Strategie unklar bleibt.

Methodik und Theoretischer Rahmen
Die Autoren entwickeln eine theoretische Analyse, um den Fehler bei der Schätzung der Merkmalsbedeutsamkeit zu zerlegen und gehen dabei über frühere Annahmen hinaus, die extrem schnelle Konvergenzraten für ML-Modelle erforderten (z. B. $o_P(n^{-1/4})$ ), die von modernen überparametrisierten Modellen oft nicht erfüllt werden.

Fehlerzerlegung: Aufbauend auf dem Rahmenwerk von Bottou & Bousquet (2007) zerlegen die Autoren das Exzessrisiko ( $E$ ) eines Modells in Approximationsfehler ( $E_{app}$ ), Schätzfehler ( $E_{est}$ ) und Optimierungsfehler ( $E_{opt}$ ). Sie argumentieren, dass für moderne expressive Modelle das Exzessrisiko die dominierende Fehlerquelle bei der Schätzung der Merkmalsbedeutsamkeit darstellt.
Risikodifferenz-Maße: Die Analyse konzentriert sich auf Methoden, die die Bedeutsamkeit über Risikodifferenzen schätzen, insbesondere:
- LOCO (Leave-One-Covariate-Out): Vergleicht das Risiko eines vollständigen Modells mit dem eines Modells, das ein bestimmtes Merkmal ausschließt.
- SAGE (Shapley Additive Global importancE): Aggregiert Risikodifferenzen über alle möglichen Merkmalsuntergruppen.
- CFI (Conditional Feature Importance) & PFI (Permutation Feature Importance): Methoden, bei denen dasselbe Modell auf ursprüngliche und gestörte Eingaben angewendet wird.
Theoretischer Vergleich:
- Für LOCO und SAGE hängt der Schätzfehler quadratisch vom Exzessrisiko des Modells ab. Die Autoren beweisen, dass das Ensembling auf Modellebene dieses Exzessrisiko reduziert (via Jensenscher Ungleichung für konvexe Verluste), wodurch der führende Fehlerterm (Bias) verringert wird. Im Gegensatz dazu reduziert die Aggregation individueller Bedeutsamkeitswerte (Submodelle) nur den stochastischen Rest (Varianz), lässt den Bias (Exzessrisiko) jedoch unverändert.
- Für CFI und PFI wird dasselbe Modell auf beide Terme der Risikodifferenz angewendet, wodurch sich die quadratischen Exzessrisiko-Terme aufheben. Der verbleibende Fehler hängt linear vom Modellschätzfehler ab. Folglich ist der theoretische Vorteil des Ensembling auf Modellebene für diese Methoden im Vergleich zu LOCO und SAGE weniger ausgeprägt.

Hauptbeiträge

Theoretische Analyse: Die Arbeit liefert eine rigorose Fehlerzerlegung für die Schätzung der Merkmalsbedeutsamkeit unter gelockerten Annahmen, die für moderne ML-Modelle geeignet sind. Sie identifiziert formal das Exzessrisiko des Modells als primären Treiber des Schätzfehlers für Risikodifferenz-Methoden.
Strategievergleich: Die Autoren zeigen, dass die Aggregation von Modellen auf Vorhersageebene (Ensembling auf Modellebene) theoretisch überlegen ist gegenüber der Aggregation individueller Erklärungen (Submodelle) für Methoden wie LOCO und SAGE, insbesondere in Bias-dominierten Regimen mit langsamer Konvergenz.
Empirische Validierung: Die Ergebnisse werden über klassische synthetische Benchmarks (Friedman 1, G-Funktion, Ishigami) und eine groß angelegte realweltliche proteomische Studie aus der UK Biobank hinweg validiert.

Ergebnisse

Synthetische Benchmarks: Experimente an den Datensätzen Friedman 1, G-Funktion und Ishigami unter Verwendung von Multi-Layer-Perceptrons (MLP) und Random Forests (RF) zeigen, dass das Ensembling auf Modellebene im Vergleich zur Submodelle-Strategie konsistent einen niedrigeren mittleren quadratischen Fehler (MSE) bei der Bedeutsamkeitsschätzung und eine höhere ROC-AUC für die Merkmalsauswahl erzielt.
Bias-Varianz-Zerlegung: Die Analyse zeigt, dass die Submodelle-Strategie zwar effektiv die Varianz reduziert, jedoch versagt, den signifikanten Bias zu mildern, der durch das Exzessrisiko einzelner Modelle eingeführt wird. Das Ensembling auf Modellebene adressiert diesen Bias direkt.
Methodenspezifische Gewinne: Die Leistungslücke zwischen den beiden Strategien ist für LOCO und SAGE am signifikantesten. Für CFI und PFI sind die Unterschiede vernachlässigbar, was der theoretischen Vorhersage entspricht, dass sich die quadratischen Risikoterme bei diesen Methoden aufheben.
Anwendung UK Biobank: In einer Studie zur Vorhersage des Body-Mass-Index (BMI) aus 2.922 Plasmaproteinen identifizierte das Ensembling auf Modellebene biologisch relevante proteomische Signaturen (z. B. FABP4, LEP, ADM, IGFBP-1, IGFBP-2) mit größerer Präzision und geringerer Varianz als der Submodelle-Ansatz. Der Submodelle-Ansatz zeigte Bedeutsamkeitsschätzungen für Schlüsselproteine, die mit Null überlappten, während die Ensemble-Strategie klare, signifikante Rangfolgen lieferte.
Stabilität: Die Ensemble-Strategie erzeugte stabilere Bedeutsamkeitsrangfolgen über die Kreuzvalidierungs-Folds hinweg, gemessen durch die Spearman-Rangkorrelation.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Wahl der Aggregationsstrategie nicht bloß eine Heuristik ist, sondern vom Exzessrisiko des Modells getrieben wird. Durch die Verlagerung des Fokus von der Aggregation von Erklärungen zur Aggregation von Modellen können Forscher die Zuverlässigkeit der Schätzungen der Merkmalsbedeutsamkeit für expressive Architekturen erheblich verbessern. Dies ist besonders entscheidend für wissenschaftliche Entdeckungen in Bereichen wie der Biomedizin, wo instabile Erklärungen die Identifizierung therapeutischer Ziele oder Risikofaktoren untergraben können.

Die Autoren betonen, dass ihre Ergebnisse spezifisch für Methoden sind, die wohldefinierte theoretische Indizes (wie LOCO und SAGE) schätzen, und nicht notwendigerweise auf heuristische Methoden ohne populationsbasierte Schätzergrößen anwendbar sind. Sie schließen, dass für Risikodifferenz-Maße die „Ensemble"-Strategie der bevorzugte Ansatz ist, um den Rashomon-Effekt zu mildern und die Robustheit der modellagnostischen Schätzung der Merkmalsbedeutsamkeit zu verbessern.