🤖 machine learning

Is Data Shapley Not Better than Random in Data Selection? Ask NASH

Dieser Beitrag stellt NASH vor, ein neuartiges Framework zur Datenselektion, das Zielnutzenfunktionen in Shapley-informative Komponenten zerlegt und diese nichtlinear aggregiert, um konsistent und effizient hochwertige Trainingsuntergruppen auszuwählen und damit die Einschränkungen herkömmlicher Data-Shapley-Methoden zu überwinden, die häufig keine besseren Ergebnisse als eine zufällige Selektion erzielen.

Ursprüngliche Autoren: Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Zixuan Wang, Nancy F. Chen, Bryan Kian Hsiang Low

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Zixuan Wang, Nancy F. Chen, Bryan Kian Hsiang Low

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, die perfekte Suppe zu kreieren. Sie haben eine riesige Speisekammer voller Zutaten (Ihre Trainingsdaten), aber Sie haben nur genug Platz in Ihrem Topf für eine kleine, spezifische Menge (Ihr begrenztes Budget oder Speicher). Ihr Ziel ist es, die beste Handvoll Zutaten auszuwählen, um die Suppe fantastisch schmecken zu lassen.

Seit langem verwenden Datenwissenschaftler eine Methode namens Data Shapley, um zu entscheiden, welche Zutaten sie auswählen sollen. Denken Sie an Data Shapley wie an einen „Fairness-Score". Er versucht zu berechnen, wie sehr jede einzelne Zutat zum Endgeschmack beiträgt, wobei berücksichtigt wird, wie sie sich mit jeder anderen möglichen Kombination von Zutaten mischt. Die Theorie lautet: „Wenn eine Zutat gut ist, wird sie einen hohen Score haben, also holen wir uns einfach die 10 besten Zutat mit den höchsten Scores."

Das Problem: Die „Top 10"-Falle
Die Arbeit argumentiert, dass dieser „Top 10"-Ansatz oft versagt. Manchmal machen die Zutaten mit den höchsten Scores die Suppe gar nicht besser; tatsächlich sind sie vielleicht nicht besser als eine zufällige Handvoll Zutaten.

Warum? Weil der „Score" (Data Shapley) versucht, zu viel auf einmal zu leisten.

Der „Schweizer Taschenmesser"-Fehler: Stellen Sie sich vor, Sie haben ein Messer, das hervorragend Fleisch schneidet, aber schrecklich Gemüse hackt. Wenn Sie nur auf den Gesamt-Score des Messers schauen, könnte es wie ein erstklassiges Werkzeug aussehen. Aber wenn Ihre Suppe viel Gemüse benötigt, ist dieses Messer nutzlos.
Die Erkenntnis der Arbeit: Der „Geschmack" der Suppe (Validierungsgenauigkeit) hängt von vielen verschiedenen „Rollen" ab (Fleisch schneiden, Gemüse hacken, würzen). Ein einzelner Gesamtwert verbirgt diese spezifischen Stärken. Die Arbeit zeigt, dass Data Shapley oft eine Reihe von „Fleischschneidern" auswählt und die „Gemüsehacker" ignoriert, was zu einer schlechten Suppe führt.

Die Lösung: Lernen Sie NASH kennen
Die Autoren schlagen ein neues Framework namens NASH (Non-linear Aggregation of SHapley-informative components) vor. So funktioniert es, unter Verwendung einer kreativen Analogie:

Zerlegen (Decomposition): Anstatt zu fragen: „Wie gut ist diese Zutat für die ganze Suppe?", fragt NASH: „Wie gut ist diese Zutat für nur das Fleisch? Wie gut ist sie für nur das Gemüse? Wie gut ist sie für nur die Würze?"
- Die Arbeit beweist, dass, wenn man diese kleinen, spezifischen Rollen betrachtet (wie das Vorhersagen des Geschmacks von einem bestimmten Gemüse), der Data Shapley-Score sehr genau und zuverlässig wird. Dies sind die „Shapley-informativen Komponenten".
Intelligent mischen (Non-Linear Aggregation): Jetzt hat NASH für jede Zutat für jede Rolle einen Score. Aber es addiert sie nicht einfach alle auf (was nur die alte, fehlerhafte „Top 10"-Liste ergeben würde).
- Stattdessen verwendet es eine intelligente Mischstrategie. Stellen Sie sich einen Koch vor, der erkennt: „Ich habe plenty Fleischschneider, aber ich verzweifle an Gemüsehackern."
- NASH priorisiert Zutaten, die die Lücken füllen. Wenn die Suppe bereits eine hervorragende Fleischabdeckung hat, hört NASH auf, weitere Fleischschneider auszuwählen, und beginnt stattdessen, nach Gemüsehackern zu suchen, selbst wenn diese Hackern einen etwas niedrigeren „Gesamt"-Score hatten. Es verwendet eine mathematische „gekrümmte" Regel (nicht-linear), um sicherzustellen, dass die Suppe ein ausgewogenes, vollständiges Geschmacksprofil erhält.

Die Ergebnisse
Die Arbeit testete dies an vielen verschiedenen „Rezepten" (Datensätzen) und „Kochstilen" (Modellen), von einfachen mathematischen Problemen bis hin zu komplexen KI-Sprachmodellen.

Alter Weg: Die Standard-Data-Shapley-Methode schnitt oft nicht besser ab als das zufällige Auswählen von Zutaten.
NASH-Weg: Indem sie das Problem in spezifische Rollen zerlegt und diese intelligent neu mischt, wählte NASH konsistent bessere Zutaten aus und kreierte eine viel schmackhaftere Suppe (höhere Modellgenauigkeit) als die alte Methode, mit fast keinem zusätzlichen Aufwand oder Kosten.

Auf den Punkt gebracht
Die Arbeit sagt: „Vertrauen Sie nicht einfach dem allgemeinen Beliebtheits-Score Ihrer Daten. Zerlegen Sie das Problem in spezifische Aufgaben, sehen Sie, wo Ihre aktuellen Daten schwach sind, und verwenden Sie eine intelligente, nicht-lineare Regel, um diese Lücken zu füllen. So erhalten Sie die beste Datenauswahl."

Wichtige Erkenntnisse aus der Arbeit:

Data Shapley ist nicht kaputt; es wird nur falsch verwendet (durch blindes Auswählen der Top-Scores).
Komplexe Ziele (wie „gute Suppe") bestehen aus einfachen Teilen (gutes Fleisch, gutes Gemüse). Data Shapley funktioniert bei den einfachen Teilen hervorragend.
NASH ist das neue Framework, das die einfachen Teile nutzt, um ein besseres Ganzes zu bauen, und sicherstellt, dass Sie nicht nur eine Reihe ähnlicher Zutaten auswählen, sondern eine ausgewogene, hochwertige Teilmenge.

Technische Zusammenfassung: NASH – Nichtlineare Aggregation von Shapley-informativen Komponenten

Problemstellung

Die Datenselektion zielt darauf ab, hochwertige Teilmengen von Trainingsdaten zu identifizieren, um den Nutzen des Modells (z. B. Validierungsgenauigkeit $u_V$ ) unter Größenbeschränkungen zu optimieren. Während Data Shapley und seine Verallgemeinerungen (Semiwerte) theoretisch in der kooperativen Spieltheorie verankert sind, um Dateninteraktionen zu berücksichtigen, deuten jüngere empirische Studien darauf hin, dass sie in der Praxis oft unwirksam sind. Insbesondere kann die Auswahl der Top- $m$ -Datenpunkte basierend auf Shapley-Werten, die bezüglich komplexer Nutzenfunktionen (wie Validierungsgenauigkeit) berechnet wurden, Teilmengen liefern, die nicht besser sind als eine zufällige Auswahl oder sogar schlechter.

Das Papier identifiziert zwei Hauptgründe für dieses Versagen:

Mangelnde Shapley-Informativität: Komplexe Nutzenfunktionen beinhalten mehrere unterschiedliche „Rollen" (z. B. verschiedene Klassen oder Subpopulationen im Validierungsset). Ein einzelner Shapley-Wert für einen Datenpunkt erfasst nicht seine einzigartige Stärke über diese Rollen hinweg. Folglich können Daten mit unterschiedlichen Stärken identische Shapley-Werte erhalten, was zu einer austauschbaren Behandlung führt, obwohl ihre Nutzenbeiträge unterschiedlich sind.
Unangemessene Aggregation: Das wahre Ziel (z. B. Validierungsgenauigkeit) aggregiert die Leistung über diese Rollen hinweg nichtlinear. Das Standard-Top- $m$ -Heuristikverfahren beruht jedoch auf einer linearen Aggregation (Summierung der Shapley-Werte), was die synergistischen Interaktionen nicht erfasst, bei denen der Beitrag eines Datenpunkts davon abhängt, welche anderen Daten bereits ausgewählt wurden (z. B. ist ein Datenpunkt wertvoller, wenn er eine unterrepräsentierte Rolle abdeckt).

Methodik: NASH-Rahmenwerk

Die Autoren schlagen NASH (Non-linear Aggregation of SHapley-informative components) vor, ein Rahmenwerk, das die komplexe Nutzenfunktion in einfachere Komponenten zerlegt, bei denen Shapley-Werte wirksam sind, und diese anschließend nichtlinear aggregiert.

1. Shapley-Informativität und Zerlegung

Das Papier formalisiert Shapley-Informativität als eine Eigenschaft, bei der die Summe der Shapley-Werte für eine Teilmenge auf ihren tatsächlichen Nutzen hinweist. Die Autoren beweisen, dass beliebige Nutzenfunktionen im Allgemeinen nicht Shapley-informativ sind. Sie zeigen jedoch, dass einfachere Nutzenfunktionen, speziell die Vorhersagerichtigkeit auf einem einzelnen Validierungsdatum ( $u_v$ ), unter der Annahme des „Konsistenten Spielers" (wobei ein Datenpunkt für einen spezifischen Validierungspunkt konsistent gut oder schlecht ist) nachweislich Shapley-informativ sind.

Anstatt Shapley-Werte für die aggregierte Validierungsgenauigkeit $u_V$ zu berechnen, zerlegt NASH $u_V$ in einzelne Komponenten $u_v$ für jedes Validierungsdatum $v \in V$ . Die Shapley-Werte $\phi_i(u_v)$ werden für diese einfacheren Komponenten berechnet. Bemerkenswerterweise entstehen bei der Berechnung dieser Vektoren keine zusätzlichen Laufzeitkosten im Vergleich zur Berechnung des Shapley-Werts für die Aggregation $u_V$ , da $u_V$ einfach der Durchschnitt von $u_v$ ist.

2. Nichtlineare Aggregation

Um das komplexe Ziel aus diesen informativen Komponenten wiederherzustellen, vermeidet NASH die lineare Summation (die den fehlerhaften Top- $m$ -Shapley-Heuristikansatz wiederherstellen würde). Stattdessen wird ein nichtlineares Aggregationsziel optimiert:
$\max_{M \subseteq N, |M|=m} \sum_{v \in V} F_T(\hat{u}_v(M))$
wobei $\hat{u}_v(M) = \sum_{i \in M} \phi_i(u_v)$ die Summe der Shapley-Werte für Komponente $v$ ist und $F_T$ eine kumulative Verteilungsfunktion (CDF) ist, die von Lernkurven inspiriert ist (z. B. ein exponentielles Gesetz). Diese nichtlineare Funktion stellt sicher, dass der Selektionsprozess Daten priorisiert, die helfen, die „Schwelle" für schlecht vorhergesagte Validierungspunkte (unabgedeckte Rollen) zu überschreiten, anstatt hohe Scores bei bereits gut vorhergesagten Punkten zu akkumulieren.

3. Optimierung

Das NASH-Ziel wird mittels eines gierigen Algorithmus optimiert. Die Autoren zeigen, dass, wenn Shapley-Werte nicht-negativ sind, das Ziel monoton submodular ist, was eine $(1 - 1/e)$ -Approximation garantiert. Selbst bei negativen Werten (durch verrauschte Daten) schneidet der gierige Algorithmus empirisch gut ab, da schädliche Daten (die die Submodularität aufheben) auf natürliche Weise herabgestuft werden. Der Algorithmus verursacht nur minimale zusätzliche Laufzeitkosten, da die Hauptarbeit (Shapley-Näherung) mit bestehenden Methoden geteilt wird.

Hauptbeiträge

Theoretische Analyse: Das Papier formalisiert die Eigenschaft der Shapley-Informativität und erklärt, warum komplexe ML-Nutzenfunktionen (wie Validierungsgenauigkeit) diese nicht erfüllen, was zu der inkonsistenten Leistung von Data Shapley führt.
Nachweislich informative Komponenten: Die Autoren identifizieren und beweisen, dass die Vorhersagerichtigkeit auf einzelnen Validierungspunkten unter vernünftigen Annahmen als Shapley-informative Komponenten dient.
NASH-Rahmenwerk: Ein neuartiges Rahmenwerk zur Datenselektion, das komplexe Ziele in Shapley-informative Komponenten zerlegt und diese nichtlinear aggregiert, um hochwertige Teilmengen auszuwählen.
Empirische Validierung: Umfassende Experimente auf Standarddatensätzen (logistische Regression, KNN) und beim Feinabstimmen großer Sprachmodelle (BERT, Llama-2) zeigen, dass NASH Vanilla Data Shapley, andere Semiwerte und zufällige Auswahl konsistent übertrifft.

Ergebnisse

Allgemeine Datenselektion: In Szenarien ohne injiziertes Rauschen (homogene Qualität) schneidet Vanilla Data Shapley oft nicht besser als Zufall ab. NASH steigert die Leistung in diesen Szenarien erheblich und übertrifft Baselines bei verschiedenen Selektionsverhältnissen konsistent.
Heterogene Qualitätsdatensätze: In Szenarien mit Labelrauschen verbessert sich Vanilla Data Shapley (da es schlechte Daten unterscheiden kann), aber NASH übertrifft es dennoch konsistent. Dies deutet darauf hin, dass die Vorteile von NASH (Umgang mit Rolleninteraktionen) von der Fähigkeit von Data Shapley, Rauschen zu filtern, unterschiedlich und komplementär sind.
Kompatibilität: NASH ist mit verschiedenen Semiwerten (z. B. Beta Shapley, Data Banzhaf) und effizienten Näherungsmethoden (z. B. MC-Sampling, FreeShap) kompatibel und verbessert deren Selektionsleistung konsistent.
Robustheit: Die Methode ist robust gegenüber der Wahl des Hyperparameters $\lambda$ in der Aggregationsfunktion und funktioniert effektiv mit verschiedenen Nutzenfunktionen (z. B. Validierungsverlust, MSE).

Bedeutung

Das Papier behauptet, dass NASH weitgehend die Einschränkung beseitigt, dass Data Shapley/Semiwerte nur auf begrenzte Datensätze oder spezifische Szenarien (z. B. solche mit injiziertem Rauschen) wirksam sind. Durch die Bereitstellung eines Rahmenwerks, das Shapley-basierte Selektion über diverse Datensätze und Modellskalen hinweg konsistent zuverlässig und robust macht, ermöglicht NASH die breitere Adoption prinzipieller Methoden zur Datenbewertung. Dieser Fortschritt unterstützt zukünftige Forschung zur Verbesserung der Näherungseffizienz und der Datenselektion für Basismodelle und stellt sicher, dass die theoretischen Vorteile von Shapley-Werten (nicht-myopische Interaktion und Fairness) in der Praxis realisiert werden.