🤖 AI

Constraint-Data-Value-Maximization: Utilizing Data Attribution for Effective Data Pruning in Low-Data Environments

Dieser Beitrag stellt Constraint-Data-Value-Maximization (CDVM) vor, einen neuartigen Ansatz, der das Beschneiden von Daten als ein restringiertes Optimierungsproblem formuliert, um den Einfluss des Modells effektiv zu maximieren und gleichzeitig übermäßige Beiträge pro Test zu bestrafen, wodurch traditionelle auf Shapley-Werten basierende Methoden in Szenarien mit geringen Datenmengen übertroffen werden.

Ursprüngliche Autoren: Danilo Brajovic, David A. Kreplin, Marco F. Huber

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Danilo Brajovic, David A. Kreplin, Marco F. Huber

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, die perfekte Suppe zu kreieren. Sie haben einen riesigen Vorratsraum voller Zutaten (Ihre Daten), aber Ihre Küche ist klein, Ihr Herd schwach, und Sie haben nur Zeit, mit einem winzigen Bruchteil dessen zu kochen, was Sie haben. Sie müssen den Großteil der Zutaten wegwerfen, aber diejenigen behalten, die der Suppe den besten Geschmack verleihen.

Dies ist das Problem, mit dem maschinelle Lernmodelle heute konfrontiert sind. Sie benötigen enorme Datenmengen zum Lernen, doch das Speichern und Verarbeiten all dieser Daten ist teuer und langsam. Das Ziel ist Datenbeschneidung (Data Pruning): herauszufinden, welche spezifischen Datenstücke die „geheimen Gewürze" sind und welche nur „Füllmaterial" darstellen, das weggeworfen werden kann, ohne das Gericht zu verderben.

Der alte Weg: Der „Popularitäts-Wettbewerb"

Lange Zeit versuchten Wissenschaftler, dies mit einer Methode zu lösen, die auf Shapley-Werten (ein Konzept aus der Spieltheorie) basiert. Stellen Sie sich dies wie einen Popularitäts-Wettbewerb vor, bei dem jede Zutat eine Punktzahl erhält, basierend darauf, wie sehr sie der Suppe hilft, wenn sie zu verschiedenen Kombinationen anderer Zutaten hinzugefügt wird.

Die Arbeit argumentiert, dass diese alte Methode einen fatalen Fehler hat: Sie hasst Gruppen.

Stellen Sie sich vor, Ihr Vorratsraum enthält:

100 identische Kartoffeln (ein großer Cluster).
1 einzigartige, seltene Trüffel (ein kleiner Cluster).

Die alte Methode betrachtet die Kartoffeln und sagt: „Nun, wir haben so viele von euch, dass eine einzelne Kartoffel nicht besonders ist. Ihr seid alle redundant." Daher erhält sie eine sehr niedrige Punktzahl. Sie betrachtet die einzelne Trüffel und sagt: „Du bist einzigartig! Du bist unverzichtbar!" Daher erhält sie eine hohe Punktzahl.

Die Katastrophe: Wenn der Koch beginnt, die Zutaten mit der „niedrigen Punktzahl" wegzuwerfen, wirft er zuerst 99 Kartoffeln weg. Aber dann hat er überhaupt keine Kartoffeln mehr. Plötzlich enthält die Suppe überhaupt keine Stärke mehr und schrecklich. Die Methode entfernte die gesamte Gruppe der Kartoffeln zu früh, weil sie nicht erkannte, dass die Kartoffeln, auch wenn sie ähnlich waren, als Gruppe von entscheidender Bedeutung waren.

Die neue Lösung: CDVM (Der Koch für „faire Abdeckung")

Die Autoren stellen eine neue Methode namens Constraint-Data-Value-Maximization (CDVM) vor. Anstatt jeder einzelnen Zutat einfach eine Punktzahl zu geben und sie vom Besten zum Schlechtesten zu sortieren, agiert CDVM wie ein kluger Koch, dem Ausgewogenheit am Herzen liegt.

So funktioniert CDVM, anhand einer einfachen Analogie:

Die Speisekarte (Der Testdatensatz): Stellen Sie sich eine Speisekarte mit 100 verschiedenen Kunden vor, jeder mit einer spezifischen Geschmackspräferenz (z. B. manche mögen salzig, manche süß, manche scharf).
Das Ziel: Sie möchten einen kleinen Korb mit Zutaten auswählen (sagen wir, 10 Stück), der jeden auf der Speisekarte zufriedenstellt.
Die Einschränkung: CDVM fragt nicht nur: „Welche Zutat macht die Suppe insgesamt am besten?" Es fragt: „Wenn ich diese Zutat auswähle, hilft sie den scharf liebenden Kunden? Hilft sie den süß liebenden Kunden?"

CDVM setzt eine Regel: Kein Kunde auf der Speisekarte sollte völlig unzufrieden gelassen werden.

Wenn die alte Methode 9 Kartoffeln und 1 Trüffel auswählen würde (unter der Annahme, dass die Kartoffeln für die „stärkeliebenden" Kunden nicht benötigt werden), sagt CDVM: „Moment mal. Wenn ich 9 Kartoffeln wähle, ignoriere ich die 'scharf' liebenden Kunden, die einen Pfeffer benötigen. Lassen Sie uns einige Kartoffeln gegen einen Pfeffer tauschen, um sicherzustellen, dass jeder etwas bekommt."

Es behandelt das Problem wie ein Puzzle, bei dem Sie die Gesamtfreude der Kunden maximieren müssen, während sichergestellt wird, dass kein einzelner Kunde ignoriert wird. Es zwingt die Auswahl dazu, mindestens einen Vertreter aus jeder „Gruppe" von Zutaten zu behalten, bis es absolut notwendig ist, sie gehen zu lassen.

Warum dies wichtig ist

Die Arbeit testete diese neue Methode gegenüber den alten Popularitäts-Wettbewerbs-Methoden an sechs verschiedenen Datensätzen (wie Bildern von Autos, Textbewertungen und medizinischen Daten).

Das Ergebnis: Als die Köche gezwungen waren, sehr kleine Datenmengen zu verwenden (wie nur 5 % oder 10 % der ursprünglichen Zutaten zu behalten), erzeugte die CDVM-Methode viel bessere Suppen (Modelle) als die alten Methoden.
Die „Budget"-Erkenntnis: Die Arbeit entdeckte auch etwas Überraschendes: Die „besten" 10 % der Zutaten sind nicht unbedingt eine Teilmenge der „besten" 20 %. Manchmal enthält das perfekte 10 %-Set eine seltsame Zutat, die Sie im 20 %-Haufen behalten, aber im 5 %-Haufen wegwerfen würden. CDVM ist intelligent genug, die perfekte Mischung für jede spezifische Budgetgröße neu zu berechnen, anstatt nur eine einzige „Beste-zu-Schlechteste"-Liste zu verwenden.

Das Fazit

Die Arbeit behauptet, dass wir durch die Änderung unserer Sichtweise auf Daten – von der „Rangfolge von Individuen" hin zur „Optimierung für eine ausgewogene Abdeckung" – die Größe unserer Trainingsdatensätze erheblich reduzieren können, ohne die Leistung zu verlieren. Dies spart Energie und Geld, insbesondere wenn wir mit sehr begrenzten Daten arbeiten.

Kurz gesagt: Der alte Weg war so, als würde man alle Kartoffeln wegwerfen, weil eine einzelne Kartoffel nicht besonders ist. Der neue Weg (CDVM) sagt: „Lassen Sie uns ein paar Kartoffeln, ein paar Karotten und ein paar Gewürze behalten, damit wir, egal was der Kunde möchte, etwas anzubieten haben."

Technische Zusammenfassung: Constraint-Data-Value-Maximization für effektives Daten-Pruning in datenarmen Umgebungen

1. Problemstellung

Maschinelle Lernmodelle, insbesondere große Sprachmodelle, stehen vor einer unstillbaren Nachfrage nach Daten, während die Datenverfügbarkeit stagniert. Methoden zur Datenbewertung zielen darauf ab, den Einfluss einzelner Trainingsinstanzen auf die Modellleistung zu attribuieren, um die Datensatzgröße zu reduzieren, wodurch Energie gespart und die Trainingseffizienz verbessert wird. Allerdings leiden bestehende Ansätze für Daten-Pruning (Entfernung von Daten mit geringem Wert) unter kritischen Einschränkungen, insbesondere in datenarmen Umgebungen, in denen nur ein kleiner Bruchteil des Datensatzes verbleibt.

Die Autoren identifizieren drei Hauptmängel in aktuellen State-of-the-Art-Methoden (insbesondere Shapley- und Banzhaf-wertbasierte Ansätze):

Cluster-Größen-Bias: Shapley- und Banzhaf-Werte verteilen den gesamten Nutzen eines Clusters auf seine Mitglieder. Folglich erhalten Punkte in größeren Datenclustern geringere marginale Werte als Punkte in kleineren Clustern. Dies führt zur vorzeitigen Entfernung ganzer großer Cluster, was zu starken Einbrüchen der Modellleistung führt, sobald der letzte Repräsentant eines Clusters entfernt wird.
Redundanz-Bias: Leave-One-Out (LOO)-Methoden weisen redundanten Stichproben oft einen Wert von null zu und scheitern daran, zwischen dem Nutzen des Behaltens eines Repräsentanten versus vieler zu unterscheiden.
Nicht-nested optimale Teilmengen: Die Teilmenge von Daten, die die Genauigkeit für ein bestimmtes Beibehaltungsbudget (z. B. 10 %) maximiert, ist nicht notwendigerweise eine Teilmenge des optimalen Sets für ein anderes Budget (z. B. 5 %). Standard-Pruning-Strategien, die von einer Nestedness ausgehen, versagen bei der Anpassung an diese budget-spezifischen Optima.

2. Methodik: Constraint-Data-Value-Maximization (CDVM)

Um diese Einschränkungen zu adressieren, schlagen die Autoren Constraint-Data-Value-Maximization (CDVM) vor, ein optimierungsbasiertes Framework, das Daten-Pruning als ein Optimierungsproblem mit Nebenbedingungen über eine Daten-Attributionsmatrix behandelt.

Kernkonzepte

Daten-Attributionsmatrix ( $T$ ): Im Gegensatz zu skalaren Datenwerten nutzt CDVM eine Matrix $T \in \mathbb{R}^{n \times m}$ , wobei $n$ die Anzahl der Trainingsinstanzen und $m$ die Anzahl der Testinstanzen ist. Der Eintrag $T_{i,j}$ quantifiziert den Einfluss der Trainingsinstanz $i$ auf die Vorhersage der Testinstanz $j$ . Diese Matrix wird unter Verwendung des Maximum Sample Reuse (MSR)-Prinzips geschätzt, indem Modelle auf Stichproben-Teilmengen trainiert werden, um den Einfluss zu approximieren, ohne für jede Instanz ein vollständiges Retraining durchführen zu müssen.
Optimierungsformulierung: CDVM formuliert Pruning als Auswahl eines binären Vektors $w \in \{0, 1\}^n$ $w \in {0, 1}^{n}$ (der angibt, welche $S$ $S$ Trainingsinstanzen beibehalten werden sollen), um eine Nutzenfunktion unter Nebenbedingungen zu maximieren.
- Zielfunktion: Maximierung des Gesamteinflusses auf Teststichproben bei gleichzeitiger Bestrafung einer übermäßigen Konzentration des Einflusses auf wenige Teststichproben.
- Nebenbedingung: Die Anzahl der beibehaltenen Instanzen muss dem Budget $S$ entsprechen.
- Schlupfvariablen: Um das „Winner-take-all"-Szenario zu verhindern, bei dem wenige Teststichproben den Nutzen dominieren, führt die Methode Schlupfvariablen $t_j$ ein, die den Einfluss pro Teststichprobe auf einen Schwellenwert $\kappa$ begrenzen. Jeder Einfluss, der $\kappa$ überschreitet, wird bestraft.

Das formale Optimierungsproblem lautet:
$\begin{aligned} \max_{w, t} \quad & \alpha \sum_{j=1}^m v_j - (1-\alpha) \sum_{j=1}^m t_j \\ \text{s.t.} \quad & v = T^\top w \\ & \sum_{i=1}^n w_i = S \\ & t_j \ge 0, \quad t_j \ge v_j - \kappa \\ & w_i \in \{0, 1\} \end{aligned}$
wobei $v_j$ der induzierte Nutzen für Teststichprobe $j$ ist und $\alpha$ den Gesamtnutzen gegen die Strafe für das Überschreiten des Schwellenwerts ausbalanciert.

Implementierung

Die Autoren relaxieren die binäre Nebenbedingung $w_i \in \{0, 1\}$ zu $w_i \in [0, 1]$ , um das Problem als gemischt-ganzzahliges lineares Programm (MILP) unter Verwendung des Disciplined Parametrized Programming-Frameworks zu lösen. Nach der Lösung werden die Top- $S$ Einträge von $w$ beibehalten. Dieser Ansatz gewährleistet eine ausgewogene Abdeckung und garantiert, dass keine Teststichprobe (und somit kein impliziter Datencluster) mit einem Gesamteinfluss von null zurückgelassen wird, solange das Budget dies zulässt.

3. Hauptbeiträge

Die Arbeit leistet vier primäre Beiträge:

Analyse bestehender Einschränkungen: Die Autoren zeigen theoretisch und empirisch, dass Shapley- und Banzhaf-Attributionen Instanzen in größeren Datenclustern geringere marginale Beiträge zuweisen, was zu unausgewogenen Entfernungsmustern und suboptimaler Pruning-Leistung in datenarmen Regimen führt.
Budget-Spezifität: Sie zeigen, dass optimale Beibehaltungssätze budget-spezifisch sind; die Teilmenge, die die Genauigkeit für ein Beibehaltungsniveau maximiert, enthält nicht notwendigerweise die für ein anderes optimierte Teilmenge.
CDVM-Algorithmus: Die Einführung von CDVM, das Pruning als Optimierung über eine Attributionsmatrix formuliert und Redundanz- sowie Cluster-Größen-Bias durch Erzwingung eines ausgewogenen Einflusses über Teststichproben hinweg explizit adressiert.
Benchmarking: Umfassende Evaluierung auf sechs Datensätzen aus dem OpenDataVal-Benchmark, die eine starke Leistung und eine konkurrenzfähige Laufzeit im Vergleich zu State-of-the-Art-Techniken demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CDVM auf sechs Datensätzen aus dem OpenDataVal-Benchmark (einschließlich CIFAR-10, Adult, IMDB, BBC, Pol und Nomao) über Beibehaltungsniveaus von 5 % bis 30 %.

Leistung: CDVM erreichte State-of-the-Art-Leistung in 28 von 36 Konfigurationen (6 Datensätze $\times$ 6 Pruning-Raten). Es übertraf konsistent zufällige Entfernung, DataBanzhaf und DataOob/Memorization-Methoden.
Vergleich mit Influence Optimization: Während die Influence-Optimierung-Methode (Yang et al., 2023) auf einigen Datensätzen (insbesondere Nomao) konkurrenzfähig performte, war CDVM die einzige Methode, die bei allen sechs Benchmarks konsistent zufällige Baselines schlug, wenn Hyperparameter angemessen abgestimmt waren.
Laufzeiteffizienz: CDVM bietet einen überlegenen Trade-off zwischen Geschwindigkeit und Genauigkeit. Obwohl die Berechnung der Attributionsmatrix $T$ die primäre Engstelle ist (gemeinsam für alle semi-wertbasierten Methoden), ist der Optimierungsschritt schnell. CDVM mit 5.000 Modellen erzielte Ergebnisse, die mit Methoden vergleichbar waren oder diese übertrafen, die 10.000 Modelle erfordern, mit signifikant geringerer Optimierungszeit als Influence Optimization (welche eine Hessian-Inversion erfordert).
Robustheit: Die Methode ist robust gegenüber Hyperparameter-Wahlen. Eine Standardkonfiguration ( $\alpha=0.5$ , $\kappa$ abgeleitet aus Datensatzstatistiken) performte nahezu ebenso gut wie grid-gesuchte Parameter, ohne Such-Overhead zu verursachen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CDVM eine robuste Lösung für Daten-Pruning in datenarmen Regimen bietet, einem Szenario, in dem bestehende Shapley-basierte Methoden aufgrund ihrer inhärenten Bias oft versagen. Durch den Wechsel von skalaren Datenwerten zu einer optimierten Optimierung über eine Attributionsmatrix stellt CDVM sicher, dass der verbleibende Datensatz eine ausgewogene Abdeckung der Testverteilung beibehält.

Die Autoren betonen, dass ihre Erkenntnisse „erheblichen Spielraum zur Verbesserung des Daten-Prunings" aufzeigen, was sich direkt in reduzierten Trainingskosten und Energieverbrauch niederschlägt. Sie stellen fest, dass CDVM zwar rechnerisch konkurrenzfähig ist, die primäre Engstelle jedoch weiterhin die Berechnung und Speicherung der Attributionsmatrix $T$ bleibt. Zukünftige Arbeiten könnten effizientere Attributions-Schätzer erforschen oder die Spärlichkeit von $T$ ausnutzen, um auf größere Datensätze wie ImageNet zu skalieren.

Die Arbeit schließt, dass CDVM Daten-Attributionen effektiv nutzt, um Beispiele mit geringem Wert zu entfernen, ohne die Modellqualität zu beeinträchtigen, und bietet eine praktische Alternative zur zufälligen Auswahl und zu bestehenden wertbasierten Pruning-Strategien.