💬 NLP

Efficient Decentralized Multi-task Dataset Valuation via Model Merging

Dieses Paper schlägt DMVM vor, ein neuartiges Framework, das eine effiziente, datenschutzwahrende und dezentrale Bewertung von Multi-Task-Datensätzen ermöglicht, indem es Task-Arithmetik und sichere Aggregation nutzt, um Beiträge direkt aus Modellparametern abzuleiten, ohne dass eine Datenweitergabe oder ein erneutes Training erforderlich ist.

Ursprüngliche Autoren: Mohammadsajad Alipour, Mohammad Mohammadi Amiri

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammadsajad Alipour, Mohammad Mohammadi Amiri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen geschäftigen digitalen Marktplatz vor, auf dem Menschen Daten kaufen wollen, um intelligente Computerprogramme (KI) zu trainieren. Aber es gibt einen Haken: Die Verkäufer sind schützend. Sie wollen ihre Rohdaten (wie private Krankenakten oder persönliche Fotos) nicht zeigen, bevor sie bezahlt werden, und sie wollen natürlich auch nicht lange warten, während der Käufer jede mögliche Kombination von Daten ausprobiert, um zu sehen, was funktioniert.

Dieses Paper stellt eine neue Methode vor, um zu berechnen, wie viel die Daten eines jeden Verkäufers wert sind, genannt DMVM. Es löst drei große Probleme: Es ist schnell, es respektiert die Privatsphäre und es funktioniert, wenn der Käufer viele verschiedene Probleme gleichzeitig lösen muss (wie zum Beispiel das Lehren einer KI, Katzen zu erkennen, Sprachen zu übersetzen und Nachrichten zusammenzufassen – alles zur gleichen Zeit).

So funktioniert es, unter Verwendung der folgenden Alltagsanalogien:

1. Das Problem: Der „Geschmackstest“-Albtraum

Stellen Sie sich vor, Sie sind ein Koch (der Käufer) und versuchen, ein perfektes Eintopfgericht zuzubereiten. Sie haben 10 verschiedene Lieferanten (Verkäufer), die jeweils eine einzigartige Gewürzmischung anbieten. Um zu wissen, welches Gewürz das beste ist, war der alte Weg:

Ein winziges bisschen von jedem Gewürz zu kaufen.
Für jede mögliche Kombination von Gewürzen einen separaten Topf Eintopf zu kochen (Gewürz A allein, A+B, A+C, A+B+C usw.).
Alle zu probieren, um zu sehen, welche Kombination am besten schmeckt.

Der Haken: Das dauert ewig (ist rechenintensiv) und erfordert, dass Sie alle Gewürze gleichzeitig in Ihrer Küche haben (was die Privatsphäre verletzt, wenn die Gewürze geheime Rezepte sind).

2. Die Lösung: „Das Mischen der Mixer“ (Model Merging)

Die Autoren haben erkannt, dass man nicht jeden einzelnen Topf Eintopf kochen muss, um zu wissen, was die Gewürze bewirken. Stattdessen kann man die „Geschmacksprofile“ der einzelnen Gewürzmischungen betrachten, die die Lieferanten bereits erstellt haben.

In der Welt der KI bedeutet das, anstatt das Modell mit jeder Datenkombination neu zu trainieren, trainieren die Verkäufer zuerst ihre eigenen kleinen Modelle mit ihren privaten Daten. Denken Sie an diese Modelle als „Geschmacksprofile“.

Der magische Trick: Der Käufer nimmt diese vorgefertigten „Geschacksprofile“ und mischt sie mathematisch zusammen (ein Prozess namens Model Merging).
Die Analogie: Es ist so, als würde man die „Rezeptanpassungen“, die ein Koch für eine Tomatensauce und eine Knoblauchsauce vorgenommen hat, einfach zusammenaddieren, um vorherzusagen, wie eine „Tomaten-Knoblauch-Sauce“ schmecken würde, ohne die neue Sauce tatsächlich zu kochen.

Dies ermöglicht es dem Käufer, sofort zu sehen, wie gut eine Gruppe von Verkäufern zusammenarbeiten würde, ohne jemals deren Rohdaten zu sehen oder auf ein neues Training eines Modells warten zu müssen.

3. Der Privatsphäre-Schutzschild: Der „blind geführte Mixer“

Selbst wenn man die „Geschmacksprofile“ mischt, könnte ein hinterlistiger Käufer versuchen, das Rezept zu dekonstruieren, um das geheime Gewürz eines bestimmten Verkäufers zu stehlen.

Um dies zu verhindern, führt das Paper ein Sicheres Protokoll ein:

Die Analogie: Stellen Sie sich vor, die Verkäufer legen ihre Gewürzanpassungen in eine verschlossene Box. Sie fügen der Box etwas zufälliges hinzu (wie eine Menge zufälliger Streusel), damit der Käufer das ursprüngliche Gewürz nicht sehen kann.
Der Käufer mischt alle Boxen zusammen. Die zufälligen Streusel heben sich gegenseitig auf, sodass nur das wahre, kombinierte Geschmacksprofil übrig bleibt.
Das Ergebnis: Der Käufer erhält das fertige, gemischte Ergebnis, kann aber nicht in die Box hineinsehen, um das ursprüngliche Rezept eines einzelnen Verkäufers zu entdecken. Selbst wenn der Käufer versucht, eine gemischte Box von einer anderen abzuziehen, lassen die „zufälligen Streusel“ das Ergebnis wie Kauderwelsch aussehen, was die Geheimnisse schützt.

4. Warum das für das „Multi-Task“-Lernen wichtig ist

Die meisten alten Methoden betrachteten nur eine Aufgabe zur Zeit (z. B. „Wie gut sind diese Daten, um Katzen zu erkennen?“). Aber moderne KI muss viele Dinge gleichzeitig tun.

Die Analogie: Stellen Sie sich einen Studenten vor, der für Mathe-, Geschichte- und Kunstprüfungen lernen muss. Ein Datenverkäufer könnte großartig darin sein, bei Mathe zu helfen, aber schlecht bei Kunst.
Die Rolle von DMVM: Es berechnet den Wert der Daten eines Verkäufers basierend darauf, wie sehr sie dem Studenten helfen, in allen Fächern gleichzeitig gut abzuschneiden. Es ermittelt den „Grenznutzen“ (marginal utility) – also wie viel zusätzlichen Wert diese spezifischen Daten dem gesamten Lernplan hinzufügen.

Das Fazit

Das Paper behauptet, dass DMVM ist:

Schnell: Es überspringt den langsamen Prozess des Neutrainierens von Modellen von Grund auf.
Privat: Verkäufer müssen niemals ihre Rohdaten teilen oder zulassen, dass der Käufer ihre individuellen Modelle sieht.
Genau: In ihren Tests (unter Verwendung von Bilderkennungs- und Sprachaufgaben) lagen die von ihnen berechneten Werte sehr nah an den „perfekten“ Werten, die man erhielte, wenn man alles neu trainieren könnte (was in der Realität meist unmöglich ist).

Kurz gesagt: Sie haben einen Weg gefunden, um Datenverkäufer in einem überfüllten, privaten Marktplatz fair zu bezahlen, indem man ihre Beiträge mathematisch „mischt“, ohne jemals die Zutaten sehen zu müssen.

Technisches Resümee: Effiziente dezentrale Multi-Task-Datensatzbewertung mittels Model Merging

Problemstellung

Das Paper adressiert die Herausforderung der Datensatzbewertung (Dataset Valuation) in dezentralen Datenmarktplätzen, speziell im Kontext des Multi-Task-Learnings. Bestehende Bewertungsmethoden stehen vor drei kritischen Einschränkungen:

Rechentechnische Unpraktikabilität: Traditionelle Ansätze, wie etwa Shapley-basierte Methoden, erfordern das erneute Trainieren von Modellen auf exponentiell wachsenden Anzahlen von Datensatz-Teilmengen ( $2^n$ ), was für groß angelegte Märkte oder große Modelle nicht machbar ist.
Datenschutzbeschränkungen: Die meisten Methoden setzen den zentralisierten Zugriff auf Rohdaten für die Bewertung voraus. In realistischen Marktplätzen, an denen sensible Daten (z. B. medizinische oder personenbezogene Daten) beteiligt sind, sind Verkäufer nicht bereit, ihre Rohdatensätze mit einem zentralen Koordinator oder Käufern zu teilen, bevor ein Kauf erfolgt.
Fokus auf Einzelaufgaben: Die aktuelle Literatur bewertet primär den Nutzen von Daten für eine einzige, vordefinierte Aufgabe. Moderne Käufer streben jedoch häufig danach, die Leistung über mehrere nachgelagerte Aufgaben gleichzeitig zu optimieren. Die Bewertung von Daten in einem Multi-Task-Setting ist komplexer, da der Nutzen eines Datensatzes je nach Aufgabe variiert und nicht durch eine einzige Metrik erfasst werden kann.

Das Kernproblem besteht darin, wie der marginale Beitrag eines Verkäufer-Datensatzes zu einem Multi-Task-Modell eines Käufers genau geschätzt werden kann, ohne auf Rohdaten zuzugreifen, ohne einen vertrauenswürdigen zentralen Koordinator zu benötigen und ohne die prohibitiven Kosten wiederholter Trainingsläufe.

Methodik: DMVM-Framework

Die Autoren schlagen DMVM (Decentralized Multi-task Valuation via Model Merging) vor, ein Framework, das Model Merging und Task Arithmetic nutzt, um Datensatzbeiträge zu approximieren.

1. Model Merging als Nutzen-Proxy

Anstatt ein Modell auf kombinierten Datensätzen zu trainieren (was Datenzugriff erfordern würde), approximiert DMVM den Nutzen einer Koalition von Verkäufern durch das Zusammenführen (Merging) ihrer unabhängig voneinander feinjustierten Modelle.

Prozess: Alle Verkäufer starten von einem gemeinsamen vortrainierten Modell $\theta_{pre}$ . Jeder Verkäufer $i$ führt ein Fine-Tuning dieses Modells auf seinem privaten Datensatz $D_i$ durch, um einen Task-Vektor $v_i = \theta_i - \theta_{pre}$ zu erhalten.
Merging: Um den Nutzen einer Teilmenge von Verkäufern $S$ zu schätzen, berechnet der Käufer (oder ein Protokoll) ein gemergtes Modell $\theta_{merge}^S = \theta_{pre} + \alpha \sum_{i \in S} v_i$ , wobei $\alpha$ ein Skalierungsfaktor ist.
Nutzenabschätzung: Der Nutzen $\hat{u}(S)$ wird berechnet, indem das gemergte Modell auf den Ziel-Validierungsaufgaben des Käufers evaluiert wird. Dies vermeidet erneutes Training; der Nutzen wird direkt aus der arithmetischen Kombination der Modellparameter abgeleitet.

2. Datenschutzkonforme sichere Aggregation

Um das Abfließen einzelner Modellparameter zu verhindern (was eine Rekonstruktion privater Daten oder Modelle ermöglichen könnte), führt DMVM ein sicheres Protokoll ein:

Sichere Aggregation: Verkäufer verwenden zufällige Maskenmatrizen, um ihre individuellen Beiträge zu verbergen. Sie senden maskierte Versionen ihrer Task-Vektoren an einen Käufer, der lediglich die Summe (das gemergte Modell) rekonstruiert, ohne die einzelnen $\theta_i$ zu sehen.
Unmergeable Transformation: Um zu verhindern, dass ein böswilliger Käufer ein spezifisches Modell eines Verkäufers rekonstruiert, indem er überlappende Teilmengen gemergter Modelle subtrahiert (z. B. $\theta_{\{1,2,3\}} - \theta_{\{1,2\}}$ ), wendet das Protokoll eine Transformation an (z. B. zufällige Permutationsmatrizen für MLPs oder skalare Skalierung für lineare Schichten). Dies bewahrt das Inferenzverhalten des gemergten Modells, zerstört aber die algebraische Struktur, die zur Isolierung einzelner Gewichte erforderlich wäre.

3. Theoretische Garantien

Das Paper leitet Fehlergrenzen her, welche die Approximationsqualität von DMVM charakterisieren:

Approximationsfehler: Theorem 4.1 stellt fest, dass die Differenz zwischen dem wahren Shapley-Wert (Ground Truth) und der DMVM-Schätzung durch Terme begrenzt ist, die mit der Lernrate, der Anzahl der Optimierungsschritte und der Lipschitz-Konstante der Verlustfunktion zusammenhängen. Der Fehler wächst quadratisch mit der Anzahl der Verkäufer $n$ , kann aber durch Setzen von $\alpha = 1/n$ kontrolliert werden.
Sampling-Fehler: Theorem 4.2 zeigt, dass die deterministische $2^n$ -Summation durch Monte-Carlo-Sampling ( $m$ Stichproben) ersetzt werden kann, was einen statistischen Fehler einführt, der mit $O(1/\sqrt{m})$ abnimmt.
Privacy-Fehler: Theorem 4.3 begrenzt die Abweichung, die durch den Ausschluss von Teilmengen der Größe 1 entsteht (um sicherzustellen, dass kein einzelnes Modell geteilt wird), und zeigt, dass der Fehler beschränkt bleibt.

Zentrale Beiträge

Effizientes und dezentrales Framework: DMVM ermöglicht die Multi-Task-Datensatzbewertung ohne erneutes Training oder zentralisierten Datenzugriff und arbeitet vollständig dezentral ohne vertrauenswürdigen Broker.
Datenschutzkonformes Protokoll: Die Integration von sicherer Aggregation und „unmergeable“ Transformationen stellt sicher, dass weder Rohdaten noch einzelne Modellparameter während des Bewertungsprozesses offengelegt werden.
Theoretische Garantien: Die Autoren liefern formale Fehlergrenzen, die die Model-Merging-Approximation mit den wahren Multi-Task-marginalen Beiträgen verknüpfen.
Empirische Validierung: Das Framework wird an Computer Vision (CV) und Natural Language Processing (NLP) Benchmarks validiert und zeigt eine stabile Performance über variierende Anzahlen von Verkäufern und Zielaufgaben hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten DMVM gegen Baselines, einschließlich Dataset Shapley (Ground Truth), MC-Dataset-Shapley und DU-Shapley.

Genauigkeit: In NLP-Aufgaben übertraf DMVM die DU-Shapley-Baseline konsistent sowohl in der Rangkorrelation (Kendall's $\tau$ und Spearman's $\rho$ ) als auch im mittleren quadratischen Fehler (MSE) relativ zum Ground Truth. In Vision-Aufgaben erreichte DMVM eine starke Übereinstimmung (Kendall's $\tau \approx 0,78\text{--}0,81$ ), während es unter strengeren Datenschutzbedingungen operierte als die Baselines.
Effizienz: Wie in Abbildung 2 gezeigt, reduziert DMVM die Rechenzeit im Vergleich zu trainingsbasierten Methoden signifikant. Es ersetzt teure Trainingsschleifen durch Model Merging und Inferenz. Die Monte-Carlo-Variante (MC-DMVM) tauscht zudem eine geringfügige Genauigkeit gegen erhebliche Geschwindigkeitsgewinne ein.
Robustheit: Die Methode blieb über verschiedene Anzahlen von Zielaufgaben ( $|T|$ ) und Verkäuferzahlen ( $n$ ) hinweg stabil.

Bedeutung und Ansprüche

Das Paper beansprucht, die Lücke zwischen Datensatzbewertung und Model Merging zu schließen, indem es eine skalierbare, datenschutzkonforme und theoretisch fundierte Basis für Multi-Task-Marktplätze schafft.

Paradigmenwechsel: Es definiert die Bewertung neu – weg von einem Problem des „wiederholten Trainings“ hin zu einem Problem der „Modellkomposition“.
Praktikabilität: Durch den Verzicht auf den Zugriff auf Rohdaten macht DMVM die Datensatzbewertung in realen Szenarien, in denen der Datenschutz oberste Priorität hat (z. B. Gesundheitswesen, Finanzen), praktikabel.
Multi-Task-Ausrichtung: Im Gegensatz zu bisherigen Methoden, die auf Einzelaufgaben fokussiert sind, stimmt DMVM explizit mit dem Multi-Task-Generalisierungsverhalten überein und bietet somit eine genauere Bewertung für Käufer mit komplexen, multi-objektiven Zielen.

Die Autoren kommen zu dem Schluss, dass Model Merging nicht nur als Werkzeug zur Multi-Task-Adaption dient, sondern auch als effizienter Mechanismus für die dezentrale Marktbewertung, der eine praktische Alternative zu den rechenintensiven und datenschutzverletzenden traditionellen Methoden darstellt.