🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

Dieser Beitrag stellt Divergence-in-Behavior Auditing (DIBA) vor, ein White-Box-Framework, das durch die Analyse von Verhaltens- und Belohnungsseiten-Verteilungsverschiebungen zwischen Pre- und Post-RLVR-Modell-Checkpoints unbefugte Datenpreisgabe im Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) effektiv erkennt und dabei bestehende Baseline-Methoden für Mitgliedschaftsinferenz deutlich übertrifft.

Ursprüngliche Autoren: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Geheimrezept"-Problem

Stellen Sie sich einen berühmten Koch (ein Large Language Model) vor, der lernen zu kochen, indem er Tausende von Rezepten probiert. Kürzlich hat sich eine neue Kochmethode namens RLVR (Reinforcement Learning with Verifiable Rewards) populär gemacht. Anstatt nur eine bestimmte Rezeptkarte auswendig zu lernen, versucht der Koch, ein Gericht viele Male zuzubereiten. Wenn das Gericht gut schmeckt (einen strengen Geschmackstest besteht), erhält der Koch eine Belohnung und merkt sich diesen Versuch. Wenn es schlecht schmeckt, versucht er es erneut.

Das Problem ist, dass diese „Geschmackstests" oft geheime, hochrangige Rezepte verwenden (wie proprietäre Mathematikaufgaben oder privaten Code), von denen die Besitzer des Kochs nicht wollten, dass die Öffentlichkeit sie kennt.

Die Frage: Wenn Sie das endgültige Menü des Kochs sehen, können Sie dann feststellen, ob er heimlich an Ihrem spezifischen Geheimrezept geübt hat?

Der alte Weg vs. der neue Weg

Der alte Weg (Der „Feste Ziel"-Angriff):
In der Vergangenheit versuchten Prüfer, den Koch zu erwischen, indem sie prüften, ob er einen bestimmten Satz auswendig gelernt hatte. Es war, als würde man fragen: „Haben Sie die exakten Worte auf dieser spezifischen Seite auswendig gelernt?" Wenn der Koch die Seite perfekt rezitieren konnte, wurde er erwischt.

Warum es hier versagt: Bei RLVR lernt der Koch keinen bestimmten Satz auswendig. Er generiert neue Lösungen im laufenden Betrieb. Es gibt keine einzelne „richtige Antwort", mit der man vergleichen könnte, daher funktioniert die alte Methode nicht.

Der neue Weg (DIBA – Der „Verhaltensfingerabdruck"):
Die Autoren schlagen eine neue Methode namens DIBA (Divergence-in-Behavior Auditing) vor. Anstatt nach einer auswendig gelernten Satz zu suchen, suchen sie nach Veränderungen im Kochstil des Kochs.

Sie vergleichen das aktuelle Menü des Kochs mit einem „Vorher"-Foto des Kochs (dem Modell, bevor es mit dem RLVR-Training begann). Sie suchen nach zwei spezifischen Hinweisen:

Der Belohnungs-Hinweis (Hat er sich verbessert?):
- Analogie: Ist der Koch plötzlich viel besser darin geworden, eine bestimmte Art von Rätsel zu lösen, bei dem er vorher Schwierigkeiten hatte?
- Wenn der Koch vorher schlecht in „Geometrie-Rätseln" war, aber nach dem Training sie perfekt löst, ist dies ein starker Hinweis darauf, dass er an diesen Rätseln geübt hat.
Der Stil-Hinweis (Hat sich seine Persönlichkeit geändert?):
- Analogie: Selbst wenn der Koch das Rätsel löst, hat er geändert, wie er dabei spricht? Vielleicht benutzt er kürzere Sätze oder einen anderen Tonfall, wenn er dieses spezifische Rätsel löst.
- Dies ist die „Verhaltensdrift". Selbst wenn die Antwort richtig ist, könnte der Weg, den er dorthin genommen hat, anders aussehen als vor dem Training.

Wie DIBA funktioniert (Das Werkzeug des Detektivs)

Der Prüfer agiert wie ein Detektiv mit zwei Werkzeugen:

Die Anzeigetafel: Sie prüfen, ob die Erfolgsrate des Modells bei einer bestimmten Frage nach dem Training gestiegen ist.
Der Diktiergerät: Sie hören den „Gedankenprozess" des Modells (die Wahrscheinlichkeit jedes Wortes, das es wählt) an, um zu sehen, ob es sich von der „Vorher"-Version unterscheidet.

Indem DIBA diese beiden kombiniert, erstellt es einen „Fingerabdruck", der sagt: „Dieses Modell hat definitiv an diesem spezifischen Prompt geübt."

Was das Paper herausfand

Die Forscher testeten dies an Mathematikaufgaben (den „Geheimrezepten") und fanden einige interessante Regeln:

Es funktioniert am besten bei „Lern"-Prompts: DIBA ist hervorragend darin, Prompts zu erwischen, bei denen das Modell tatsächlich etwas Neues gelernt hat. Wenn das Modell vor dem Training bereits ein Meister bei einem Problem war, kann DIBA nicht sagen, ob es daran geübt hat (weil es keine Verhaltensänderung gab).
Es ist ein „White-Box"-Werkzeug: Um dies zu nutzen, muss der Prüfer die internen „Logits" des Modells sehen (die rohen Zahlen, die das Modell verwendet, um das nächste Wort zu entscheiden). Es ist, als müsste man das private Notizbuch des Kochs sehen, nicht nur das fertige Gericht.
Es ist schwieriger bei „leichten" Prompts: Wenn ein Prompt so einfach ist, dass das Modell bereits perfekt darin war, ändert das Modell sein Verhalten während des Trainings kaum. Ohne eine Veränderung gibt es keinen Fingerabdruck, den man finden könnte.
Es funktioniert über verschiedene Größen hinweg: Die Methode funktioniert, egal ob der Koch ein kleiner Lehrling (3B-Modell) oder ein Meisterkoch (7B-Modell) ist, solange sie dasselbe Trainingsrezept verwenden.
Es funktioniert auch bei Bildern: Sie testeten es an Vision-Language-Modellen (Modellen, die Bilder sehen und Mathematik lösen). Es funktionierte immer noch, war jedoch etwas schwieriger zu erkennen, da das „visuelle Rauschen" die Fingerabdrücke etwas verschwommener machte.

Kann man seine Spuren verwischen?

Das Paper fragte auch: „Kann der Koch dies verbergen?"

Härteres Training: Das Modell „sorgfältiger" trainieren zu lassen (durch Regularisierung) hat die Spuren nicht wirklich verbergen können. Die Verhaltensänderungen waren immer noch sichtbar.
Umformulieren der Antwort: Wenn der Koch seine endgültige Antwort nimmt und sie nach der Generierung in andere Worte fasst (paraphrasiert), macht dies die Erkennung zwar schwieriger. Es ist, als würde der Koch das Rezept in einer anderen Handschrift schreiben. Dies verbirgt jedoch nur den Text; wenn jemand immer noch die internen „Gedanken" (Logits) des Kochs sehen kann, ist das Geheimnis trotzdem aufgeflogen.

Das Fazit

Dieses Paper zeigt, dass selbst wenn KI-Modelle keine Antworten auswendig lernen, sie dennoch Verhaltensnarben auf den Daten hinterlassen, mit denen sie trainiert wurden. Wenn Sie einen geheimen Prompt haben (wie ein privates Mathematikproblem) und ein KI-Modell darin deutlich besser wird oder ändert, wie es darüber nachdenkt, kann ein intelligenter Prüfer wahrscheinlich beweisen, dass das Modell auf Ihren geheimen Daten trainiert wurde.

DIBA ist das neue Werkzeug, das diese Narben findet, indem es das Verhalten des Modells „vorher" und „nachher" vergleicht, anstatt nur nach auswendig gelerntem Text zu suchen.

Technische Zusammenfassung: Auditieren der Datenmitgliedschaft im Reinforcement Learning mit verifizierbaren Belohnungen

1. Problemdefinition und Motivation

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich als kritische Trainingsphase für Large Language Models (LLMs) etabliert, insbesondere zur Verbesserung der reasoning-Fähigkeiten in Modellen wie DeepSeek-R1 und Kimi-k2.5. Im Gegensatz zum traditionellen Supervised Fine-Tuning (SFT) oder der präferenzbasierten Ausrichtung (RLHF) generiert RLVR Kandidatenantworten aus dem Modell selbst und verstärkt diejenigen, die regelbasierte Verifizierer erfüllen (z. B. korrekte Mathematikantworten oder Codeausführungen).

Dieses Paradigma schafft eine einzigartige Herausforderung für das Auditieren von Datenexponierung. Bestehende Membership Inference Attacks (MIAs) verlassen sich typischerweise darauf, ein Überanpassen des Modells an eine feste Zielzeichenkette zu erkennen (z. B. eine spezifische Antwort im SFT oder eine bevorzugte Antwort im RLHF). RLVR optimiert jedoch nicht auf eine vorbestimmte Antwort hin; stattdessen optimiert es die Policy, um die Wahrscheinlichkeit zu maximieren, jede Antwort zu generieren, die einen Verifizierer besteht. Folglich versagen herkömmliche MIAs auf Likelihood-Basis, da keine feste Zielzeichenkette zum Bewerten vorhanden ist.

Der Artikel adressiert die Notwendigkeit zu auditieren, ob bestimmte Prompts (oft proprietäre Benchmarks oder private Pipelines) im Post-Training von RLVR verwendet wurden, selbst in Abwesenheit fester Zielantworten.

2. Methodik: Divergence-in-Behavior Auditing (DIBA)

Die Autoren schlagen DIBA (Divergence-in-Behavior Auditing) vor, ein White-Box-Auditing-Framework auf Query-Ebene. DIBA funktioniert durch den Vergleich des veröffentlichten, mit RLVR feinabgestimmten Modells ( $\pi_{ft}$ ) mit seinem Referenzcheckpoint vor RLVR ( $\pi_{ref}$ ).

Kern-Erkenntnis

Die Autoren beobachten, dass RLVR, obwohl es keine feste Zeichenkette anpasst, beobachtbare Verhaltensspuren entlang zweier Dimensionen hinterlässt:

Reward-seitige Evidenz: RLVR verändert die Häufigkeit, mit der das Modell bei einem Prompt einen verifizierbaren Erfolg erzielt.
Policy-seitige Evidenz: RLVR induziert eine Verhaltensdrift in der Wahrscheinlichkeitsverteilung generierter Trajektorien relativ zur Referenz-Policy.

Das DIBA-Framework

DIBA aggregiert Signale aus mehreren stochastischen Rollouts ( $N$ Stichproben) für eine gegebene Query $q$ , um ein stabiles Audit-Signal zu erzeugen. Es konstruiert Merkmale entlang zweier Achsen:

Reward-seitiges Signal (Advantage):
- Berechnet den erwarteten Reward für das feinabgestimmte Modell ( $FT_{score}$ ) und das Basismodell ( $Base_{score}$ ) unter Verwendung eines regelbasierten Verifizierers $R$ .
- $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$ .
- Dies erfasst, ob RLVR die Fähigkeit des Modells zur Lösung der Aufgabe verbessert hat.
Policy-seitiges Signal (Divergenz):
- K3-Divergenz: Misst die Token-Level-Divergenz zwischen $\pi_{ft}$ und $\pi_{ref}$ auf den eigenen Rollouts des feinabgestimmten Modells unter Verwendung eines unverzerrten KL-Divergenz-Schätzers.
- Confidence Shift: Berechnet das Log-Likelihood-Verhältnis ( $\log \pi_{ft} - \log \pi_{ref}$ ) und eine Zlib-normalisierte Variante, um Verschiebungen in der Modellkonfidenz und Redundanz zu erfassen.
- Entscheidend ist, dass das Referenzmodell als aktive Basislinie für kontrafaktische Vergleiche dient, nicht nur als Kalibrator für eine feste Zielvorgabe.

Vorhersage

Diese Merkmale werden verkettet und in einen Stacking-Prädiktor (Random Forest + Logistische Regression) eingespeist, um einen Prompt-Level-Mitgliedschaftswert auszugeben.

3. Hauptbeiträge

Systematische Studie des RLVR-Auditing: Der Artikel stellt fest, dass das Exponierungsrisiko bei RLVR besser mit prompt-konditionierten Verhaltensspuren assoziiert ist als mit der Anpassung an feste Ziele.
Vorschlag von DIBA: Ein vergleichendes Audit-Framework, das Exponierungssignale schätzt, indem es Reward-seitige Änderungen und Policy-seitige Verhaltensdivergenzen relativ zu einem Referenzmodell analysiert.
Umfassende Evaluation: Die Autoren charakterisieren die Grenzen des RLVR-Auditing und identifizieren, wann es erfolgreich ist (Spuren des aktiven Lernens) und wann es versagt (bereits gemeisterte Prompts oder gesättigte Rewards). Sie erweitern die Analyse zudem auf Vision-Language Models (VLMs) und verschiedene Transfer-Szenarien.

4. Experimentelle Ergebnisse

Leistung

White-Box-Setting: DIBA übertrifft konsistente starke transferierte Baselines (einschließlich kalibrierter und selbstgenerierter Varianten von LOSS, Zlib, Min-K% usw.).
- AUC: Erzielt etwa 0,8 über verschiedene Modelle (Qwen-3B/7B) und Algorithmen (GRPO, DAPO).
- High-Precision-Regime: Erzielt einen TPR@0,1%FPR, der um eine Größenordnung höher ist als bei Baselines (z. B. 0,154 für DAPO-3B vs. ~0,01 für Baselines).
Merkmalsanalyse:
- FT Score (Reward) liefert eine starke Gesamtranking (hoher AUC), versagt jedoch in Low-FPR-Regimes.
- Divergenz ist das effektivste Merkmal für die High-Precision-Erkennung (niedriger FPR) und unterstreicht die Bedeutung der Policy-Drift.
- Die Kombination von Reward- und Policy-Signalen führt zu synergistischen Verbesserungen.

Audit-Regimes und Grenzen

Aktiv gelernte Prompts: DIBA ist hier am effektivsten, wo RLVR nicht-triviale Verhaltensänderungen induziert.
Bereits gemeisterte Prompts: Die Erkennung ist am schwächsten. Wenn das Basismodell den Prompt bereits perfekt löst, induziert RLVR minimale zusätzliche Updates und hinterlässt keine erkennbare Spur.
Nie gelernte Prompts: Die Erkennung ist ebenfalls schwach, wenn das Modell die Aufgabe überhaupt nicht lernt.
Trainingsdynamik: Die Stärke des Audit-Signals korreliert mit der sich vergrößernden Lücke zwischen Trainings- und Test-Rewards; sie entwickelt sich progressiv mit fortschreitendem Training.

Transferierbarkeit und Generalisierung

Modellgröße: Der Transfer über Modellgrößen hinweg (3B vs. 7B) innerhalb desselben RLVR-Algorithmus ist robust.
Algorithmus-Mismatch: Der Transfer zwischen verschiedenen RLVR-Algorithmen (z. B. GRPO zu DAPO) ist weniger stabil, insbesondere in High-Precision-Regimes.
Grey-Box-Setting: Mit sorgfältig ausgewählten Shadow-Daten bleibt DIBA nützlich (AUC > 0,7), selbst ohne exakte Verteilungsmatching.
Multimodal (VLMs): DIBA erstreckt sich auf Vision-Language Models (AUC ~0,7), wobei die High-Precision-Erkennung (TPR@0,1%FPR) aufgrund von Rauschen durch visuelle Encoder schwieriger ist.
Task-Transfer: Signale persistieren in Datensätzen für Instruktionsbefolgung und Tool-Nutzung.

Gegenmaßnahmen

Regularisierung: Eine Erhöhung der KL-Regularisierung ( $\beta$ ) bietet begrenzten Schutz; sie führt oft zu Unteranpassung statt zu echter Privatsphäre-Erhaltung.
Post-hoc-Verschleierung: Das Paraphrasieren von Ausgaben kann die Text-Level-Auditierbarkeit reduzieren (Senkung von AUC/TPR), eliminiert die Exponierung jedoch nicht, wenn der Auditor Zugriff auf die Modellgewichte oder Logits hat.

5. Bedeutung und Behauptungen

Der Artikel positioniert DIBA als praktischen Auditor für White-Box-RLVR-Konformitätsszenarien. Seine primäre Bedeutung liegt in der Verschiebung des Paradigmas der Membership Inference von „Anpassung an ein festes Ziel" hin zur „Erkennung von Verhaltensdivergenzen".

Die Autoren behaupten, dass:

Exponierung erkennbar ist: RLVR-Training hinterlässt beobachtbare, prompt-spezifische Spuren, die durch gezieltes Auditieren aufgedeckt werden können, selbst ohne feste Zielzeichenketten.
Kontext entscheidend ist: Die Auditierbarkeit von Datenexponierung ist nicht einheitlich; sie ist am stärksten, wenn das Training beobachtbare Reward-Änderungen und Verhaltensverschiebungen induziert, und am schwächsten, wenn das Basismodell die Fähigkeit bereits besitzt.
Grenzen: Die Methode ist konfigurierungssensitiv (abhängig vom RL-Algorithmus und der Modellfamilie) und kann die Verwendung von Prompts nicht erkennen, die vom Basismodell bereits perfekt gelöst wurden (die Einschränkung des „vorhandenen Wissens").

Die Arbeit hebt ein kritisches Privatsphären-Risiko im aufkommenden RLVR-Paradigma hervor und legt nahe, dass proprietäre Prompt-Suiten zur Verbesserung der reasoning-Fähigkeiten anfällig für Exponierungsaudits sind, was neue privatsphäreschützende Strategien für das RLVR-Training erforderlich macht.