An Empirical Audit of k-NAF Budget Accounting for Anchored Decoding

Dieser Artikel überprüft empirisch den k-NAF-Budgetbuchungsmechanismus in der Anchored Decoding bei festen und adaptiven Arbeitslasten und stellt fest, dass die kumulierte KL-Ausgabe durchgängig deutlich unter den sequenzspezifischen Budgets bleibt und dass Fälle scheinbarer Budgeterschöpfung auf Proxy-Artefakte und nicht auf tatsächliche Mechanismusfehler zurückzuführen sind.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine sehr strenge Bibliothekarin (das „Sichere Modell") und einen kreativen, leicht schelmischen Geschichtenerzähler (das „Risikomodell"). Der Geschichtenerzähler möchte eine Geschichte erzählen, aber es gibt eine Regel: Er darf nicht zu viel aus dem Buch der Bibliothekarin kopieren. Wenn er den genauen Worten der Bibliothekarin zu nahe kommt, „verbraucht" er sein Budget.

Das von Ihnen bereitgestellte Papier ist eine Prüfung (eine detaillierte Überprüfung) eines bestimmten Regelwerks namens „Anchored Decoding" (speziell das k-NAF-System), das entwickelt wurde, um den Geschichtenerzähler in Schach zu halten. Das Ziel war es, festzustellen, ob dieses Regelwerk tatsächlich hält, was es verspricht, wenn der Geschichtenerzähler an seine Grenzen gedrückt wird.

Hier ist die Aufschlüsselung dessen, was die Forscher gefunden haben, unter Verwendung einfacher Analogien:

1. Das Setup: Die „Verbrauchs"-Regel

Stellen Sie sich das Budget des Geschichtenerzählers als einen Kraftstofftank vor.

• Das Limit: Das Regelwerk besagt: „Sie dürfen insgesamt nur K Einheiten Kraftstoff für Ihre gesamte Geschichte verbrauchen."
• Der Zähler: Das System versucht zu verfolgen, wie viel Kraftstoff bei jedem einzelnen Wort (Token) verbraucht wird, das der Geschichtenerzähler schreibt.
• Das Ziel: Sicherstellen, dass der Geschichtenerzähler nie vor Ende der Geschichte den Kraftstoff ausgeht und, noch wichtiger, nie versehentlich zu viel aus dem Buch der Bibliothekarin „stiehlt" (kopiert).

2. Der erste Test: Die „Feste Arbeitslast" (Der Tagesablauf)

Die Forscher baten den Geschichtenerzähler zunächst, etwa 8.500 verschiedene Geschichten über sechs verschiedene Genres hinweg zu schreiben (wie „neutrale Fakten", „kreative Fiktion" oder „Angriffs-Prompts"). Sie versuchten nicht, das System zu täuschen; sie wollten lediglich sehen, wie es sich im normalen Betrieb verhält.

• Das Ergebnis: Der Geschichtenerzähler war unglaublich konservativ. Er verbrauchte nur etwa 15 % bis 30 % seines gesamten Kraftstofftanks.
• Die Analogie: Es ist, als würde man ein Auto mit einem 100-Gallonen-Tank fahren, aber man fährt nur 20 Meilen, bevor man anhält. Man hat eine enorme Menge an „Spielraum" (zusätzlicher Platz).
• Die Prüfung: Sie überprüften auch, ob die Geschichten wie das Buch der Bibliothekarin klangen. Die Überschneidung war winzig (wie zwei identische Sandkörner an einem Strand zu finden).
• Fazit: Im normalen, alltäglichen Gebrauch funktioniert das System perfekt und ist sehr sicher.

3. Der zweite Test: Die „Adversarial Search" (Der Stresstest)

Als Nächstes versuchten die Forscher, das System zu „brechen". Sie verwendeten ein intelligentes Computerprogramm (einen Optimierer), um Tausende von kniffligen Prompts zu generieren und zu versuchen, die eine Geschichte zu finden, die den Geschichtenerzähler zwingen würde, den gesamten Kraftstofftank aufzubrauchen. Sie wollten sehen, ob sie das System dazu bringen konnten, „über den Verbrauch zu gehen".

• Das Ergebnis: Sie kamen sehr nahe heran! Sie fanden Prompts, bei denen das „Verhältnis des Verbrauchs" so aussah, als hätte es 98,8 % des Limits erreicht.
• Die „Verletzung": In einigen spezifischen Fällen besagte die Mathematik, dass der Geschichtenerzähler mehr als 100 % seines Kraftstoffs verbraucht hatte (ein Verhältnis größer als 1). Das sah nach einem Versagen aus.

4. Die Wendung: Die „Kleine Stichprobe"-Illusion

Hier ist der wichtigste Teil des Papiers. Die Forscher erkannten, dass die „Verletzung" nicht darauf zurückzuführen war, dass der Geschichtenerzähler tatsächlich gegen die Regeln verstoßen hatte. Es war eine mathematische Illusion, verursacht durch die Betrachtung zu weniger Daten.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, die durchschnittliche Körpergröße eines Basketballteams zu erraten.
  • Szenario A: Sie messen 4 Spieler. Einer ist etwas größer als der Durchschnitt. Da Ihre Stichprobe so klein ist, ist Ihre „Sicherheitsmarge" (ein statistischer Puffer) riesig. Ihre Berechnung könnte sagen: „Der Durchschnitt beträgt 7 Fuß!", selbst wenn der echte Durchschnitt 1,95 m (6'5") beträgt.
  • Szenario B: Sie messen 20 Spieler. Der Durchschnitt beruhigt sich auf die echte Zahl, 1,95 m.
• Was im Papier passierte:
  • Das System hörte auf, die kniffligen Prompts nach nur 4 Geschichten zu bewerten (eine kleine Stichprobengröße).
  • Da die Stichprobe so klein war, wurde die „Sicherheitsmarge" in der mathematischen Formel riesig, sodass der Verbrauch so aussah, als hätte er das Limit überschritten (eine „Verletzung").
  • Als die Forscher das System zwangen, dieselben Prompts mit 20 Geschichten (einer größeren Stichprobe) zu bewerten, verschwand die „Verletzung". Das Verbrauchsverhältnis sank wieder auf einen sicheren Bereich von 26 % bis 40 %.

5. Das endgültige Urteil

Das Papier kommt zu zwei Hauptergebnissen:

1. Das System funktioniert: Das Regelwerk „Anchored Decoding" erfüllt seine Aufgabe. Der Geschichtenerzähler verbrennt den Kraftstofftank tatsächlich nicht und kopiert auch nicht das Buch der Bibliothekarin. Tatsächlich ist er sehr vorsichtig.
2. Die Mathematik braucht eine Justierung: Das Werkzeug, das verwendet wurde, um den Verbrauch zu messen (der „Proxy"), gerät in Verwirrung, wenn es nicht genügend Daten hat. Es schlägt zu laut Alarm, wenn es nur wenige Beispiele sieht.

Die Empfehlung:
Die Autoren schlagen vor, dass Sie, wenn Sie dieses System testen, nicht nach nur 4 Geschichten aufhören sollten. Sie müssen warten, bis Sie mindestens 20 Geschichten haben, um ein klares Bild zu erhalten. Wenn Sie das tun, verschwinden die „falschen Alarme", und Sie können sehen, dass das System tatsächlich sehr sicher ist.

Kurz gesagt: Der „Wachhund" (das System) macht einen großartigen Job. Das „Alarmsystem" (das mathematische Werkzeug) muss nur warten, bis es mehr Beweise hat, bevor es zu bellen beginnt.

Technische Zusammenfassung

Technische Zusammenfassung: Eine empirische Prüfung der k-NAF-Budgetbuchhaltung für verankertes Decodieren

Problemstellung
Diese Arbeit untersucht die empirische Validität von Anchored Decoding (Verankertes Decodieren), einem Mechanismus, der entwickelt wurde, um „nahe Zugänglichkeit" (k-NAF) in generativen Modellen durchzusetzen. Das Kernziel von Anchored Decoding besteht darin, die Divergenz zwischen einem kontrollierten Decoder (der auf potenziell urheberrechtlich geschützten Daten trainiert wurde) und einem festgelegten sicheren Referenzmodell (das ohne solche Daten trainiert wurde) zu begrenzen. Dies wird operationalisiert, indem ein sequenzweises Kullback-Leibler (KL)-Budget $K = kT_{max}$ durch eine Zusammensetzung lokaler, pro-Token-Beschränkungen durchgesetzt wird.

Die zentrale untersuchte Frage ist, ob eine konkrete Implementierung dieses Mechanismus das beabsichtigte Buchhaltungsverhalten unter realistischen Arbeitslasten und adversariellem Stress tatsächlich realisiert. Insbesondere fragen die Autoren, ob der Decoder gezwungen werden kann, sein Budget vollständig aufzubrauchen, oder ob der Buchhaltungsmechanismus (speziell der empirische Bernstein-artige Proxy, der zur Schätzung des Verbrauchs verwendet wird) unter Bedingungen mit kleinen Stichproben zuverlässig funktioniert.

Methodik
Die Prüfung verwendet ein zweistufiges Design, das die in der Differential Privacy-Prüfung verwendete Trennung von Tester und Finder widerspiegelt:

1. Stufe 1: Diagnostische Bewertung mit fester Arbeitslast

   • Umfang: Ca. 8.500 randomisierte Ausführungen über sechs Prompt-Klassen hinweg (neutral, Validierung, Test, Angriffstraining, faktisch, kreativ) unter Verwendung zweier Werte des pro-Token-Budgetparameters $k \in \{3, 5\}$ (mit $T_{max}=200$).
   • Metriken: Die Studie protokolliert den KL-Verbrauch pro Schritt und aggregiert diesen, um einen kumulativen Verbrauchsproxy zu berechnen, UEBB (Upper Empirical Bernstein Bound). Dieser Proxy kombiniert den Stichprobenmittelwert, einen Varianzterm und einen deterministischen Term, der vom effektiven Bereich ($R_{eff}$) und der Stichprobengröße ($M$) abhängt.
   • Kontrollen: Die Ausführungen verwenden das Batching mit gemeinsamen Zufallszahlen, um protokollabhängige Diagnosen sicherzustellen. Überlappungsdiagnosen (ROUGE-L und 5-gram Jaccard) werden gegenüber verfügbaren Referenzen berechnet, um das Kopieren in Oberflächenform zu messen.

2. Stufe 2: Adaptive Adversarielle Suche

   • Ziel: Maximierung des Proxy-Verbrauchsverhältnisses $\rho = \text{UEBB} / B_{eff}$, wobei $B_{eff}$ das verbleibende effektive Budget ist.
   • Prozess: Ein Optimierer-Modell schlägt Kandidaten-Prompts vor, die von einem gelernten Surrogat (MLP über Sentence-T5-Einbettungen + TF-IDF) nach Rang sortiert werden. Die Suche nutzt eine Bewertung mit multipler Genauigkeit (Multi-Fidelity): Prompts beginnen mit einer minimalen Zuteilung von $N=4$ Trajektorien. Ein „Überlebenden-Test" bestimmt, ob Prompts basierend darauf, ob ihr aktueller UEBB unter einem Schwellenwert des Budgets bleibt, auf größere Zuteilungen (bis zu $N=20$ oder $30$) „aufgefüllt" werden.
   • Stresstests: Die Suche läuft über vier Generationen, um Prompts zu identifizieren, die das Proxy-Verhältnis nahe an oder über 1 drücken.

Hauptbeiträge

1. Prüfung mit fester Arbeitslast: Zeigt, dass unter einer festen, klassenstratifizierten Arbeitslast der mittlere kumulative KL-Verbrauch deutlich unter den konfigurierten sequenzweiten Budgets bleibt ($K \in \{600, 1000\}$) und typischerweise nur $\approx 30\%$ des Budgets einnimmt. Der empirische Bernstein-Proxy bleibt für alle Klassen unter $K$, und die Metriken für Oberflächenüberlappung sind niedrig.
2. Ergebnisse der adaptiven Suche: Das Suchverfahren erhöht das Proxy-Verbrauchsverhältnis erfolgreich auf $\rho \approx 0,988$ bei $k=3$ und $\rho \approx 0,760$ bei $k=5$. Die Suche erzeugt jedoch keine Prompts, die das Budget im Sinne einer einzelnen Trajektorie eindeutig erschöpfen.
3. Diagnose von Proxy-Artefakten: Die Arbeit identifiziert, dass scheinbare „Verstöße" (wo $\rho > 1$), die in einer zurückgehaltenen Arbeitslast aus dem Urheberrechtsbereich bei $k=3$ beobachtet wurden, Artefakte des empirischen Bernstein-Proxys bei kleinen Stichprobengrößen ($N=4$) sind.
   • Bei $N=4$ dominiert der deterministische Term in der Bernstein-Schranke die Berechnung und bläht die UEBB-Schätzung auf, selbst wenn der mittlere Verbrauch niedrig ist.
   • Die Neubewertung derselben Prompts mit größeren Zuteilungen ($N=20$) oder bei einem höheren Budget ($k=5$) lässt das Verhältnis auf $\rho \in [0,26, 0,40]$ kollabieren, was bestätigt, dass der Decoder sein Budget tatsächlich nicht überschritten hat.

Ergebnisse

• Budget-Puffer: Bei der festen Arbeitslast liegt der mittlere Verbrauch konsistent bei $\lesssim 0,3K$. Selbst mit einem konservativen Bereichsparameter bleibt der UEBB unter $K$.
• Oberflächenüberlappung: ROUGE-L-Werte sind $\le 0,20$ und 5-gram Jaccard-Werte sind $\le 0,05$, was eine begrenzte wörtliche Kopie in der festen Arbeitslast anzeigt.
• Das „Verstoß"-Artefakt: Drei Prompts in der zurückgehaltenen Menge zeigten bei $k=3$ ein $\rho > 1$. Die Analyse ergab:
  • Der mittlere Verbrauch lag bei $\approx 180-200$ (deutlich unter $K=600$).
  • Der deterministische Bernstein-Term allein machte bei $N=4$ 71–97 % des effektiven Budgets aus.
  • Eine Erhöhung von $N$ auf 20 oder eine Verdopplung von $K$ auf 1000 ($k=5$) löste den „Verstoß" auf und ergab $\rho < 0,5$.
• Einschränkungen der Suche: Die adversarielle Suche verbesserte die initialen Seed-Prompts nicht signifikant. Das Archivmaximum für $k=3$ wurde in der ersten Generation festgelegt und blieb statisch, was darauf hindeutet, dass das Surrogat gesättigt war und die Suche durch die Qualität der Seeds statt durch Optimierung getrieben wurde.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass die Implementierung von Anchored Decoding im Verhältnis zu ihren konfigurierten Budgets erhebliche Puffer aufweist und unter den getesteten Bedingungen nicht versagt. Die primäre Bedeutung der Arbeit liegt in ihrer Diagnose der Audit-Methode selbst:

• Proxy vs. Mechanismus: Die Studie unterscheidet zwischen dem Verhalten des Decodierungsmechanismus und dem Verhalten des statistischen Proxys, der zur Prüfung verwendet wird. Die „Verstöße" waren kein Beweis für eine Budgeterschöpfung durch den Decoder, sondern vielmehr ein Versagen des Proxys, unter Bedingungen kleiner Stichprobenzuteilung ($N=4$) eng genug zu sein.
• Protokollempfehlungen: Die Autoren schlagen spezifische Protokollmodifikationen vor, um solche Artefakte bei zukünftigen Audits zu verhindern:
  1. Eine Mindeststichprobengröße von unten (z. B. $N \ge 20$) für Prompts mit hohen vorläufigen Verbrauchsverhältnissen durchsetzen.
  2. Die Breite der Bernstein-Schranke zusammen mit der Punktschätzung berichten, um Unsicherheit anzuzeigen.
  3. Datenabhängige Bereichsparameter ($R_{eff}$) anstelle von konservativen Worst-Case-Schranken verwenden.
  4. Eine Fähigkeitsanpassung zwischen dem sicheren Anker und dem riskanten Ziel sicherstellen, um Fähigkeitslücken nicht mit Divergenzen durch Memorierung zu vermischen.

Die Autoren stellen ausdrücklich fest, dass dies eine empirische Prüfung und keine formale Verifikation ist, und dass die Ergebnisse die Notwendigkeit einer sorgfältigen Proxy-Kalibrierung bei der Bewertung von Sicherheitsmechanismen unter adaptiver Stichprobenziehung hervorheben.