📊 statistics

NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

Dieses Paper führt Natural Language PAC (NL-PAC) ein, ein Framework, das ein fundamentales Minimax-Risiko-Minimum in der durch LLMs vermittelten Supervision quantifiziert und zertifiziert, welches durch Spezifikationsambiguität verursacht wird, und demonstriert, dass zusätzliche Labels Identifizierungsprobleme nicht lösen können, wenn die operative Interpretation verborgen bleibt.

Ursprüngliche Autoren: Berkay Anahtarci

Veröffentlicht 2026-07-13

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Berkay Anahtarci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen superintelligenten KI-Roboter, Ihre Aufsätze zu bewerten. Sie geben ihm eine einfache Anweisung in Klartext: „Markiere diesen Aufsatz als ‚Gut‘ oder ‚Schlecht‘.“ Aber hier ist der Clou: Ihre Anweisung ist etwas vage. Sie könnte bedeuten: „Gut, wenn die Grammatik perfekt ist“ ODER „Gut, wenn die Ideen kreativ sind“. Der Roboter wählt nicht unbedingt eine Bedeutung aus und bleibt dabei; stattdessen ist die Art und Weise, wie er Ihnen Noten gibt, ununterscheidbar, unabhängig davon, welche Bedeutung er tatsächlich verwendet. Er spuckt einfach eine Note aus, und diese Note sieht exakt gleich aus, egal ob er der „Grammatik“-Regel oder der „Kreativität“-Regel folgt.

Dieses Paper mit dem Titel NL-PAC stellt eine beängstigende Frage: Wenn der Bewertungskanal des Roboters „zielblind“ ist (das heißt, sein Output sieht unabhängig davon gleich aus, welche verborgene Bedeutung er verwendet), können wir dann jemals sicher sein, dass er korrekt bewertet? Oder gibt es eine permanente „Fehleruntergrenze“, die durch keine Menge an zusätzlicher Bewertung behoben werden kann?

Die verborgene „Zielblinde Falle“

Die Autoren nennen diese Situation zielblinde Supervision (target-blind supervision). Stellen Sie sich vor, Sie versuchen, einen verlorenen Hund in einem nebligen Park zu finden. Sie haben eine Karte (die Anweisung), aber auf der Karte sind zwei mögliche Routen eingezeichnet. Der Hund ist tatsächlich auf Route A, aber die Person, die Ihnen die Wegbeschreibung gibt (der Roboter), läuft auf Route B. Das Beängstigende ist nicht, dass sie Route B gewählt und sie versteckt hat; es ist, dass die Wegbeschreibungen, die sie Ihnen geben, identisch sind, egal auf welcher Route sie sich befinden. Sie zeigen in eine Richtung und sagen: „Der Hund ist hier entlang!“, und dieser Zeiger sieht exakt gleich aus, egal ob sie auf Route A oder Route B sind.

Da die „Wegbeschreibungen“ des Roboters (die Labels, die er vergibt) statistisch identisch sind unter jeder möglichen Interpretation, können Sie nicht feststellen, auf welcher Route er sich befindet. Selbst wenn Sie den Roboter bitten, eine Million Aufsätze zu bewerten, können Sie immer noch nicht herausfinden, auf welcher Route er ist, weil der Kanal selbst den Unterschied nicht offenbart. Das Paper beweist, dass egal wie viele Daten Sie sammeln, es eine minimale Menge an Fehlern gibt, die Sie nicht vermeiden können. Es ist wie der Versuch, einen Geheimcode zu erraten, wenn die Person, die den Schlüssel hält, ein Noise-Cancelling-Headset trägt und das Signal, das sie sendet, unabhängig davon, welchen Schlüssel sie hält, dasselbe ist.

Die „Fehleruntergrenze“

Das Paper führt eine Methode ein, um diesen unvermeidbaren Fehler zu messen, die sie die Minimax-Risiko-Untergrenze (minimax risk floor) nennen. Betrachten Sie dies als eine „Decke“ für die Güte, die der Roboter jemals erreichen kann, egal wie sehr man sich bemüht.

Das Hauptergebnis: Die Autoren berechneten, dass, wenn die zulässigen Antworten des Roboters (die, die er für korrekt hält) sich zu stark überschneiden, die Fehleruntergrenze mindestens die Hälfte der Größe dieser Überschhebung beträgt.
Der Beweis: Sie haben dies nicht nur geraten; sie haben strikte Mathematik verwendet, um es zu beweisen. Sie zeigten, dass, wenn der Roboter einen Aufsatz sieht, bei dem sowohl „Gut“ als auch „Schlecht“ technisch gesehen gültige Antworten gemäß seinen geheimen Regeln sind, der Kanal zwischen ihnen nicht unterscheiden kann. Folglich muss er raten. Und wenn er rät, wird er in diesen spezifischen schwierigen Fällen mindestens 50 % der Zeit falsch liegen.
Das Zertifikat: Der coolste Teil ist, dass man diese Untergrenze tatsächlich messen kann, ohne den geheimen Geist des Roboters zu kennen. Indem man eine Reihe von unbeschrifteten Aufsätzen betrachtet und den Roboter fragt: „Was sind die möglichen Antworten für diesen hier?“, kann man zählen, wie oft er einem zwei oder mehr gültige Antworten gibt.
- In ihrem Experiment mit einem spezifischen Roboter (einem eingefrorenen Qwen 2.5–3B Modell) fanden sie heraus, dass der Roboter für einen bestimmten Prompt 29 % der Zeit mehrere gültige Antworten gab.
- Dies bedeutete, dass die „Fehleruntergrenze“ 0,0838 (oder etwa 8,4 %) betrug.
- Übersetzung: Selbst wenn Sie unendlich viele Daten hätten, würde dieser Roboter immer noch bei mindestens 8,4 % der Aufsätze Fehler machen, weil die Anweisungen zu vage waren, um den korrekten Pfad durch den Kanal zu unterscheiden.

Was sie ausgeschlossen haben (Die „Null“-Zertifikate)

Das Paper ist sehr vorsichtig bei der Aussage, was diese Methode nicht tut.

Es ist kein Zauberstab: Wenn der Roboter ein „Null“-Zertifikat liefert (das heißt, er hat keine Überschneidung gefunden), bedeutet das nicht, dass die Aufgabe perfekt ist oder der Robot ein Genie ist. Es könnte einfach bedeuten, dass der Roboter verwirrt war und jedes Mal die gleiche falsche Antwort gegeben hat, oder dass die Anweisungen so spezifisch waren, dass es keinen Raum für Fehler gab.
Es geht nicht um menschliche Verwirrung: Das Paper stellt explizit klar, dass diese Untergrenze über die Verwirrung des Roboters handelt (speziell die Ambiguität im Kanal, den er nutzt), und nicht notwendigerweise über die menschliche Verwirrung. Nur weil der Roboter verwirrt ist, heißt das nicht, dass Menschen es auch wären.
Es ist keine allgemeine Lösung: Sie versuchten, ihre Erkenntnisse auf eine Liste von „menschlichen Leseregeln“ anzuwenden (wie „Sei streng“ vs. „Sei nachsichtig“), aber die Mathematik zeigte, dass die Brücke zu locker war. Die interne Logik des Roboters passte nicht gut genug zu den menschlichen Regeln, um das Zertifikat zu übertragen. Daher haben sie die Idee ausgeschlossen, dass man dieses Roboter-Floor einfach in ein menschliches Floor übersetzen kann, ohne weitere Arbeit zu leisten.

Wie sicher sind sie sich?

Die Autoren sind sich über die Mathematik sehr sicher. Sie haben die Existenz der „Untergrenze“ unter Verwendung strenger statistischer Theoreme bewiesen.

Die Mathematik: Sie haben bewiesen, dass für jeden Lernenden (Mensch oder KI), der aus diesem „blinden“ Kanal lernt, der Worst-Case-Fehler mindestens die Hälfte der Überschneidungsmasse beträgt. Dies ist eine harte mathematische Tatsache, keine Simulation.
Das Experiment: Als sie dies am Qwen-Roboter testeten, fanden sie ein positives Zertifikat (0,0838) für einen Prompt und null für andere. Dies war keine Simulation; es war ein echtes Audit eines eingefrorenen Modells.
Die Grenze: Sie geben jedoch zu, dass die Mathematik zusammenbrach, wenn sie versuchten, „Sampled Decoding“ anzuwenden (den Roboter bitten, Antworten zu generieren, anstatt seine internen Wahrscheinlichkeiten zu zeigen), da die Antworten des Roboters bei geringer Sampling-Tiefe zu verrauscht waren. In diesen Fällen wurde das Zertifikat „vakuos“ (was bedeutet, dass es ein Ergebnis von Null lieferte, das einem nichts verrät). Während die Theorie also solide ist, hängt die praktische Messung stark davon ab, wie man den Roboter nach seinen Antworten fragt.

Das Fazit

Dieses Paper ist wie ein Warnhinweis für jeden, der KI zum Bewerten oder Beurteilen von Dingen verwendet. Es besagt: „Wenn Ihre Anweisungen vage genug sind, dass die KI sie auf zwei verschiedene Arten interpretieren kann, und der Kanal, den sie zur Beantwortung nutzt, für beide Interpretationen gleich aussieht, sind Sie mit einer permanenten Fehlerrate konfrontatitert.“

Sie können dies nicht beheben, indem Sie die KI nur bitten, sich mehr anzustrengen, oder indem Sie ihr mehr Beispiele füttern. Der einzige Weg, die Untergrenze zu senken, besteht darin, die Anweisungen so zu ändern, dass die KI nur einen klaren Pfad zu befolgen hat, oder die KI selbst zu ändern. Das Paper gibt Ihnen ein Lineal an die Hand, um genau zu messen, wie hoch diese Untergrenze ist, warnt Sie aber auch: Wenn das Lineal „Null“ anzeigt, kann das bedeuten, dass die KI defekt ist, nicht dass die Aufgabe perfekt erledigt wurde.

Technisches Resümee: NL-PAC: Spezifikationsambiguität und zertifizierte Minimax-Risiko-Unterschwellenwerte in LLM-vermittelter Supervision

Problemstellung
Moderne Lernpipelines verlassen sich zunehmend auf Large Language Models (LLMs), um Labels, Evaluationen und Feedback für Aufgaben bereitzustellen, die in natürlicher Sprache spezifiziert sind. Ein kritisches Problem entsteht, wenn eine natürliche Sprachspezifikation mehrere gültige Interpretationen (Lesarten) zulässt, der Supervisionskanal (das LLM als Richter) jedoch eine Interpretation übernimmt, ohne offenzulegen, welche operativ ist. Dieses Regime, bezeichnet als ziel-blinde Supervision (target-blind supervision), schafft ein fundamentales Identifikationsproblem: Zusätzliche Beobachtungen aus demselben Kanal lösen die Ambiguität nicht auf, da das Beobachtungsgesetz des Kanals unabhängig vom operativen Ziel ist.

Im Gegensatz zur klassischen statistischen Lerntheorie, in der die Aufgabenspezifikation und der Supervisionskanal distinkt sind, kollabiert in LLM-vermittelten Systemen diese Trennung. Die Aufgabe wird durch eine Instruktion in natürlicher Sprache definiert, und das Supervisionssignal wird von einem Modell erzeugt, das dieselbe Instruktion interpretiert. Infolgedessen sieht sich der Lernende einem irreduziblen Risiko-Unterschwellenwert (risk floor) gegenüber, der nicht durch statistisches Rauschen oder ein Korruptionsbudget, sondern durch die Ununterscheidbarkeit zulässiger Lesarten verursacht wird, die der Dekodierung der Eingabeaufforderung durch das Modell inhärent sind. Die Arbeit stellt die Frage: Wie viel Minimax-Risiko verbleibt, wenn der Kanal, der den Kanal der zulässigen Ziele definiert, auch die einzige Quelle der Supervision ist, und kann dieser Risiko-Unterschwellenwert aus ungelabelten Eingaben zertifiziert werden?

Methodik: Das NL-PAC-Framework
Die Autoren führen Natural Language PAC (NL-PAC) ein, ein Framework, das die Interaktion zwischen einem festen Modell, einem Prompt und einem Dekodierungsschwellenwert formalisiert, um die Geometrie der zulässigen Labels zu definieren.

Modell-zulässige Geometrie:
- Für eine feste Beschreibung $f_{NL}$ , ein $LLM_\theta$ und einen Schwellenwert $\tau$ ist eine zulässige Label-Menge $A_\tau(x)$ an jedem Input $x$ definiert, die alle Labels $y$ enthält, für die die Dekodierungswahrscheinlichkeit des Modells $\pi(y|f_{NL}, x) \ge \tau$ gilt.
- Die zulässige Überlappungsmasse $D^*_\tau$ ist die Wahrscheinlichkeitsmasse der Inputs, bei denen $|A_\tau(x)| \ge 2$ gilt (d. h. mehrere Labels sind zulässig).
- Das Framework definiert eine modell-zulässige Labeling-Klasse $F_{\tau, \zeta}$ (Labelings, die auf einer Menge mit $\zeta$ -Masse zulässig sind) und deren Kern $Sel_\tau$ (fast überall zulässige Labelings).
- Der Durchmesser dieses Kerns, $\text{diam}_P(Sel_\tau)$ , entspricht nachweislich $D^*_\tau$ .
Ziel-Blindheit und Risiko-Unterschwellenwerte:
- Der Supervisionskanal ist ziel-blind, wenn das Beobachtungsgesetz nicht vom operativen Ziel abhängt. Unter dieser Bedingung beweist das Paper, dass kein Lerner zwischen Zielen unterscheiden kann, die dasselbe Beobachtungsgesetz induzieren.
- Paarweiser Untergrenzwert: Für zwei beliebige zulässige Targets $f_1, f_2$ , die auf einer Menge der Masse $D$ divergieren, beträgt das Minimax-Risiko mindestens $D/2$ , unabhängig von der Stichprobengröße.
- Exakter Minimax-Wert: Über den gesamten zulässigen Kern $Sel_\tau$ ist der exakte Minimax-Wert $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$ , wobei $k(x)$ die Anzahl der zulässigen Labels bei $x$ ist. Dieser Wert wird durch einen datenunabhängigen randomisierten Lerner erreicht, der an jedem Input gleichmäßig aus der zulässigen Menge wählt.
- Kohärente Lesarten: Das Paper unterscheidet zwischen punktuell zulässigen Selektionen und kohärenten Lesarten (globale Interpretationen, die durch spezifische Leseklauseln definiert sind). Es etabliert eine „Brücken“-Schranke (bridge bound), die zeigt, dass das Minimax-Risiko über eine endliche Familie kohärenter Lesarten nur dann nahe an $V^*_\tau$ liegt, wenn die Familie eine $\eta$ -uniforme Abdeckungsbedingung und eine geringe Admissibilitäts-Verletzung erfüllt.
Endliche-Stichproben-Zertifizierung:
- Die Autoren konstruieren Endliche-Stichproben-Zertifikate für diese Größen unter Verwendung von gehaltenen, ungelabelten Inputs aus der Deployment-Distribution.
- Exponierte Wahrscheinlichkeiten: Wenn die Dekodierungswahrscheinlichkeiten des Modells zugänglich sind, schätzt das Audit $D^*_\tau$ und $V^*_\tau$ direkt ab und liefert Hoeffding-basierte untere Schranken für den Minimax-Risiko-Unterschwellenwert.
- Gesampeltes Dekodieren: Wenn nur gesampelte Outputs verfügbar sind, verwendet das Audit einen Plug-in-Schätzer. Dies führt einen Schwellenwert-Margen-Term ( $\kappa(\xi)$ ) und einen Endliche-Tiefe-Fehlerterm ein, was das Zertifikat obsolet machen kann, wenn die Dekodierungstiefe unzurereichend ist oder viele Inputs nahe am Schwellenwert $\tau$ liegen.

Wesentliche Beiträge

Repräsentation: Formalisierung der modell-zulässigen Labeling-Klasse und Beweis, dass ihr Durchmesser der zulässigen Überlappungsmasse $D^*_\tau$ entspricht, inklusive enger Schranken für Toleranzklassen.
Blind-Channel-Wert: Beweis, dass ziel-blinde Supervision einen stichprobenunabhängigen Minimax-Unterschwellenwert von $D^*_\tau/2$ (für binäre Überlappung) oder $V^*_\tau$ (exakter Wert) erzwingt, der durch eine datenunabhängige Strategie erreicht wird.
Kohärenter Lesarten-Brücke: Ableitung der Bedingungen, unter denen der punktuelle Minimax-Wert auf eine endliche Familie globaler Leseklauseln übergeht, wobei die Diskrepanz zwischen punktueller Zulässigkeit und semantischer Kohärenz aufgezeigt wird.
gment 4. Zertifizierung: Entwicklung von Algorithmen zur Berechnung einseitiger Konfidenzschranken für den Risiko-Unterschwellenwert aus ungelabelten Daten, wobei zwischen Fällen mit exponierten Wahrscheinlichkeiten und solchen mit reinen Samples unterschieden wird.

Empirische Ergebnisse
Die Autoren führten ein Audit an einem eingefrorenen Qwen 2.5–3B Modell durch:

Positives Zertifikat: Für einen spezifischen Content-Moderation-Prompt (P1) fand das Audit eine signifikante Überlappungsmasse ( $D^*_\tau = 0,29$ bei $\tau=0,20$ ), was einen Minimax-Risiko-Unterschwellenwert von 0,0838 zertifiziert. Dies zeigt, dass selbst mit unendlichen Daten der Worst-Case-Fehler aufgrund der inhärenten Ambiguität des Modells nicht unter diesen Schwellenwert gesenkt werden kann.
Null-Zertifikate: Eine Paraphrase des Prompts (P2) und exakte Regel-Kontrollaufgaben lieferten Null-Zertifikate. P2 kollabierte zu einem einzelnen Label (Entropie-Diagnose), während die exakten Regeln keinen Raum für Ambiguität ließen.
Transfer-Fehlgeschlagen: Ein „Bridge“-Audit, das testete, ob der punktuelle Zertifikat auf zwei bereitgestellte Kandidaten-Leseklauseln übertragbar ist, schlug fehl. Obwohl die Mischungsabdeckung günstig war, verletzten die Klauseln die Admissibilitäts-Bedingung (hohe Verletzungsraten), was zu einer losen Schranke führte, die den Transfer des positiven Floors nicht zertifizieren konnte.
Sampling-Limits: Ein Audit mit gesampeltem Dekodieren bei geringer Tiefe ( $r=3$ ) lieferte aufgrund des großen Korrekturterms für endliche Tiefe obsolete (Null-)Zertifikate, was die Kosten verdeutlicht, wenn kein Zugriff auf Rohwahrscheinlichkeiten besteht.

Bedeutung und Umfang
Das Paper beansprucht, einen entscheidungstheoretischen Schritt zu liefern, der in aktuellen LLM-as-a-judge Diagnostiken fehlt. Während bestehende Arbeiten auf Judge-Bias, Kalibrierung oder Übereinstimmungsraten fokussieren, quantifiziert NL-PAC die irreduzible Ambiguität, die durch das Paar aus Spezifikation und Kanal selbst auferlegt wird.

Bescheidenheit der Ansprüche: Die Autoren betonen explizit, dass das Zertifikat modell-relativ und spezifisch für das geprüfte Tupel $(LLM_\theta, \Pi, \tau, P)$ ist. Es identifiziert weder das intendierte Ziel des Designers noch stellt es eine menschliche Aufgaben-Ambiguität fest. Ein positiver Floor zertifiziert, dass dieser spezifische Kanal die Ambiguität nicht auflösen kann, nicht dass die Aufgabe an sich für Menschen mehrdeutig ist.
Implikationen: Ein positives Zertifikat impliziert, dass die Erhöhung der Stichprobengröße oder die Verbesserung des Lerners den Worst-Case-Risiko-Unterschwellenwert nicht senken wird; der einzige Weg, den Floor zu senken, besteht darin, die Informationsstruktur zu ändern (z. B. die Spezifikation zu klären, ein anderes Modell zu verwenden oder leseklarere Supervision einzuführen).
Limitierungen: Die Garantie beruht auf Ziel-Blindheit und der Beobachtbarkeit zulässiger Mengen. Die Erweiterung der Garantie auf kohärente menschliche Lesarten erfordert eine externe Validierung der Coverage des Reading-Pools und der Admissibilität, was das im Paper beschriebene „Bridge“-Audit als nicht-triviale Hürde identifiziert hat.

Zusammenfassend bietet NL-PAC eine rigorose Methode, um den „Floor“ der Lernbarkeit in der LLM-vermittelten Supervision zu auditieren, und zeigt auf, dass Spezifikationsambiguität permanente, zertifizierbare Barrieren für die Performance schaffen kann, die unabhängig vom Datenvolumen sind.

Die verborgene „Zielblinde Falle“

Die „Fehleruntergrenze“

Was sie ausgeschlossen haben (Die „Null“-Zertifikate)

Wie sicher sind sie sich?

Das Fazit

Mehr davon