Technische Zusammenfassung: Entkommen aus der Abkommen-Falle

1. Problemstellung: Die Abkommen-Falle

Automatisierte Inhaltsmoderationssysteme werden traditionell anhand von Abkommen-basierten Metriken (z. B. F1-Score) gegen menschliche Kennzeichnungen evaluiert. Die Autoren argumentieren, dass dieser Ansatz in regelgeleiteten Umgebungen versagt, in denen mehrere Entscheidungen logisch konsistent mit der geltenden Richtlinie sein können. In solchen „Grauzonen" lösen menschliche Moderatoren Mehrdeutigkeiten unter Verwendung von Kontext, Präzedenzfällen und interpretativen Normen, wodurch Kennzeichnungen entstehen, die einen spezifischen Lösungsweg widerspiegeln und nicht die zugrunde liegende Regelstruktur.

Wenn ein Modell aus diesen Kennzeichnungen lernt, reproduziert es den interpretativen Pfad. Folglich bestrafen Abkommen-basierte Metriken gültige, richtlinienbegründete Entscheidungen, die von der spezifischen menschlichen Kennzeichnung abweichen, und vermischen dabei drei unterschiedliche Fehlermodi:

1. Modellfehler: Das Modell verstößt gegen die Regeln.
2. Moderator-Abweichung: Das Modell und der Mensch wählten unterschiedliche gültige Pfade.
3. Richtlinien-Mehrdeutigkeit: Die Regeln selbst sind unzureichend spezifiziert.

Die Autoren bezeichnen dieses Phänomen als Abkommen-Falle. Sie führt zu einer systematischen Fehlcharakterisierung der Regelkonformität als Fehler, insbesondere wenn die Menge der richtlinienverteidigbaren Ergebnisse mengenwertig ist (mehr als ein Element enthält).

2. Methodik: Das Verteidigbarkeits-Framework

Um dies zu adressieren, formalisiert das Papier die Evaluation als richtlinienbegründete Korrektheit und verlagert den Fokus von der Übereinstimmung mit historischen Kennzeichnungen auf die logische Ableitbarkeit unter einer expliziten Regelhierarchie.

2.1 Formalisierung und Metriken

Das Framework bewertet eine vorgeschlagene Entscheidung $\hat{y}$ (z. B. ENTFERNEN oder GENEHMIGEN) gegen Inhalt $C$, eine Regelhierarchie $R$ (plattformspezifisch $R_G$ und community-spezifisch $R_C$) sowie ein Präzedenzkorpus $P$. Eine Entscheidung ist verteidigbar, wenn eine gültige logische Ableitung von $(C, R, P)$ zu $\hat{y}$ existiert.

Entscheidungen werden in drei Stufen klassifiziert:

• L1 (Robust verteidigbar): Eine explizite Regel autorisiert die Entscheidung direkt und eindeutig.
• L2 (Plausibel verteidigbar): Regeln sind genuinely mehrdeutig, aber die Entscheidung ist vernünftig begründet.
• L3 (Nicht verteidigbar): Keine explizite Regel autorisiert die Entscheidung, oder die Begründung ruft Konzepte auf, die im Regelsatz fehlen.

Zwei primäre Metriken werden eingeführt:

• Verteidigbarkeits-Index (DI): Der Anteil der Entscheidungen, die L1 oder L2 sind. Ziel: $\ge 0,90$.
• Mehrdeutigkeits-Index (AI): Der Anteil der Entscheidungen, bei denen ein „inverse Check" (Überprüfung, ob die entgegengesetzte Entscheidung ebenfalls ableitbar ist) ausgelöst wird. Ziel: $\le 0,15$. AI wird in plattformweite ($A_{IG}$) und community-spezifische ($A_{IC}$) Unterbestimmtheit zerlegt.

2.2 Audit-Implementierung

Das Framework employs eine strukturierte Auditierung mittels eines Audit-Modells ($M_a$). Im Gegensatz zu Standard-Ansätzen „LLM als Richter", die subjektive Qualität bewerten, agiert $M_a$ als eingeschränkter Reasoning-Engine. Es erhält den Inhalt, Regeln, Präzedenzfälle und die vorgeschlagene Entscheidung und generiert dann eine JSON-Reasoning-Spur:

1. Logikkette: Inferenzschritte.
2. Richtlinien-Zitat ($\kappa$): Expliziter Regelverweis (verpflichtet vor dem Urteil).
3. Präzedenz-Gewicht ($\omega$): Bedeutung vergangener Fälle.
4. Inverse Check ($\iota$): Ob die entgegengesetzte Entscheidung ebenfalls ableitbar ist.
5. Verteidigbarkeits-Stufe ($\xi$): L1, L2 oder L3.

Diese Reihenfolge stellt sicher, dass die Klassifizierung auf einer expliziten Governance-Referenz basiert und verhindert, dass das Modell ein vorbestimmtes Output rationalisiert.

2.3 Probabilistisches Verteidigbarkeits-Signal (PDS)

Um Reasoning-Stabilität ohne zusätzliche Audit-Passes zu schätzen, führen die Autoren PDS ein, abgeleitet aus den Token-Log-Wahrscheinlichkeiten des Audit-Modells. PDS extrahiert einen dreikomponentigen Vektor aus einem einzigen Forward-Pass:

1. $\lambda_\xi$ (Label-Log-Confidence): Log-Wahrscheinlichkeit der finalen Verteidigbarkeitsstufe.
2. $H[\kappa]$ (Zitations-Spannen-Entropie): Shannon-Entropie über die Richtlinien-Zitat-Token. Hohe Entropie zeigt Unsicherheit bei der Regelauswahl an.
3. $\sigma(\rho)$ (Inverse-Check-Log-Odds): Log-Odds des Auslösens des Inverse Checks. Hohe Werte zeigen an, dass das Modell unsicher ist, ob die Entscheidung nicht verteidigbar ist.

Diese Komponenten werden via Kalibrierung zu einem Skalar $S$ kombiniert. Das Framework hypothesiert, dass die Varianz in PDS primär durch Governance-Mehrdeutigkeit und nicht durch Decoding-Rauschen getrieben wird.

3. Hauptbeiträge

1. Formalisierung der Richtlinienbegründeten Korrektheit: Einführung von DI und AI, um richtlinienverteidigbare Entscheidungen von nicht verteidigbaren zu trennen und über Abkommen-Metriken hinauszugehen.
2. Probabilistisches Verteidigbarkeits-Signal (PDS): Ein kostenloser Stabilitäts-Signal, extrahiert aus Audit-Modell-Log-Wahrscheinlichkeiten, das mit Reasoning-Instabilität korreliert.
3. Governance-Tor: Ein operativer Bereitstellungsmechanismus, der die automatisierte Durchsetzung auf Kohorten beschränkt, die spezifische DI- und AI-Schwellenwerte erfüllen, und damit eine prinzipielle Automatisierungsabdeckung mit Risikoreduktion ermöglicht.

4. Empirische Ergebnisse

Das Framework wurde an 193.000+ Reddit-Moderationsentscheidungen über mehrere Communities hinweg validiert, auditiert gegen plattformweite und community-spezifische Regeln.

4.1 Die Abkommen-Verteidigbarkeits-Lücke

• Metrik-Divergenz: Es besteht eine 33–46,6 Prozentpunkte-Lücke zwischen Abkommen-basierten F1-Scores und dem Verteidigbarkeits-Index.
• Falsch-Negativ-Analyse: 79,8–80,6 % der „falsch negativen" Entscheidungen des Modells (Abweichungen von menschlichen Kennzeichnungen) waren tatsächlich richtlinienbegründete Entscheidungen (L1 oder L2). Dies bestätigt die Abkommen-Falle: Standardmetriken bestrafen gültige Regelkonformität, wenn sie von spezifischen menschlichen Interpretationen abweichen.
• Ursache: Nur 19,4 % der Uneinigkeiten waren echte Modellfehler (L3); der Rest war implizite Normdurchsetzung oder Richtlinien-Mehrdeutigkeit.

4.2 PDS und Stabilität

• Menschliche Übereinstimmung: PDS korreliert stark mit menschlichen Verteidigbarkeitsbewertungen ($\rho = 0,66, p < 10^{-4}$).
• Mehrdeutigkeits-Erkennung: Die Inverse-Check-Log-Odds ($\sigma(\rho)$) sind in Uneinigkeit-Fällen 63 % höher als in Einigkeit-Fällen.
• Stabilitätsanalyse: Wiederholtes Sampling (1.000 Replikate) zeigt, dass die PDS-Varianz durch Governance-Mehrdeutigkeit und nicht durch Sampling-Rauschen getrieben wird. Das Verhältnis der Instabilität zwischen „flipenden" und „stabilen" Fällen bleibt über eine zehnfache Temperaturerhöhung hinweg konstant (~1,6x), was die Governance-Mehrdeutigkeits-Hypothese stützt.

4.3 Experiment zur Normativen Unterbestimmtheit

Die Auditierung von 37.286 Entscheidungen unter drei Stufen der Regelspezifität (Nur Titel, Sidebar, Wiki) auf r/AskReddit ergab:

• AI-Reduktion: Das Hinzufügen von Regeldetails reduzierte den Mehrdeutigkeits-Index um 10,8 Prozentpunkte (von 18,2 % auf 7,4 %).
• DI-Stabilität: Der Verteidigbarkeits-Index blieb stabil (~97–98 %), was darauf hindeutet, dass die Entscheidungen unabhängig vom Regeldetail verteidigbar waren; die Unsicherheit über ihre Verteidigbarkeit war es, die sich änderte.
• Mechanismus: Vage Regeln erzeugen primär mehrdeutige (L2) Entscheidungen und nicht nicht verteidigbare (L3) Entscheidungen.

4.4 Governance-Tor-Leistung

Ein Governance-Tor, konfiguriert mit DI $\ge$ 0,90 und AI $\le$ 0,15, erreichte:

• 78,6 % Automatisierungsabdeckung über den gesamten Fleet.
• 64,9 % Risikoreduktion (Reduktion der Rate nicht verteidigbarer Entscheidungen von 5,66 % auf 2,72 % im automatisierten Anteil).
• Der AI-Schwellenwert wurde als bindende Einschränkung identifiziert, was bedeutet, dass die Selektivität durch Richtlinien-Mehrdeutigkeit und nicht durch Reasoning-Gültigkeit bestimmt wird.

4.5 Adversarielle Robustheit

In einem „Spurious-Grounding-Benchmark" (1.000 Fälle einschließlich adversarieller Angriffe):

• Erkennung: Das System erkannte 93,5 % der Action-Flip-Angriffe und 70,1 % der Halluzinations-Grounding-Angriffe.
• Escape-Oberfläche: 29,9 % der Angriffe entkamen, spezifisch diejenigen, die die „Richtlinien-Halbschatten" (subjektive Inhaltsregeln) ausnutzten. Entscheidend ist, dass die Regeln, die für diese Angriffe anfällig waren, dieselben waren, die vom Mehrdeutigkeits-Index als klärungsbedürftig identifiziert wurden, was eine unabhängige Bestätigung der diagnostischen Fähigkeit des Frameworks liefert.

5. Bedeutung und Ansprüche

Das Papier behauptet, dass die Evaluation in regelgeleiteten Umgebungen von der Übereinstimmung mit historischen Kennzeichnungen zur Reasoning-begründeten Gültigkeit unter expliziten Regeln wechseln muss.

• Neudefinition von Mehrdeutigkeit: Das Framework behandelt Richtlinien-Mehrdeutigkeit nicht als Mangel, sondern als absichtliches Designmerkmal (Normative Unterbestimmtheit), das menschliches Urteil bewahrt. Die Metriken quantifizieren diese Elastizität, um sichere Automatisierung dort zu ermöglichen, wo die Verteidigbarkeit hoch ist.
• LLM als Reasoning-Auditor: Die Arbeit erweitert das Paradigma „LLM als Richter" von der subjektiven Qualitätsbewertung zur richtlinienbegründeten logischen Verifikation. Indem Regeln als externe Quelle der Wahrheit und das Audit-Modell als eingeschränkter Reasoning-Engine behandelt werden, operationalisiert das System die Regelkonsistenz.
• Praktische Bereitstellung: Das Governance-Tor bietet einen prinzipiellen Mechanismus zur Skalierung der Automatisierung unter Wahrung der Auditierbarkeit und demonstriert, dass LLM-Reasoning-Spuren (insbesondere Log-Wahrscheinlichkeitsverteilungen) als kalibrierte Unsicherheitssignale für Governance dienen können.

Die Autoren schließen, dass die Konvergenz des Mehrdeutigkeits-Index, der PDS-Varianz und adversarieller Escape-Oberflächen auf ein einziges zugrunde liegendes Phänomen hinweist: normative Unterbestimmtheit. Das Framework bietet die Infrastruktur, um diese Unterbestimmtheit zu identifizieren und zu managen, anstatt sie als Modellfehler zu behandeln.