Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

1. Problemstellung

Moderne Large Language Models (LLMs) werden zunehmend durch Reinforcement Learning from Human Feedback (RLHF) und dessen Varianten (z. B. RLAIF) ausgerichtet. Da menschliche Annotationen teuer sind, verlassen sich viele Pipelines auf LLM-basierte Richter (Judges), deren Verhalten durch natürliche Sprach-Rubriken (Bewertungskriterien) gesteuert wird.

Das Paper identifiziert eine bisher unterbewertete Schwachstelle in diesem Workflow: Rubric-Induced Preference Drift (RIPD).

• Das Kernproblem: Rubriken dienen als hochlevelige Schnittstelle für Entscheidungen. Es ist möglich, Rubriken so zu bearbeiten, dass sie auf einem Benchmark-Datensatz (zur Validierung) weiterhin hohe Übereinstimmung mit menschlichen Referenzen zeigen, aber gleichzeitig eine systematische und gerichtete Verschiebung der Präferenzen auf einem Ziel-Domain (Target Domain) verursachen.
• Die Gefahr: Da die Änderungen auf dem Benchmark „korrekt" erscheinen, werden sie als sicher akzeptiert. Die daraus resultierenden Verzerrungen sind jedoch auf dem Ziel-Domain nicht erkennbar, solange keine spezifischen Tests dort durchgeführt werden. Diese Verzerrungen können sich durch die gesamte Ausrichtungs-Pipeline fortpflanzen und zu dauerhaftem Fehlverhalten des trainierten Modells führen.

2. Methodik

A. Bedrohungsmodell

Der Angreifer (ein Rubrik-Designer) hat Zugriff auf:

• Den natürlichen Sprach-Rubrik-Text.
• Probe-Daten aus Benchmark- und Ziel-Domains (zur Validierung und Optimierung).
• Keinen Zugriff auf die Modellparameter des Judges, keine Gradienten und keine Kontrolle über die Eingabedaten selbst.
  Der Angriff erfolgt ausschließlich durch die Modifikation des Rubrik-Textes.

B. Angriffsmethode: Rubric-Based Preference Attacks

Die Autoren entwickeln einen Angriff, der eine bevorzugte Rubrik-Suche (Biased Rubric Search) durchführt, um RIPD zu induzieren. Der Prozess umfasst:

1. Ziel: Eine modifizierte Rubrik $R'$ finden, die die Übereinstimmung mit der Referenz auf dem Ziel-Domain minimiert, während die Übereinstimmung auf dem Benchmark-Domain erhalten bleibt (innerhalb einer Toleranz $\epsilon$).
2. Suchstrategie: Ein populationsbasierter evolutionärer Suchalgorithmus (Black-Box-Optimierung).
   • Asymmetrische Verfeinerung: Das System nutzt Fehlerfälle auf dem Benchmark, um die Rubrik zu korrigieren (damit sie dort gut bleibt). Gleichzeitig werden korrekt bewertete Fälle auf dem Ziel-Domain fälschlicherweise als „Fehler" markiert, um die Rubrik so zu verfeinern, dass sie diese Fälle auf dem Ziel-Domain falsch bewertet. Dies führt zu einer gezielten Umkehrung der Präferenzen.
3. Selektion: Es werden nur Rubriken ausgewählt, die die Benchmark-Kriterien erfüllen, aber den größten Drift auf dem Ziel-Domain verursachen.

C. Propagation durch Alignment-Pipelines

Die durch die manipulierte Rubrik erzeugten Präferenzlabels werden für das Direct Preference Optimization (DPO) oder ähnliche Post-Training-Verfahren verwendet. Da das Training ausschließlich auf diesen Labels basiert, wird die Verzerrung vom Richter in die Politik (Policy) des LLM internalisiert. Dies führt zu einem dauerhaften Verhaltensdrift des Modells, selbst in Domains, die nicht explizit angegriffen wurden.

3. Wichtige Beiträge

1. Identifikation von RIPD: Nachweis, dass natürliche Sprach-Rubrik-Änderungen, die Benchmark-Validierungen bestehen, dennoch systematische Präferenzverschiebungen auf Ziel-Domains verursachen können.
2. Demonstration des Angriffs: Beweis, dass dieser Angriff durch rein textbasierte Rubrik-Änderungen realisierbar ist, ohne Zugriff auf das Modell.
   • Reduktion der Genauigkeit auf dem Ziel-Domain um bis zu 9,5 % (Hilfreichkeit) und 27,9 % (Schadlosigkeit).
3. Propagationseffekt: Nachweis, dass diese Verzerrungen nicht bei der Bewertung enden, sondern sich durch das Post-Training in die endgültigen Modellpolitiken fortpflanzen und dort zu persistenter Fehlausrichtung führen.
4. Systemisches Risiko: Die Arbeit zeigt, dass die Validierung von Evaluatoren allein (via Benchmark) nicht ausreicht, um die Sicherheit der gesamten Ausrichtungs-Pipeline zu garantieren.

4. Ergebnisse

Die Experimente wurden auf fünf Datensätzen (Hilfreichkeit und Schadlosigkeit) mit verschiedenen Judge-Modellen (Qwen3-14B, Gemma-3-27B, DeepSeek-V3) durchgeführt.

• Benchmark-Erhalt vs. Ziel-Drift: Die entwickelten „biased rubrics" erreichten auf dem Benchmark-Set oft sogar leicht bessere oder gleichbleibende Genauigkeit wie die ursprüngliche Seed-Rubrik, führten aber zu einem massiven Abfall der Genauigkeit auf dem Ziel-Domain.
  • Beispiel: Bei der Aufgabe „Schadlosigkeit" stieg die Benchmark-Genauigkeit von 0,686 auf 0,706, während die Ziel-Genauigkeit von 0,826 auf 0,547 sank.
• Generalisierung: Die Angriffe funktionierten auch bei Transfer auf andere Judge-Modelle (Cross-Model Transferability), was darauf hindeutet, dass die Verzerrung in der Rubrik selbst und nicht im spezifischen Judge-Modell liegt.
• Qualität der Rubriken: In blinden Vergleichen durch einen unabhängigen LLM-Evaluator wurden die manipulierten Rubriken oft als besser oder gleichwertig zur Original-Rubrik eingestuft (Win-Rate 1,00). Dies widerlegt die Annahme, der Drift sei auf schlechte Rubrikformulierungen zurückzuführen; es ist eine subtile Umverteilung der Kriterien.
• Auswirkung auf Policies: Modelle, die mit den verzerrten Labels trainiert wurden ($\pi_{bias}$), zeigten im Vergleich zu Modellen mit Seed-Labels ($\pi_{seed}$) eine signifikant schlechtere Leistung auf Ziel-Domains (Win-Rates von ca. 40 % gegen 50 %). Interessanterweise war $\pi_{bias}$ oft sogar schlechter als das ursprüngliche Basis-Modell ($\pi_{ori}$), was zeigt, dass der Angriff das Lernen aktiv sabotiert.

5. Bedeutung und Schlussfolgerung

Das Paper enthüllt ein systemisches Sicherheitsrisiko in der LLM-Ausrichtung:

• Rubriken sind keine passiven Spezifikationen: Sie sind aktive, manipulierbare Schnittstellen.
• Limitierung von Benchmarks: Die traditionelle Annahme, dass eine gute Benchmark-Leistung eines Judges eine gute Generalisierung auf unbekannte Domains garantiert, ist falsch. Ein Richter kann auf dem Benchmark „perfekt" sein und auf dem Ziel-Domain systematisch versagen.
• Implikationen für die Praxis: Die Validierung von Rubriken muss über reine Benchmark-Tests hinausgehen. Da Rubrik-Änderungen (z. B. zur Verbesserung der Klarheit) unbeabsichtigte oder böswillige Drifts verursachen können, müssen Rubrik-Design und -Validierung als kritische Komponenten der gesamten Alignment-Pipeline behandelt werden.

Zusammenfassend zeigt die Arbeit, dass die Sicherheit von LLMs nicht nur von der Robustheit der Modelle, sondern auch von der Integrität der Evaluierungs-Rubriken abhängt, die als „stille Angriffsfläche" dienen können.