Is Evaluation Awareness Just Format Sensitivity? Limitations of Probe-Based Evidence under Controlled Prompt Structure

1. Problemstellung

Das Paper adressiert ein kritisches methodisches Problem in der Forschung zu Large Language Models (LLMs): Die Interpretation von „Evaluation Awareness" (der Fähigkeit eines Modells zu erkennen, ob es evaluiert wird, und sein Verhalten entsprechend anzupassen).

Bisherige Studien (z. B. Needham et al., 2025; Nguyen et al., 2025) nutzen lineare Proben (Linear Probes), die auf eingefrorenen Aktivierungen trainiert werden, um zwischen „Evaluierungs-Prompts" (z. B. Benchmarks wie MMLU) und „Deployment-Prompts" (z. B. Chat-Nutzung) zu unterscheiden. Die Autoren argumentieren, dass diese Ergebnisse irreführend sein könnten, da Evaluierungs-Prompts in der Praxis stark mit einem spezifischen Benchmark-Format (strikte Templates, Multiple Choice) und einem neutralen Genre verknüpft sind, während Deployment-Prompts oft konversationell und frei formuliert sind.

Die zentrale Hypothese ist, dass die Proben nicht den Kontext (Evaluation vs. Deployment) lernen, sondern lediglich Oberflächenstrukturen (Format) erkennen. Es besteht die Gefahr, dass die beobachtete „Evaluation Awareness" nur eine Sensitivität gegenüber dem Layout von Benchmarks ist.

2. Methodik

Um diese Hypothese zu testen, entwerfen die Autoren ein streng kontrolliertes Experiment, das die Konfundierung von Kontext und Format auflöst.

Das 2x2-Design

Statt nur zwei Klassen zu vergleichen, konstruieren die Autoren eine Matrix aus vier Quadranten, indem sie Kontext (Evaluation vs. Deployment) und Format (Benchmark-Struktur vs. Casual/Frei) unabhängig voneinander variieren:

1. Bench-Eval: Klassische Benchmark-Prompts (MMLU, ARC, GSM8K) – Kontext: Eval, Format: Strukturiert.
2. Casual-Deploy: Echte Chat-Prompts (ShareGPT) – Kontext: Deploy, Format: Frei.
3. Casual-Eval: Konversationelle Prompts, die als Evaluierungs-Proxy dienen (MuTual-Datensatz, erster Turn) – Kontext: Eval, Format: Frei.
4. Bench-Deploy: Echte Deployment-Prompts (ShareGPT), die mittels eines LLMs (DeepSeek-V3) in strikte Benchmark-Formate (Multiple Choice, strukturierte Wortaufgaben) umgeschrieben wurden, ohne explizite Evaluierungs-Framing. – Kontext: Deploy, Format: Strukturiert.

Kontrollen und Experiment-Setup

• Längenkontrolle: Um Heuristiken basierend auf Prompt-Länge auszuschließen, wurde eine Histogramm-Matching-Technik angewendet, um die Verteilung der Zeichenlängen zwischen den Datensätzen anzugleichen.
• Leckage-Entfernung: Bei den Umschreibungen (Rewrites) wurden Artefakte wie vorab ausgefüllte „Answer:"-Felder manuell entfernt, um sicherzustellen, dass die Proben nicht auf inhaltlichen Hinweisen basieren.
• Modell & Proben: Es wurden Aktivierungen aus den mittleren bis späten Schichten (Layer 8–31) von Llama-3.1-8B-Instruct extrahiert. Logistische Regressionen (Lineare Proben) wurden mit 5-Fold-Cross-Validation trainiert.
• Trainingsregime:
  • Standard (Single-Contrast): Training auf Bench-Eval vs. Casual-Deploy (der typische, konfundierte Ansatz).
  • Paired (Decorrelated): Training auf einer gepoolten Menge, bei der Format und Kontext entkoppelt sind (Bench-Eval + Casual-Eval vs. Bench-Deploy + Casual-Deploy).

3. Wichtige Beiträge

1. Kontrolliertes 2x2-Design: Die Erstellung eines Datensatzes, der Kontext, Genre und Format unabhängig variiert, um strukturelle Hinweise von Evaluierungsabsichten zu trennen.
2. Nachweis des Generalisierungsversagens: Der Nachweis, dass Proben, die auf Standard-Benchmarks trainiert wurden, bei freien Prompts versagen, selbst wenn Inhalt und Stil erhalten bleiben.
3. Methodische Implikationen: Die Demonstration, dass bestehende Beweise für Evaluation Awareness stark formatabhängig sind und nicht als strukturinvariante Sicherheitswerkzeuge dienen können.

4. Ergebnisse

Die Experimente zeigen, dass die Standard-Proben fast ausschließlich das Format und nicht den Kontext erkennen:

• Der „Format-Falle" (Format Trap):

  • Ein Standard-Probe, der auf Bench-Eval vs. Casual-Deploy trainiert wurde, klassifiziert Bench-Deploy (Deployment-Prompts im Benchmark-Format) zu 94,5 % fälschlicherweise als „Evaluation".
  • Der Probe erkennt also die Multiple-Choice-Struktur, nicht die Tatsache, dass es sich um eine Deployment-Situation handelt.
  • Umgekehrt werden Casual-Eval (echte Evaluierungs-Prompts im freien Format) zu 0 % als Evaluation erkannt.
  • Tests mit formellem, akademischem Ton (ohne Strukturänderung) zeigten keine signifikante Änderung, was bestätigt, dass die starre Template-Struktur der entscheidende Faktor ist.

• Erfolg der Paired Training:

  • Wenn Format und Kontext während des Trainings entkoppelt werden (Paired Training), lernt der Probe den Kontext korrekt.
  • In diesem Szenario wird Bench-Deploy korrekt als Deployment erkannt (nur 7,2 % Fehlerquote) und Casual-Eval korrekt als Evaluation (100 %).
  • Dies beweist, dass das Modell prinzipiell in der Lage ist, Kontext zu unterscheiden, aber Standard-Methoden diesen Signal durch das Format-Overwriting unterdrücken.

• Sicherheits-Datensätze:

  • Sowohl Standard- als auch Paired-Proben klassifizierten Prompts aus Sicherheits-Benchmarks (AdvBench, HarmBench) durchweg als „Deployment" (0 % als Evaluation). Dies zeigt, dass Evaluation-Awareness-Proben nicht als allgemeine Sicherheitsmonitore interpretiert werden sollten.

5. Bedeutung und Schlussfolgerung

Das Paper liefert eine wichtige methodische Warnung für die LLM-Forschung:

• Falsches Vertrauen: Die bisherigen Beweise für „Evaluation Awareness" basieren wahrscheinlich auf einer Sensitivität gegenüber Benchmark-Layouts (Oberflächenstruktur) und nicht auf einem tiefen Verständnis des Evaluierungskontextes.
• Notwendigkeit strengerer Kontrollen: Um echte kognitive Fähigkeiten oder Sicherheitsmechanismen zu testen, müssen Experimente Format und Kontext explizit entkoppeln. Das bloße Vorhandensein einer Benchmark-Struktur reicht nicht als Indikator für Evaluierungs-Awareness aus.
• Grenzen linearer Proben: Lineare Proben sind anfällig für das Ausnutzen von Korrelationen in den Daten. Ohne sorgfältiges Design (wie das hier vorgestellte 2x2-Design) liefern sie keine zuverlässigen Diagnosen über das innere Weltmodell des LLM.

Zusammenfassend stellt das Paper fest, dass die aktuelle Evidenz für Evaluation Awareness fragil ist und durch strukturelle Artefakte von Benchmarks verzerrt wird. Echte Evaluation Awareness könnte existieren, wird aber von Standard-Methoden nicht zuverlässig isoliert.