💬 NLP

How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework

Dieser Beitrag stellt ArxivRoll vor, ein dynamisches Evaluierungsframework, das von der One-Time-Pad-Verschlüsselung inspiriert ist und ein halbjährlich automatisiertes Benchmark nutzt, das aus aktuellen ArXiv-Artikeln generiert wird, um die durch Datenkontamination und Trainingsverzerrung verursachte Überschätzung durch LLMs zu quantifizieren und zu mindern.

Ursprüngliche Autoren: Zi Liang, Liantong Yu, Shiyu Zhang, Qingqing Ye, Haibo Hu

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zi Liang, Liantong Yu, Shiyu Zhang, Qingqing Ye, Haibo Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Offene-Buch"-Test

Stellen Sie sich vor, Sie sind ein Lehrer, der testen möchte, wie intelligent Ihre Schüler sind. Sie geben ihnen einen standardisierten Mathetest. Doch die Schüler haben sich heimlich die Antworten auf diesen spezifischen Test aus einem Lernleitfaden gemerkt, den sie online gefunden haben.

Wenn sie den Test schreiben, erreichen sie bei den Fragen, die sie auswendig gelernt haben, 100 %. Wenn Sie sie jedoch um ein neues mathematisches Problem bitten, das sie noch nie gesehen haben, könnten sie durchfallen.

Genau das passiert bei Large Language Models (LLMs) (wie der KI, mit der Sie sprechen).

Der Betrug: Viele KI-Modelle werden mit Daten trainiert, die die Antworten auf beliebte Tests (Benchmarks) enthalten, die zur Messung ihrer Intelligenz verwendet werden.
Das Ergebnis: Sie „lernen" oder „schließen" nicht wirklich; sie zitieren lediglich Antworten, die sie bereits gesehen haben. Dies lässt sie intelligenter erscheinen, als sie tatsächlich sind, und führt zu unfairen Vergleichen zwischen verschiedenen KI-Unternehmen.

Die Lösung: ArxivRoll (Der „One-Time-Pad"-Test)

Die Forscher der Polytechnischen Universität Hongkong haben ein neues System namens ArxivRoll entwickelt, um diese Betrüger zu entlarven. Sie ließen sich von einem Konzept aus der Kryptografie inspirieren, dem „One-Time Pad".

Die Analogie: Der Einweg-Geheimschlüssel
In der Kryptografie ist ein „One-Time Pad" ein geheimer Schlüssel, der zur Verschlüsselung einer Nachricht verwendet wird. Die Regel lautet: Verwenden Sie den Schlüssel einmal und werfen Sie ihn dann weg. Wenn Sie denselben Schlüssel zweimal verwenden, ist das Geheimnis kompromittiert.

ArxivRoll wendet diese Regel auf Tests an:

Frische Zutaten: Anstatt alte, statische Testfragen zu verwenden, generieren sie alle sechs Monate neue Tests unter Verwendung brandneuer Forschungsarbeiten von ArXiv (eine Website, auf der Wissenschaftler ihre neuesten, unveröffentlichten Arbeiten veröffentlichen).
Der „ungesehene" Test: Da diese Arbeiten so neu sind, hat keine KI sie während ihres Trainings je gesehen. Es ist, als würde man einem Schüler einen Test basierend auf einem Buch geben, das erst gestern gedruckt wurde.
Verwenden und Wegwerfen: Sobald der Test vorbei ist, werden die Antworten veröffentlicht, damit jeder die Arbeit überprüfen kann, aber die spezifischen Testfragen werden als „abgelaufen" markiert und nie wieder verwendet. Dies stellt sicher, dass keine zukünftige KI sie auswendig lernen kann.

Wie der Test funktioniert: Das „Lückentext"-Spiel

Um diese Tests automatisch zu erstellen (ohne dass Menschen Tausende von Fragen schreiben müssen), verwenden sie eine Methode namens SCP (Sequencing, Cloze, and Prediction). Denken Sie daran als eine hochentwickelte Version von „Mad Libs" oder einem Puzzle:

Sequencing: Die KI erhält einen Absatz, in dem die Sätze wie ein Kartendeck durcheinander gewürfelt sind. Sie muss sie in die richtige Reihenfolge bringen.
Cloze: Die KI erhält einen Absatz, bei dem einige Sätze fehlen (maskiert). Sie muss den richtigen Satz aus einer Liste von Optionen auswählen, um die Lücke zu füllen.
Prediction: Die KI liest eine Geschichte und muss raten, was der allererste nächste Satz sein wird, und wählt aus vier verschiedenen Optionen.

Da diese Fragen zufällig aus frischem Text generiert werden, kann die KI das Muster nicht einfach „auswendig lernen"; sie muss tatsächlich die Logik verstehen.

Das Ergebnisblatt: „Rugged Scores"

Das Papier stellt eine neue Methode zur Bewertung dieser Modelle vor, die Rugged Scores (RS) genannt wird. Stellen Sie sich vor, Sie bewerten einen Läufer:

Öffentlicher Score: Wie schnell er auf der Bahn läuft, auf der er trainiert hat (die alten, kontaminierten Tests).
Privater Score: Wie schnell er auf einem brandneuen, unbekannten Pfad läuft (der ArxivRoll-Test).

Der Rugged Score misst die Lücke zwischen diesen beiden.

Niedriger Rugged Score: Der Läufer lief auf beiden Strecken ähnlich schnell. Er ist tatsächlich fit.
Hoher Rugged Score: Der Läufer war auf der Trainingsstrecke superschnell, aber langsam auf dem neuen Pfad. Das bedeutet, er hat „betrügt", indem er die Trainingsstrecke auswendig gelernt hat.

Was sie fanden

Die Forscher testeten viele beliebte KI-Modelle (wie Llama, Qwen, GPT und Claude) mit diesem neuen System.

Die „Überschätzung" ist real: Viele Modelle, die auf öffentlichen Ranglisten wie Genies wirkten, fielen bei den Tests auf den frischen, privaten ArxivRoll-Tests erheblich in der Rangliste zurück.
Einige Modelle sind „übertrainiert": Sie stellten fest, dass einige Modelle speziell darauf abgestimmt waren, bestimmte Arten von Fragen (wie Mathematik oder Finanzen) zu meistern, bei anderen jedoch kläglich versagten. Es ist wie ein Schüler, der nur für das Geschichtsfinale gelernt hat, aber beim Wissenschaftsquiz durchfällt.
Die Lücke ist riesig: Bei einigen Modellen war der Unterschied zwischen ihrem „öffentlichen Score" und „privaten Score" enorm, was beweist, dass ein großer Teil ihrer gemeldeten Intelligenz tatsächlich nur Auswendiglernen war.

Zusammenfassung

Das Papier argumentiert, dass wir durch KI-Benchmarks getäuscht wurden. Durch die Verwendung eines Systems, das seine Fragen ständig mit brandneuen, ungesichteten Forschungsarbeiten aktualisiert (ArxivRoll) und die Lücke zwischen alten und neuen Tests misst (Rugged Scores), können sie erkennen, wie viel von der „Intelligenz" einer KI echt ist und wie viel nur Betrug ist. Es ist eine Möglichkeit sicherzustellen, dass, wenn wir sagen, eine KI sei intelligent, sie es tatsächlich ist und nicht nur gut darin, den Test auswendig zu lernen.

Technische Zusammenfassung: ArxivRoll – Benchmarking von Überschätzungen im Rahmen des One-Time-Pad-Prinzips

1. Problemstellung

Die Evaluation von Large Language Models (LLMs) steht vor einer kritischen Herausforderung: der Überschätzung von Fähigkeiten aufgrund von Datenkontamination und verzerrtem Übertraining.

Datenkontamination: Testproben aus öffentlichen Benchmarks (z. B. MMLU, GSM8K) werden oft unbeabsichtigt oder absichtlich in die Vor-Trainings- oder Fine-Tuning-Datensätze von LLMs aufgenommen. Dies ermöglicht es Modellen, Antworten auswendig zu lernen, anstatt echtes Schlussfolgern zu demonstrieren, was zu aufgeblähten Leistungsmetriken führt.
Verzerrtes Übertraining: Entwickler optimieren Modelle möglicherweise strategisch für spezifische Benchmark-Domänen, vernachlässigen dabei andere und erzeugen so eine Illusion umfassender Fähigkeiten.
Grenzen bestehender Lösungen: Aktuelle Minderungsstrategien, wie private Benchmarks, die von Dritten verwaltet werden (z. B. Chatbot Arena), oder Benchmarks mit symbolischer Formatierung (z. B. GSM-Symbolic), leiden unter mangelnder Transparenz, Reproduzierbarkeit oder einer engen Domänenabdeckung. Darüber hinaus versagen bestehende Methoden darin, das Ausmaß der Überschätzung zu quantifizieren; sie bieten lediglich eine binäre Bestanden/Nicht-bestanden-Aussage oder einen einzelnen Leistungswert, ohne zwischen echter Fähigkeit und Betrug zu unterscheiden.

2. Methodik: Das ArxivRoll-Framework

Die Autoren schlagen ArxivRoll vor, ein dynamisches Evaluierungsframework, das vom Verschlüsselungsprinzip des One-Time-Pad (OTP) in der Kryptographie inspiriert ist. Genau wie OTP einen einzigartigen, geheimen Schlüssel für eine einmalige Verwendung nutzt, um perfekte Geheimhaltung zu gewährleisten, verwendet ArxivRoll einzigartige, private Benchmarks, die „einmalig genutzt" und danach ungültig gemacht werden, um Kontamination zu verhindern.

Kernkomponenten

Das Framework besteht aus zwei primären Mechanismen:

A. SCP (Sequencing, Cloze, und Prediction)

Um frische, vertrauliche Testfälle zu generieren, die LLMs während des Trainings nicht gesehen haben, nutzen die Autoren ArXiv-Preprints, die innerhalb eines bestimmten kürzlichen Zeitfensters (z. B. der letzten sechs Monate) veröffentlicht wurden. Da diese Papers für Modelle, die auf älteren Daten trainiert wurden, konzeptionell unbekannt sind, dienen sie als sichere Quelle für Evaluierungsdaten. Der SCP-Generator automatisiert die Erstellung von Testfällen durch drei objektive Aufgaben:

Sequencing: Sätze aus einem Textfragment werden durcheinandergewürfelt; das Modell muss die korrekte Reihenfolge auswählen.
Cloze: Bestimmte Sätze innerhalb eines Fragments werden maskiert; das Modell muss die korrekten Sätze aus einer Reihe von Kandidaten auswählen, um die Lücken zu füllen.
Prediction: Gegeben ein Kontext und eine korrekte nachfolgende Sequenz muss das Modell die korrekte nächste Sequenz unter Ablenkern identifizieren.

Dieser Prozess stellt sicher, dass die Benchmarks vertraulich (während des Trainings nicht gesehen), schwierig (flexibel und komplex, keine festen Muster), objektiv (Multiple-Choice-Auswahl) und umfassend (abdeckung von acht Domänen: CS, Econ, EESS, Math, Phy, Bio, Fin, Stat) sind.

B. Rugged Scores (RS)

Um Überschätzungen zu quantifizieren, führt das Framework Rugged Scores ein, die die „Rauheit" oder Diskrepanz zwischen der Leistung eines Modells auf öffentlichen Benchmarks versus privaten Benchmarks messen.

RSI (Absolute Rugged Score): Misst die Leistungslücke zwischen einem Modell auf einem öffentlichen Benchmark ( $T_p$ ) und seinem entsprechenden privaten Benchmark ( $T_c$ ) innerhalb derselben Domäne. Ein hoher RSI deutet auf signifikante Kontamination oder Überanpassung an den öffentlichen Benchmark hin.
$RSI = \frac{M(m, T_p) - M(m, T_c)}{M(m, T_p) + M(m, T_c)}$
(Wobei $M$ die Leistungsmetrik ist).
RSII (Biased Overtraining Score): Misst die Varianz der Leistung eines Modells über verschiedene private Benchmarks hinweg. Eine hohe Varianz deutet darauf hin, dass das Modell in bestimmten Domänen übertrainiert ist, während es in anderen unterdurchschnittlich abschneidet.
$RSII = \sqrt{\sum (M(m, T_c) - \bar{M})^2}$

Arbeitsablauf

Generierung: SCP generiert einen neuen privaten Benchmark (ArxivRollBench) aus aktuellen ArXiv-Papers.
Evaluation: LLMs werden sowohl auf öffentlichen Benchmarks als auch auf dem neuen privaten Benchmark evaluiert.
Bewertung: Rugged Scores werden berechnet, um die Überschätzung zu quantifizieren.
Veröffentlichung & Verfall: Der private Benchmark wird öffentlich freigegeben, um Reproduzierbarkeit zu gewährleisten, wird jedoch als „verfallen" markiert, um seine Verwendung in zukünftigen Evaluierungen zu verhindern und so die „einmalige" Sicherheitseigenschaft aufrechtzuerhalten.

3. Hauptbeiträge

Neuartige Benchmark-Konstruktionsstrategie (SCP): Eine automatisierte Methode zur Generierung hochwertiger, herausfordernder und frischer Testfälle aus ArXiv, die Vertraulichkeit gewährleistet und das Risiko von Datenkontamination reduziert.
Quantifizierung von Überschätzungen (Rugged Scores): Die erste Studie, die Metriken (RSI und RSII) vorschlägt, die den Anteil der Überschätzung und des verzerrten Übertrainings explizit messen und damit über eine einfache Leistungsrangliste hinausgehen.
Dynamisches Evaluierungsframework (ArxivRoll): Ein System, das private Benchmarks und Rugged Scores integriert, um eine systematische, transparente und reproduzierbare Evaluation von LLMs zu bieten, einschließlich einer Rangliste, die Überschätzungen berücksichtigt.

4. Experimentelle Ergebnisse

Die Autoren führten umfangreiche Experimente an einer breiten Palette von Open-Source- und Closed-Source-LLMs (einschließlich der Serien Llama, Qwen, Phi, GPT, Claude und Gemini) unter Verwendung von ArxivRollBench2024b durch.

Benchmark-Qualität: Meta-Evaluationen bestätigten, dass die SCP-Generierungsstrategie stabil ist (geringe Standardabweichung über zufällige Seeds) und eine hohe Korrelation (Spearman $\rho \approx 0,76$ ) mit etablierten privaten Benchmarks wie Chatbot Arena aufweist, was ihre Zuverlässigkeit validiert.
Leistung versus Überschätzung:
- Open-Source versus Closed-Source: Einige Open-Source-Modelle (z. B. Kimi-K2) erreichten auf privaten Benchmarks Leistungen, die mit proprietären Modellen vergleichbar waren oder diese sogar übertrafen.
- Erkennung von Überschätzungen: Die Studie deckte signifikante Überschätzungen bei mehreren Modellen auf. So wiesen die Serien Qwen und Phi in einigen Fällen RSI-Werte von über 100 % auf, was darauf hindeutet, dass ihre öffentlichen Benchmark-Scores stark durch Kontamination aufgebläht waren.
- Verzerrtes Übertraining: Modelle wie Llama-3.1-Nemotron-70B zeigten hohe RSII-Werte, was auf eine ungleiche Leistung über verschiedene Domänen hinweg hindeutet, die durch ihre hohen durchschnittlichen öffentlichen Scores maskiert wurde.
- Kleine Sprachmodelle (SLMs): Modelle wie Phi-3-mini zeigten trotz Behauptungen hoher Fähigkeiten eine schlechte Leistung auf privaten Benchmarks, was darauf hindeutet, dass ihre öffentlichen Scores möglicherweise übertrieben dargestellt werden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ArxivRoll die fundamentalen Grenzen der aktuellen LLM-Evaluation adressiert durch:

Gewährleistung von Frische: Durch die Verwendung eines „One-Time-Pad"-Ansatzes mit dynamischen, zeitgebundenen Benchmarks wird das Risiko von Datenkontamination effektiv gemindert.
Bereitstellung von Transparenz: Im Gegensatz zu „Black-Box"-privaten Ranglisten veröffentlicht ArxivRoll die Benchmarks nach der Evaluation, was eine vollständige Reproduzierbarkeit ermöglicht.
Quantifizierung von Integrität: Es verlagert den Fokus von „wie gut ein Modell performt" auf „wie viel von dieser Leistung echt ist" und bietet so eine ehrlichere Einschätzung der Modellfähigkeiten.

Die Autoren schließen, dass, obwohl verschiedene robuste Evaluierungsmethoden existieren, ArxivRoll eine einzigartige Kombination aus dynamischer Generierung, Transparenz und quantitativen Metriken zur Überschätzung bietet und somit ein notwendiges Instrument für die faire und zuverlässige Bewertung von LLMs in einer Ära weit verbreiteter Datenkontamination darstellt.