RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications
's ist ein Repository-Ebene-Agenten-Coding-Benchmark, der 25 nativ verfasste russische Aufgabenstellungen aus Live-Open-Source-Projekten umfasst, konzipiert zur Evaluierung produktionsreifer Coding-Agenten bei realer Wartungsarbeit, während gleichzeitig die Resistenz gegen Datenkontamination sichergestellt und kritische Einblicke in das Verhalten eingesetzter Systeme durch rigorose statistische Analysen und Trajektorien-Auditing ermöglicht werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von Experten für Mechanik ein, um eine Flotte komplexer, maßgeschneiderter Rennwagen zu reparieren. Bis jetzt wurden die meisten Tests für diese Mechaniker in perfektem, formalem Englisch verfasst, wie in einem technischen Handbuch. Aber in der realen Welt sprechen Kunden nicht wie Handbücher; sie sprechen wie Menschen. Sie sagen Dinge wie: „Mein Auto fing an zu wackeln, jedes Mal, wenn ich an einem regnerischen Dienstag auf die Bremsen trat“, in ihrer eigenen Muttersprache.
RuBench ist ein neuer Test, um zu sehen, ob KI-Coding-Assistenten tatsächlich in der Lage sind, diese chaotischen, realen Kundenanfragen zu verstehen, wenn diese auf Russisch verfasst sind, nicht auf Englisch.
Hier ist eine Aufschlüsselung, wie der Test funktioniert, was passiert ist und die überraschende Wendung, die die Forscher fanden, unter Verwendung einfacher Analogien.
1. Der Test: Eine „echte“ Werkstatt
Die meisten bisherigen Tests gaben KI-Agenten eine saubere, englische Beschreibung eines Fehlers. RuBench ist anders:
- Die Autos: Der Test verwendet fünf echte, populäre Open-Source-Softwareprojekte (wie
aiohttpoderLaravel). Dies sind keine künstlichen Rätsel; es sind lebendige Codebasen, die von Tausenden von Entwicklern genutzt werden. - Die Anfragen: Anstatt eines formellen Fehlerberichts haben die Forscher 25 neue Anfragen von Grund auf neu in russischer Sprache verfasst. Diese klingen wie ein Geschäftsinhaber, der sich bei einem Auftragnehmer beschwert: „Der Bot stürzt ab, wenn wir ihn zum Admin machen; reparieren Sie das, aber zerschlagen Sie dabei nicht die bestehenden Chats.“
- Die Black Box: Die Forscher haben den „Lösungsschlüssel“ (die eigentliche Code-Korrektur und die Tests, die beweisen, dass sie funktioniert) versteckt. Die KI muss die Lösung selbst herausfinden. Nur die Forscher besitzen den Schlüssel, um zu prüfen, ob die KI erfolgreich war.
- Aktualität: Alle Fehler wurden in Code-Updates gefunden, die erst nach dem Training der KI-Modelle erstellt wurden. Dies stellt sicher, dass die KI die Antwort nicht einfach aus ihren Trainingsdaten auswendig gelernt haben konnte.
2. Die Mechaniker: Wer hat den Job erledigt?
Die Forscher haben vier verschiedene „Mechaniker-Teams“ (Kombinationen aus Softwarewerkzeugen und KI-Modellen) getestet. Sie ließen jedes Team die 25 Reparaturen dreimal durchlaufen, um zu sehen, wie konsistent sie waren.
- Der Star-Performer: Das Team, das Claude Code mit dem „Opus 4.8“-Modell verwendete, war das beste. Es konnte etwa 79 % der Probleme lösen.
- Das Mittelfeld: Das „Sonnet 5“-Modell war fast genauso gut (75 %), und das „GPT-5.5“-Modell (via Codex CLI) reparierte etwa 67 %.
- Der kämpfende Mechaniker: Das „Haiku 4.5“-Modell (eine günstigere, schnellere Version) löste nur etwa 53 % der Aufgaben.
Der Haken: Da es nur 25 Aufgaben gab, war der Unterschied zwischen den Top-drei-Teams statistisch nicht „bewiesen“ echt – es könnte auch einfach Glück sein. Der Abstand zwischen den Top-Teams und dem kämpfenden Haiku-Modell war jedoch riesig und deutlich. Die Top-Teams lösten eine völlig andere Klasse von Problemen als das untere Modell.
3. Die große Überraschung: Die „stille Substitution“
Dies ist der interessanteste Teil der Arbeit. Die Forscher testeten auch ein fünftes Team mit einem brandneuen Modell namens Fable 5.
Als sie die „Black Box“-Protokolle dessen untersuchten, was die KI tat, entdeckten sie ein Geheimnis:
- Bei 20 % der Aufgaben hat das Fable 5-Modell die Arbeit gar nicht selbst erledigt.
- Stattdessen hat das Softwareprodukt (Claude Code) Fable 5 im laufenden Betrieb stillschweigend gegen das ältere, stärkere Opus 4.8 ausgetauscht.
- Warum? Fable 5 verfügt über sehr strenge Sicherheitsvorkehrungen. Als es eine Aufgabe sah, die Standard-Internetprotokolle betraf (wie das Reparieren eines Web-Headers), wurde die Sicherheitskontrolle nervös und sagte: „Ich darf das nicht anfassen“, und das System übergab den Job automatisch an Opus 4.8, um ihn zu beenden.
Die Lektion: Die Forscher erkannten, dass wir bei der Testung von KI-Produkten nicht nur das „Gehirn“ (das Modell) testen, sondern den „Körper“ (das gesamte Softwarepaket). Wenn die Software das Gehirn mitten in der Aufgabe heimlich austauscht, lügen die Testergebnisse darüber, was dieses spezifische Gehirn leisten kann.
4. Das Urteil
- Erfolg: Produktreife KI-Agenten sind bereits gut genug, um echte Wartungsarbeiten zu bewältigen, die in einer nicht-englischen Sprache (Russisch) spezifiziert sind. Das beste Setup löste fast 8 von 10 Aufgaben.
- Realitätscheck: Die „billigen“ Modelle (wie Haiku) sind immer noch signifikant schwächer und lösen nur etwa die Hälfte der Probleme.
- Methodik: Die Arbeit beweist, dass wir, um ehrliche Ergebnisse zu erhalten, das gesamte „Tagebuch“ (Trajektorie) der KI beobachten müssen, um sicherzustellen, dass sie nicht geschummelt hat, indem sie das Modell getauscht oder Antworten online nachgeschlagen hat.
Kurz gesagt zeigt RuBench, dass KI immer besser darin wird, „Mensch“ zu sprechen (auf Russisch), aber es hat auch enthüllt, dass die Software, die diese KIs umschließt, manchmal hinterhältig sein kann, indem sie den Arbeiter ohne Vorwarnung gegen einen besseren austauscht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.