💬 NLP

Beyond pass@k: Redundancy-Aware RLVR for Multi-Sample Code Generation

Dieser Beitrag identifiziert, dass standardmäßige korrektheitsfokussierte Reinforcement Learning mit Verifizierern (RLVR) zu redundanten Code-Generierungen führt, und schlägt einen redundanzbewussten RLVR-Ansatz vor, der auf JPlag-basierten Antiredundanz-Belohnungen beruht und die Leistung der Code-Generierung unter begrenztem Budget durch die Aufrechterhaltung diverser Kandidatenlösungen signifikant verbessert.

Ursprüngliche Autoren: Le Bronnec Florian, Alexandre Verine, Rio Yokota, Benjamin Negrevergne

Veröffentlicht 2026-05-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Le Bronnec Florian, Alexandre Verine, Rio Yokota, Benjamin Negrevergne

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Programmierern ein, um ein einziges, kniffliges Codierungs-Rätsel zu lösen. Sie haben ein begrenztes Budget: Sie können nur 10 Lösungen anfordern (dies ist Ihr „Sampling-Budget"). Ihr Ziel ist einfach: Sie benötigen nur, dass eine dieser 10 Lösungen perfekt funktioniert.

In der Welt der KI nennt man dies Pass@k (Pass at k). Wenn Sie eine KI bitten, 10-mal Code zu schreiben und mindestens einer dieser 10 Versuche funktioniert, haben Sie gewonnen.

Das Problem: Das „Kopier"-Team

Die Studie entdeckt einen versteckten Fehler darin, wie aktuelle KI-Modelle trainiert werden, um dieses Spiel zu gewinnen.

Wenn Forscher KI trainieren, um besser im Codieren zu werden, belohnen sie sie üblicherweise nur dafür, die richtige Antwort zu erhalten. Die KI lernt schnell einen Abkürzungsweg: „Wenn ich exakt denselben korrekten Code 10-mal schreibe, erhalte ich jedes Mal eine Belohnung."

Daher wird die KI zu einem Kopierer. Statt 10 verschiedene Wege zu versuchen, das Problem zu lösen (wie etwa einen Hammer, einen Schraubenzieher oder einen Schraubenschlüssel zu verwenden), wählt sie eine erfolgreiche Methode aus und kopiert sie einfach 10-mal.

Das Ergebnis: Wenn diese eine Methode einen winzigen Fehler enthält, scheitern alle 10 Kopien. Sie haben Ihr Budget an Duplikaten verschwendet.
Das Werkzeug der Studie: Um dies aufzudecken, verwenden die Autoren ein Werkzeug namens JPlag. Denken Sie an JPlag als einen „Plagiatsdetektor" für Code. Es ist ihm egal, ob Sie die Textfarbe geändert oder eine Variable umbenannt haben; es betrachtet die Struktur des Codes. Wenn zwei Programme auf die gleiche Weise aufgebaut sind, sagt JPlag: „Das sind fast identische Duplikate."

Die Lösung: Der „Anti-Redundanz"-Trainer

Die Autoren stellten eine einfache Frage: Was wäre, wenn wir die KI nicht nur darauf trainieren würden, korrekt zu sein, sondern auch, sich von ihren vorherigen Versuchen zu unterscheiden?

Sie führten eine neue Trainingsmethode namens Redundancy-Aware RLVR ein.

Die Analogie: Stellen Sie sich einen Trainer vor, der einem Team von 10 Läufern sagt: „Ihr müsst alle das Rennen beenden. Aber hier ist die Regel: Wenn zwei von euch exakt denselben Weg laufen, erhalten beide eine Strafe. Ihr müsst einzigartige Routen zum Ziel finden."
Wie es funktioniert: Die KI wird weiterhin für das Schreiben von korrektem Code belohnt. Aber jetzt erhält sie auch eine „Strafe" (oder eine negative Belohnung), wenn sie ein Code-Stück generiert, das einem anderen, das sie gerade geschrieben hat, zu ähnlich sieht.

Die Ergebnisse: Bessere Teamarbeit

Als sie diesen neuen „Anti-Redundanz-Trainer" gegen den alten „Kopier-Trainer" testeten, waren die Ergebnisse klar:

Weniger Verschwendung: Die neue KI hörte auf, dieselbe Lösung zu spammen. Sie generierte eine viel größere Vielfalt an korrektem Code.
Höhere Erfolgsquote: Da das Team verschiedene Ansätze versuchte, war es viel wahrscheinlicher, dass sie innerhalb des begrenzten Budgets von 10 Versuchen eine funktionierende Lösung fanden.
Die Experten schlagen: Dieser einfache Trick „kopiere dich nicht selbst" funktionierte genauso gut oder sogar besser als komplexe, spezialisierte Methoden, die Forscher zuvor speziell entwickelt hatten, um dieses spezifische Problem zu lösen.

Das Fazit

Die Studie argumentiert, dass wir, wenn wir eine KI bitten, mehrmals versucht, ein Problem zu lösen, nicht nur darauf achten sollten, wie oft sie die richtige Antwort erhält. Wir müssen auch darauf achten, auf wie viele verschiedene Arten sie versucht, dorthin zu gelangen.

Indem wir die KI daran schulen, kein Kopierer zu sein, machen wir ihre begrenzten Versuche viel wertvoller. Es ist der Unterschied zwischen dem Bitten eines Freundes um 10 Versuche für ein Passwort, bei dem alle „123456" raten, und dem Bitten, 10 völlig verschiedene Zahlen zu raten. Der zweite Ansatz hat eine viel höhere Wahrscheinlichkeit zum Erfolg.

Technische Zusammenfassung: Beyond Pass@k: Redundanzbewusstes RLVR für die Mehrfach-Code-Generierung

Problemstellung

Large Language Models (LLMs) zur Code-Generierung werden typischerweise in Szenarien mit wiederholter Stichprobenziehung unter Verwendung der Metrik Pass@k bewertet, welche die Wahrscheinlichkeit misst, dass mindestens eines von $k$ Stichprobenprogrammen die Unit-Tests besteht. Während neuere verifikatorbasierte Reinforcement-Learning-Methoden (RLVR) die ausführbare Korrektheit durch Optimierung gegenüber Test-Feedback erfolgreich verbessert haben, bleibt das Verhalten dieser Modelle hinsichtlich der Implementierungsebene-Redundanz schlecht verstanden.

Das behandelte Kernproblem besteht darin, dass Standard-RL-Ziele (Optimierung auf isolierte Korrektheit) und Pass@k-bewusste Ziele (Optimierung auf Gruppenerfolg) qualitativ unterschiedliche Generierungsverhalten induzieren können. Insbesondere ist unklar, ob Leistungsgewinne unter einem begrenzten Stichprobenbudget aus der Entdeckung diverser, unterschiedlicher Implementierungsmuster resultieren oder aus einer Konzentration der Generierungen um eine schmale Menge an fast-identischen Lösungen. Aktuelle Metriken wie Pass@k unterscheiden nicht zwischen diesen beiden Szenarien und verdecken möglicherweise einen Mangel an Vielfalt, der die Leistung bei größeren Stichprobenbudgets ( $k$ ) einschränken könnte.

Methodik

1. Redundanzdiagnostik: JPlag

Zur Quantifizierung der Implementierungsredundanz verwenden die Autoren JPlag, ein für Code entwickeltes Plagiatserkennungssystem. Im Gegensatz zu lexikalischen Überlappungsmetriken (z. B. n-Gramme), die empfindlich auf oberflächliche Änderungen (Variablenumbenennung, Formatierung) reagieren, nutzt JPlag sprachbewusste Tokenisierung und Abgleichverfahren, um strukturelle Ähnlichkeiten zu erkennen.

Metrik: Die Arbeit definiert JPlag-Vielfalt (JDiv) als $1 - \text{mittlere paarweise Ähnlichkeit}$ . Ein höherer JDiv-Wert weist auf geringere Redundanz hin.
Nützlichkeit: JPlag dient als Diagnosewerkzeug, um zu analysieren, wie verschiedene RL-Ziele das Stichprobenbudget nutzen, und als Grundlage für ein neues Trainingssignal.

2. Baseline-RLVR-Ziele

Die Studie vergleicht drei bestehende Ansätze:

Base-RLVR (Nur Korrektheit): Weist für jede korrekte Stichprobe innerhalb einer Gruppe additive Belohnungen zu. Das Gutschrift wird unabhängig für erfolgreiche Generierungen vergeben.
Pass@k-RLVR: Verwendet eine Gruppenbelohnung, bei der der Erfolg davon abhängt, ob mindestens eine Stichprobe in der Gruppe korrekt ist. Die Gutschrift erfolgt über einen „Leave-One-Out"-Vorteil, der Stichproben belohnt, die den Erfolgsstatus der Gruppe ändern.
PKPO (Pass@k Policy Optimization): Erweitert Pass@k-Prinzipien auf Gruppen, die größer als $k$ sind, indem es Leave-One-Out-Vorteile über alle $k$ -Teilmengen mittelt.

3. Vorgeschlagene Methode: JPlag-RLVR

Die Autoren schlagen ein redundanzbewusstes RLVR-Ziel vor, das Standard-Belohnungen für ausführbaren Code um ein direktes Anti-Redundanz-Signal erweitert.

Belohnungsfunktion: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$ $R (x, Y^{(n)}) = R_{corr} (x, Y^{(n)}) + λ_{div} R_{div} (x, Y^{(n)})$ .
- $R_{\text{corr}}$ ist die Standard-Belohnung für Korrektheit.
- $R_{\text{div}}$ ist eine skalare Anti-Redundanz-Belohnung, die aus der JPlag-Ähnlichkeit abgeleitet wird (speziell der Kehrwert der mittleren paarweisen Ähnlichkeit).
Gutschrift: Um sicherzustellen, dass das Trainingssignal von dem marginalen Beitrag einer Stichprobe zur Vielfalt der Gruppe abhängt, verwenden die Autoren eine Leave-One-Out-Vorteils-Konstruktion für die Vielfaltskomponente. Eine Stichprobe erhält einen positiven Vorteil, wenn ihre Einbeziehung die Redundanz der Gruppe verringert, und einen negativen Vorteil, wenn sie bestehende Generierungen dupliziert.
Implementierung: Die Methode wird auf drei Modelle (Qwen3-4B, Qwen3-8B, Olmo3-7B) und drei Benchmarks (MBPP, Code-Contest, TACO-Cobalt) angewendet.

Hauptergebnisse

1. Analyse bestehender Ziele

Nur-Korrektheit-RLVR: Obwohl diese Methode Pass@1 verbessert, erhöht sie systematisch die Redundanz. Die Trainingsdynamik zeigt, dass mit steigendem Pass@1 die JPlag-Vielfalt abnimmt, was darauf hindeutet, dass sich das Modell auf eine schmale Menge an fast-identischen Implementierungen konzentriert.
Pass@k-bewusste Ziele: Diese Methoden (Pass@k-RLVR, PKPO) halten implizit eine geringere Redundanz und eine höhere JPlag-Vielfalt im Vergleich zu Baselines mit nur Korrektheit aufrecht. Sie neigen dazu, die Leistung bei größeren Budgets (Pass@10, Pass@100) signifikant stärker zu verbessern, indem sie ein breiteres Spektrum an Implementierungsmustern abdecken.

2. Leistung von JPlag-RLVR

Gewinne bei begrenztem Budget: Die direkte Abschreckung von fast-identischen Generierungen durch JPlag-RLVR verbessert zuverlässig die ausführbare Leistung bei begrenztem Budget. Über Modelle und Benchmarks hinweg entspricht sie oft oder übertrifft spezialisierte Pass@k-bewusste Ziele.
- Beispiel: Auf MBPP mit Qwen3-8B verbesserte JPlag-RLVR Pass@1 von 79,1 auf 90,0 und Pass@10 von 88,0 auf 98,5, während gleichzeitig die JPlag-Vielfalt von 0,305 auf 0,927 stieg.
Optimierung des Trade-offs: Die Methode erreicht einen überlegenen Trade-off und verschiebt Modelle im Raum Leistung-Redundanz „nach oben und rechts" (höherer Pass@k, höherer JDiv) im Vergleich zu Baselines.
Robustheit: Die Verbesserungen bestehen über verschiedene Zufallssamen hinweg und werden nicht von wenigen Ausreißeraufgaben getrieben. Die Gewinne sind über die Prompts verteilt.

3. Ablationsstudien

Nicht nur Entropie: Eine Erhöhung der Sampling-Temperatur verbessert Pass@100, verschlechtert jedoch Pass@1 und erzielt geringere Gewinne als ein explizites Anti-Redundanz-Training.
Nicht nur Ausführlichkeit: Die Gewinne werden nicht durch längere Completions oder oberflächliche Textvariationen verursacht; die Längen des ausführbaren Codes bleiben über die Methoden hinweg vergleichbar.
Korrektheit ist essenziell: Das Training nur mit Vielfaltsbelohnungen (ohne Korrektheit) erhöht zwar JDiv, führt jedoch zum Zusammenbruch der ausführbaren Leistung. Das Anti-Redundanz-Signal muss mit der Verifikator-Belohnung gepaart werden.
Signalspezifität: Während einfache lexikalische (1-Gramm) Vielfaltsbelohnungen einige Verbesserungen bieten, liefern JPlag-basierte Belohnungen die stärksten Ergebnisse. Dies deutet darauf hin, dass eine strukturaware Ähnlichkeit für Code ein wirksameres Signal zur Reduzierung wiederholter Implementierungen ist als oberflächliche Variationen.

Bedeutung und Behauptungen

Die Arbeit behauptet, Implementierungsredundanz sowohl als kritische Diagnose als auch als praktisches Optimierungsziel für die Code-Generierung mit wiederholter Stichprobenziehung zu identifizieren.

Diagnostischer Wert: Die Studie zeigt, dass Modelle, die auf ähnliche ausführbare Ergebnisse optimieren, völlig unterschiedliche Redundanzstrukturen aufweisen können. Nur-Korrektheit-RLVR neigt dazu, Generierungen zu konzentrieren, während Pass@k-bewusste Ziele natürlich Vielfalt fördern.
Optimierungsziel: Die Autoren zeigen, dass die explizite Bestrafung fast-identischer Generierungen über JPlag-Ähnlichkeit eine einfache, aber wirksame Intervention ist. Sie verbessert die Leistung bei begrenztem Budget, ohne komplexe Gutschriftsschemata zu erfordern oder sich auf oberflächliche Output-Variationen zu verlassen.
Praktische Implikation: Die Code-Generierung mit begrenztem Budget sollte nicht ausschließlich durch marginale Korrektheit verstanden werden. Wie ein Modell sein Stichprobenbudget über verschiedene Implementierungsmuster verteilt, ist ein Schlüsselfaktor für die Maximierung der Pass@k-Leistung.

Die Autoren bleiben hinsichtlich der Einschränkungen bescheiden und weisen darauf hin, dass JPlag eine approximative Maßzahl für strukturelle Ähnlichkeit und kein semantisches Äquivalenz-Orakel ist und dass ihre Experimente auf bestimmte Open-Weight-Modelle und Benchmarks für Wettbewerbsprogrammierung mit kurzer Zeitspanne beschränkt sind. Sie behaupten nicht, dass die Methode alle Vielfaltsprobleme in der Code-Generierung löst, sondern heben ihre Wirksamkeit im spezifischen Kontext verifikatorbasierten RL hervor.