Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation
Dieses Paper führt ein „Compete-then-Collaborate“-Framework ein, bei dem Frontier-KI-Modelle mittels ausführungsbasierter Verifizierung gerankt werden, um gemeinsam ein Curriculum zu konstruieren, das, wenn es für Reinforcement Learning mit verifizierbaren Belohnungen verwendet wird, die Leistung eines Programmier-Schülers bei schwierigen Problemen signifikant verbessert, während traditionelles Imitation Learning auf denselben Lösungen diese verschlechtert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Programmier-Klassenzimmer vor, in dem vier Superstar-Lehrer von verschiedenen Tech-Giganten – nennen wir sie die Anthropic-, OpenAI-, xAI- und Google-Squads – engagiert wurden, um einen einzigen, sehr klugen Schüler (ein Modell namens Qwen2.5-Coder) zu unterrichten. Das Ziel? Zu sehen, welcher Lehrer der Beste ist und wie man ihre Lektionen kombiniert, um den Schüler zu einem Programmier-Magier zu machen.
Die Forscher richteten ein riesiges, hochkarätiges Programmier-Turnier ein. Anstatt die Lehrer die Arbeit der anderen bewerten zu lassen (was oft dazu führt, dass sie sich gegenseitig eine Eins plus geben, nur weil sie befreundet sind), setzten sie einen strengen, roboterhaften Schiedsrichter ein: den Computer selbst. Wenn der vom Lehrer geschriebene Code tatsächlich lief und die versteckten Tests bestand, war es ein Sieg. Wenn er abstürzte, war es eine Niederlage.
Das Turnier: Wer ist der beste Lehrer?
Zuerit traten die Lehrer in zwei Arten von Herausforderungen gegeneinander an:
- Das einfache Zeug: Standardmäßige Programmieraufgaben. Hier waren alle vier Lehrer so gut, dass sie nach einer kurzen „Selbstkorrektur“ (eine zweite Chance, Fehler zu beheben) fast perfekte 99–100 % erreichten. Der Bericht legt nahe, dass dies nicht daran liegt, dass sie alle gleichermaßen Genies sind, sondern dass sie alle diese spezifischen Probleme bereits aus ihren Trainingsdaten kennen. Es ist, als würde ein Schüler eine Übungsprüfung bestehen, die er bereits auswendig gelernt hat.
- Das schwere Zeug: Knifflige Aufgaben auf Wettbewerbsniveau. Hier zeigten sich die eigentlichen Unterschiede.
- Gemini übernahm die Führung und löste 77 % der schweren Probleme.
- Claude und Codex (OpenAI) lagen Kopf an Kopf, beide lösten 69 %.
- Grok lag mit 50 % zurück.
Der Bericht weist vorsichtig darauf hin, dass Gemini zwar führte, der Abstand aber nicht massiv war, und dass das Ranking strikt darauf basiert, was der Code tat, nicht was die Lehrer darüber sagten.
Die große Überraschung: Kopieren der Lehrer schadet tatsächlich
Hier kommt der Twist, der die üblichen Regeln der Schule bricht. Normalerweise denkt man, wenn man eine Gruppe smarter Lehrer hat, sei der beste Weg zu lernen, deren Hausaufgaben zu kopieren. Die Forscher versuchten dies: Sie nahmen den verifizierten, funktionierenden Code aller Lehrer und ließen das Schüler-Modell ihn einfach imitieren (eine Methode namens SFT).
Das Ergebnis? Der Schüler wurde schlechter.
- Bei Standardtests sank die Punktzahl des Schülers von 76,7 % auf 72,7 %.
- Bei den schweren Wettbewerbsproblemen stürzte sie von 5,9 % auf 2,9 % ab.
Der Bericht argumentiert, dass für einen Schüler, der bereits kompetent ist, das bloße Kopieren der Antworten nicht hilft; es verwirrt ihn sogar. Es ist, als würde ein talentierter Basketballspieler versuchen zu lernen, indem er die Highlight-Reels von vier verschiedenen Profis anschaut, und dann versucht, deren Züge gleichzeitig nachzuahmen – das bringt seinen eigenen Rhythmus durcheinander. Der „Wissenskonflikt“, zu versuchen, jemand anderes zu sein, machte sie schlechter darin, sie selbst zu sein.
Die Gewinnstrategie: Lernen durch Tun, nicht durch Kopieren
Wenn also das Kopieren fehlschlägt, was funktioniert dann? Die Forscher probierten einen anderen Ansatz namens RLVR (Reinforcement Learning with Verifiable Rewards – Reinforcement Learning mit verifizierbaren Belohnungen).
Anstatt dem Schüler die fertigen Antworten der Lehrer zum Kopieren zu geben, nutzten sie die verifizierten Probleme der Lehrer als Übungsfeld. Dem Schüler wurde erlaubt, die Probleme eigenständig zu lösen.
- Wenn der Code des Schülers lief und die Tests bestand, erhielt er eine „Belohnung“ (ein High-Five vom Computer).
- Wenn er scheiterte, erhielt er keine Belohnung und musste es erneut versuchen.
Das funktionierte!
- Die Punktzahl des Schülers bei den schweren Wettbewerbsproblemen sprang von 5,9 % auf 8,8 % an ihrem Höhepunkt.
- Das ist eine relative Verbesserung von 49 %.
Der Bericht legt nahe, dass der Wert, mehrere Lehrer zu haben, nicht darin besteht, deren Antworten zu sammeln, damit der Schüler sie kopiert, sondern um einen massiven, verifizierten „Fitnessraum“ aufzubauen, in dem der Schüler lernt, indem er die Arbeit selbst erledigt und Feedback erhält, ob es tatsächlich funktioniert.
Das Fazament
Der Bericht kommt zu dem Schluss, dass wir diese KI-Lehrer zwar danach bewerten können, wie gut ihr Code läuft, aber die wahre Magie geschieht, wenn wir aufhören, den Schüler dazu zu bringen, die Lehrer zu imitieren, und stattdessen die Arbeit der Lehrer nutzen, um eine herausfordernde Umgebung zu schaffen, in der der Schüler durch Versuch und Irrtum lernt.
Es geht nicht darum, den klügsten Lehrer im Raum zu haben; es geht darum, einen Spielplatz zu bauen, auf dem der Schüler üben, scheitern, ein klares Signal erhalten, was schiefgelaufen ist, und es wieder versuchen kann, bis er Erfolg hat. Die Forscher haben all ihren Code und ihre Daten veröffentlicht, damit jeder diese Tests selbst durchführen und sehen kann, dass die Zahlen Bestand haben – ein Beweis dafür, dass der beste Weg zu lernen manchmal darin besteht, aufzuhören zu kopieren und stattdessen anzufangen, selbst zu handeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.