🤖 AI

Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning

Seirênes ist ein adversariales Self-Play-Reinforcement-Learning-Framework, das die Robustheit der LLM-Argumentation verbessert, indem es ein einzelnes Modell so trainiert, dass es gleichzeitig ablenkende Kontexte generiert und Probleme innerhalb dieser löst, wodurch kontextuelle Interferenz in ein ko-evolutionäres Curriculum verwandelt wird, das die Leistung über verschiedene Benchmarks hinweg verbessert und Schwachstellen in anderen Modellen aufdeckt.

Ursprüngliche Autoren: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen brillanten, aber leicht naiven Schüler, um komplexe mathematische Rätsel zu lösen. Normalerweise geben Sie ihm saubere, perfekte Aufgaben ohne Ablenkungen. Er wird gut darin, diese spezifischen Rätsel zu lösen, doch wenn Sie ein wenig verwirrende Information in die Frage einstreuen, könnte er getäuscht werden und scheitern.

Die Arbeit stellt eine neue Trainingsmethode namens Seirênes vor (benannt nach den Sirenen der griechischen Mythologie, deren schöne Gesänge Seeleute vom Kurs abgebracht haben). Anstatt dem Schüler einfach schwierigere Probleme zu geben, verwandelt Seirênes den Schüler in zwei verschiedene Personen, die innerhalb desselben Gehirns ein Spiel gegeneinander spielen.

So funktioniert das Spiel, unter Verwendung einfacher Analogien:

Die zwei Rollen

Das KI-Modell spielt gleichzeitig zwei Rollen:

Der Trickser (der Adversary): Diese Rolle versucht, ein mathematisches Problem zu formulieren, das normal aussieht, aber eine „Falle" enthält. Die Falle ist kein zufälliger Unsinn; es ist ein cleverer, plausibel klingender Hinweis, der den Löser auf einen falschen Weg führt. Denken Sie daran wie an einen Zauberer, der Ihnen einen Hinweis gibt, der fast Sinn ergibt, Sie aber tatsächlich von der eigentlichen Lösung ablenkt.
Der Löser (der Denker): Diese Rolle versucht, das mathematische Problem zu lösen, selbst wenn der Trickser einen verwirrenden Hinweis hinzugefügt hat. Der Löser muss das „Rauschen" ignorieren und die wahre Logik dahinter finden.

Die Trainings-Schleife: Ein sich selbst verbessernder Zyklus

Beim traditionellen Training geben Sie dem Schüler vielleicht einfach mehr Übungsaufgaben. Bei Seirênes ist das Training ein kontinuierlicher Wettrüsten:

Schritt 1: Der Trickser betrachtet ein Problem und versucht, einen irreführenden Hinweis zu erfinden, der den Löser verwirren würde.
Schritt 2: Der Löser versucht, das Problem mit diesem irreführenden Hinweis zu lösen.
Schritt 3: Wenn der Löser getäuscht wird, erhält der Trickser eine „Belohnung" (Punkte) für seine Cleverness. Wenn der Löser die Falle ignoriert und das Problem korrekt löst, erhält der Löser die Belohnung.
Schritt 4: Das Modell lernt daraus. Der Löser wird besser darin, Fallen zu erkennen, und der Trickser wird besser darin, neue, schwierigere Fallen zu erfinden.

Da es sich um dasselbe Modell handelt, das beide Seiten spielt, entwickeln sie sich gemeinsam weiter. Wenn der Löser schlauer wird, muss der Trickser schlauer werden, um mitzuhalten, was den Löser zwingt, noch robuster zu werden.

Warum dies wichtig ist

Die Arbeit ergab, dass Standard-KI-Modelle oft „brüchig" sind. Sie können ein mathematisches Problem in einer sauberen Umgebung perfekt lösen, aber wenn Sie einen Satz hinzufügen, der irrelevant oder leicht irreführend ist, sinkt ihre Leistung erheblich. Sie neigen dazu, oberflächliche Mustern statt tiefer Logik zu folgen.

Seirênes behebt dies, indem es das Modell zwingt, das Ignorieren von Ablenkungen zu üben. Es ist wie das Trainieren eines Kampfkünstlers nicht nur durch das Kämpfen gegen einen perfekten Gegner, sondern durch das Kämpfen gegen einen Gegner, der versucht, ihn zu stolpern zu lassen, abzulenken oder mit falschen Zügen zu verwirren.

Die Ergebnisse

Die Forscher testeten dies an mehreren schwierigen mathematischen Benchmarks (wie hochrangigen Mathematikwettbewerben). Sie stellten fest:

Stärkeres Schlussfolgern: Mit Seirênes trainierte Modelle wurden deutlich besser darin, mathematische Probleme eigenständig zu lösen, selbst ohne Tricks. Im Vergleich zu Standard-Trainingsmethoden verbesserten sie sich um etwa 7 bis 10 Prozentpunkte.
Bessere Abwehr: Die Modelle wurden viel schwerer zu täuschen. Wenn sie mit verwirrenden Informationen getestet wurden, brachen sie nicht so leicht zusammen wie andere Modelle.
Universelle Schwäche: Interessanterweise war der „Trickser", der von dem kleinen 4-Milliarden-Parameter-Modell trainiert wurde, in der Lage, selbst die leistungsstärksten, proprietären KI-Modelle der Welt (wie GPT und Gemini) zu verwirren und ihre Genauigkeit um etwa 4–5 Punkte zu senken. Dies beweist, dass die Methode echte „blinde Flecken" in der Denkweise dieser Modelle gefunden hat.

Das Fazit

Seirênes ist eine Möglichkeit, KI intelligenter zu machen, indem man sie lehrt, eine chaotische, ablenkende Welt zu bewältigen. Anstatt nur Antworten auf saubere Fragen auswendig zu lernen, lernt die KI, tief nach der Wahrheit zu graben, selbst wenn jemand versucht, sie zu täuschen. Es verwandelt eine Schwäche (leicht abzulenken zu sein) in ein Trainingswerkzeug, um einen stärkeren, zuverlässigeren Denker aufzubauen.

Technisches Fazit: Seirênes

Problemstellung

Während Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) die reasoning-Fähigkeiten von Large Language Models (LLMs) erheblich vorangebracht hat, weisen diese Modelle eine kritische Schwachstelle auf: kontextuelle Brüchigkeit. Starke Reasoner scheitern häufig, wenn sie mit nicht-idealen Kontexten konfrontiert werden, die durch überflüssige Informationen, tangentialen Anweisungen oder zufällige Korrelationen gekennzeichnet sind. Vorherige Belege deuten darauf hin, dass strukturelle Umformulierungen von Mathematikaufgaben die Genauigkeit um 27–31 % reduzieren können und irrelevante Retrievals die Leistung von 96 % auf 65 % sinken lassen. Bestehende Self-Play-Frameworks konzentrieren sich typischerweise auf die ko-evolutionäre Aufgabengenerierung oder Lösungsverifikation, lassen die zugrunde liegende Aufgabe jedoch unverändert und adressieren dabei nicht die Fragilität des Reasoning-Prozesses, wenn der Kontext um die Aufgabe herum gestört wird.

Methodik: Seirênes-Framework

Die Autoren schlagen Seirênes vor, ein Self-Play-RL-Framework, das kontextuelle Interferenz von einem Fehlermodus in ein internes Trainingssignal verwandelt. Das System verwendet eine parametergeteilte adversarische Self-Play-Schleife, bei der eine einzige Policy zwei unterschiedliche Rollen einnimmt:

Der Adversary: Generiert plausible, aber irreführende kontextuelle Hinweise (Ablenkungen), die darauf ausgelegt sind, die Reasoning-Trajektorie zu unterbrechen.
Der Reasoner: Versucht, das ursprüngliche Problem zu lösen, indem er die wesentliche Aufgabe von diesen Störungen unterscheidet und die Kernlogik wiederherstellt.

Kernmechanismus

Das Framework arbeitet mit einer einzigen geteilten Parameter-Policy ( $\pi_\theta$ ), die durch Roll-Prompts konditioniert wird. Für jede Trainingsfrage $q$ führt das System ein dreistufiges Rollout-Bündel aus:

R1 (Clean Rollout): Der Reasoner löst $q$ ohne Interferenz, um eine Basiserfolgsrate ( $\hat{p}(q)$ ) zu etablieren.
R2 (Adversarial Hint Generation): Der Adversary generiert $G_2$ Hinweis-Kandidaten ( $h_k$ ), die natürlich, aber irreführend sein sollen.
R3 (Hint-Conditioned Rollout): Der Reasoner versucht, $q \oplus h_k$ (die Frage erweitert um den Hinweis) zu lösen.

Trainingssignale und Updates

Das Framework nutzt Group Relative Policy Optimization (GRPO) mit separaten Update-Streams für jede Rolle, um die Kredit-Semantik zu bewahren:

Adversary-Belohnung: Der Adversary wird basierend auf der von ihm verursachten Leistungsabnahme belohnt. Die Belohnung ist definiert als die Differenz zwischen der sauberen Erfolgsrate und der hinweis-konditionierten Erfolgsrate: $\hat{R}_{Adv} = \hat{p}(q) - \hat{p}(q, h_k)$ . Diese Formulierung begrenzt die Belohnung natürlich und fokussiert das Lernen auf „Sweet-Spot"-Fragen, bei denen das Modell das saubere Problem lösen kann, aber unter der spezifischen Ablenkung scheitert.
Reasoner-Belohnung: Der Reasoner wird sowohl auf sauberen Trajektorien (zur Aufrechterhaltung der Kernfähigkeiten) als auch auf hinweis-konditionierten Trajektorien (zum Erlernen von Robustheit) trainiert.
Orchestrierung: Um die Rechenkosten der dreistufigen Schleife zu bewältigen, setzt Seirênes stromspezifische Warteschlangen und begrenzte FIFO-Puffer ein. Dies entkoppelt die Update-Streams und ermöglicht es, Gradienten aus sauberem Reasoning, adversarischer Generierung und Robustheitswiederherstellung asynchron ohne Interferenz zu verarbeiten. Zusätzlich priorisiert ein meisterschaftsbewusstes Sampling-Mechanismus Fragen, die das Modell unter sauberen und adversarischen Bedingungen gemeistert hat, herunter, um verschwendete Rechenleistung zu reduzieren.

Hauptbeiträge

Adversarischer Ko-Evolutions-Rahmen: Einführung von Seirênes, einem Self-Play-System, bei dem ein einzelnes Modell sowohl als Adversary (Generierung irreführender Hinweise) als auch als Reasoner (Wiederherstellung davon) ko-evolviert und kontextuelle Brüchigkeit in einen adaptiven Lehrplan verwandelt.
Parameter-geteiltes Design: Eine neuartige Architektur, die das End-to-End-Training der adversarischen Schleife mit einer einzigen Policy ermöglicht, die sich nur durch Roll-Konditionierung unterscheidet, kombiniert mit rollenspezifischen Belohnungssignalen und effizienten Orchestrierungsstrategien.
Empirische Validierung: Umfassende Experimente, die konsistente Verbesserungen gegenüber Standard-RL und kooperativen-Hinweis-Baselines über sieben mathematische Reasoning-Benchmarks und Modellskalen von 4B bis 30B Parametern hinweg demonstrieren.

Experimentelle Ergebnisse

Die Arbeit evaluiert Seirênes an sieben Benchmarks (AIME 2024–2026, IMO-Bench, Minerva Math, OlympiadBench, HMMT 2026) unter Verwendung von Qwen2.5-7B, Qwen3-4B und Qwen3-30B als Backbones.

Leistungssteigerungen: Seirênes erzielt durchschnittliche Verbesserungen von +10,2, +9,1 und +7,2 Punkten gegenüber instruction-tuned Baselines für die 4B-, 7B- und 30B-Modelle.
Robustheit: Mit Seirênes trainierte Modelle zeigen eine überlegene Robustheit gegenüber strukturellen Störungen (Math-Perturb) und generierten Ablenkungen (GSMIR, MMLU-Perturb) und weisen im Vergleich zu kooperativen-Hinweis-Baselines eine geringere Genauigkeitsdegradation auf.
Cross-Model-Angriffsfähigkeit: Die vom 4B-Seirênes-Modell generierten adversarischen Hinweise verschlechtern die Leistung von Top-Tier Closed-Source-Modellen (GPT-5.1 und Gemini 3 Flash) erheblich und reduzieren deren Genauigkeit im Durchschnitt um etwa 4–5 Punkte. Dies deutet darauf hin, dass die gelernten Ablenkungen fundamentale Reasoning-Fehler und nicht modellspezifische Eigenheiten ansprechen.
Ablationsstudien:
- Budgetkontrolle: Die Gewinne sind nicht lediglich auf erhöhte Rechenleistung zurückzuführen; Seirênes übertrifft eine „rollout-matched" DAPO-Baseline mit gleicher Wandzeit.
- Statisch vs. Evolvierend: Statische Hinweise (offline generiert) erreichen in ihrer Wirksamkeit ein Plateau, sobald das Modell lernt, sie zu umgehen, während die sich entwickelnde adversarische Verteilung in Seirênes einen anhaltenden Druck und eine höhere finale Genauigkeit aufrechterhält.

Bedeutung und Behauptungen

Die Autoren behaupten, dass Seirênes einen Wandel darstellt: weg von der Optimierung von Modellen über statische Pipelines hin zur aktiven Teilnahme an der Generierung der Herausforderungen, die kontinuierliche Verbesserungen vorantreiben. Indem kontextuelle Interferenz nicht nur als Stresstest, sondern als konstruktives Trainingssignal behandelt wird, verankert das Framework die Modellfähigkeiten in robustem zugrunde liegendem Reasoning anstelle von oberflächlichem Musterabgleich.

Die Arbeit betont, dass Seirênes nur den Eingabekontext modifiziert und die zugrunde liegende Aufgabe, den Verifier sowie die Testzeit-Schnittstelle unverändert lässt. Folglich wird das resultierende Modell als stärkerer eigenständiger Reasoner optimiert und nicht als spezialisierter Robustheitsmodul. Die Arbeit legt nahe, dass die „Verlockung" plausibler, aber irreführender Hinweise (unter Bezugnahme auf die griechische mythologische Sirene) genutzt werden kann, um Modelle zu zwingen, über fragile Reasoning-Abkürzungen hinauszugehen und damit ihre Widerstandsfähigkeit in realen Szenarien zu verbessern, die von verrauschten oder ablenkenden Informationen geplagt sind.