🤖 machine learning

Evolutionary Task Discovery: Advancing Reasoning Frontiers via Skill Composition and Complexity Scaling

Das Papier schlägt Evolutionary Task Discovery (EvoTD) vor, ein Framework, das das Schlussfolgern von Large Language Models verbessert, indem es die Datensynthese als gerichtete Suche über Fähigkeitenkomposition und Komplexitätsattribute behandelt und dabei strukturierte evolutionäre Operatoren sowie einen dynamischen Schwierigkeitsfilter nutzt, um Datenhomogenität zu überwinden und eine robuste Generalisierung zu erreichen.

Ursprüngliche Autoren: Liqin Ye, Yanbin Yin, Michael Galarnyk, Yuzhao Heng, Sudheer Chava, Chao Zhang

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Liqin Ye, Yanbin Yin, Michael Galarnyk, Yuzhao Heng, Sudheer Chava, Chao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber unerfahrenen Roboter beizubringen, komplexe Rätsel zu lösen. Sie haben zwei Hauptmöglichkeiten, dies zu tun:

Der alte Weg (vom Menschen kuratiert): Sie finden Tausende bestehende Rätsel, schreiben sie auf und hoffen, dass der Roboter daraus lernt. Das Problem ist, dass es nicht genug gute Rätsel gibt, und die vorhandenen könnten zu einfach sein oder sich zu sehr ähneln.
Der Weg „Mach es schwieriger" (aktuelle KI-Methoden): Sie bitten eine überaus intelligente KI, neue Rätsel zu erfinden, indem Sie sagen: „Mach dieses hier schwieriger." Doch die KI macht oft nur winzige, bedeutungslose Änderungen (wie das Ändern einer Zahl von 5 auf 6) oder wiederholt dasselbe Rätsel immer und immer wieder. Der Roboter langweilt sich und wird nicht wirklich schlauer.

EVOTD (Evolutionary Task Discovery) ist eine neue Methode, die von Forschern am Georgia Tech vorgeschlagen wurde, um dies zu beheben. Anstatt die KI einfach nur zu bitten, es „schwieriger zu machen", behandeln sie die Erstellung von Trainingsrätseln wie die Züchtung einer neuen Pflanzenart.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die zwei Zutaten: „Das Rezept" und „Die Portionsgröße"

Die Forscher erkannten, dass jedes Rätsel zwei unterschiedliche Teile hat:

Die Fähigkeit (Das Rezept): Dies ist die Kernlogik, wie etwa das Wissen, wie man ein „gleitendes Fenster" oder eine „binäre Suche" verwendet. Es ist die Art des erforderlichen Denkens.
Die Komplexität (Die Portionsgröße): Dies ist, wie groß oder schwierig die spezifische Instanz ist. Ist die Liste der Zahlen 5 Elemente lang oder 5.000? Ist der Baum 3 Ebenen tief oder 100?

Die meisten früheren Methoden versuchten, beide gleichzeitig zufällig zu verändern. EVOTD trennt sie, wie ein Koch, der zuerst entscheidet, welches Gericht er zubereitet (die Fähigkeit), und dann entscheidet, wie viele Personen er bedient (die Komplexität).

2. Die evolutionäre Küche

Das System verwendet zwei spezielle „Köche" (Operatoren), um neue Rätsel zu erstellen:

Der Mutator (der Portions-Koch): Dieser Koch nimmt ein gültiges Rätsel und verändert die Größe oder die Einschränkungen, ohne die Kernlogik zu ändern.
- Analogie: Wenn das ursprüngliche Rätsel „Finde die größte Person in einer Reihe von 10 Personen" war, ändert der Mutator es zu „Finde die größte Person in einer Reihe von 10.000 Personen". Die Logik (das Suchen nach dem Maximum) bleibt gleich, aber die Schwierigkeit (der Maßstab) steigt. Dies zwingt den Roboter, eine robuste Regel zu lernen, die für jede Größe funktioniert, nicht nur für kleine Beispiele.
Der Kreuzzüchter (der Rezept-Koch): Dieser Koch nimmt zwei verschiedene Rätsel und kombiniert ihre Kernfähigkeiten, um etwas völlig Neues zu schaffen.
- Analogie: Wenn Rätsel A „Sortieren" verwendet und Rätsel B „Graph-Durchlauf", erstellt der Kreuzzüchter ein neues Rätsel, das erfordert, dass Sie Elemente sortieren, bevor Sie einen Graphen durchlaufen können. Es ist wie das Mischen von Schokolade und Erdnussbutter, um einen neuen Geschmack zu kreieren, den keiner zuvor hatte. Dies stellt sicher, dass der Roboter lernt, verschiedene logische Werkzeuge zu kombinieren.

3. Der „Goldlöckchen"-Filter (Die Zone der nächsten Entwicklung)

Man kann dem Roboter nicht einfach zufällige Rätsel zuwerfen. Wenn ein Rätsel zu einfach ist, lernt er nichts. Wenn es unmöglich ist, gibt der Robter auf.

EVOTD verwendet einen Goldlöckchen-Filter. Bevor ein Rätsel für das Training verwendet wird, prüft das System:

Ist es zu einfach? (Wegwerfen).
Ist es unmöglich? (Wegwerfen).
Ist es genau richtig? (Behalten!).

Entscheidend ist, dass „genau richtig" sich verändert, je schlauer der Roboter wird. Ein Rätsel, das gestern unmöglich war, könnte heute „genau richtig" sein. Dies schafft einen dynamischen Lehrplan, der automatisch schwieriger wird, während sich der Roboter verbessert, und ihn stets in der „Lernzone" hält.

4. Die Ergebnisse

Die Forscher testeten dies an Modellen, die mathematische und Programmierprobleme lösen. Sie stellten fest, dass:

Bessere Generalisierung: Die Modelle memorisierten nicht nur Antworten; sie lernten die zugrunde liegende Logik so gut, dass sie Probleme lösen konnten, die sie noch nie gesehen hatten.
Kein „Homogenitäts-Zusammenbruch": Im Gegensatz zu anderen Methoden, die irgendwann die Ideen ausgehen und dieselben Rätsel wiederholen, fand EVOTD weiterhin frische, vielfältige Herausforderungen.
Universelle Verbesserung: Es funktionierte gut bei verschiedenen Arten von KI-Modellen, unabhängig von ihrer Größe oder ihrer ursprünglichen Trainingsmethode.

Das Fazit

EVOTD ist wie ein Meisterlehrer, der nicht einfach nur Arbeitsblätter austeilt. Stattdessen verfügt er über eine systematische Methode, neue Probleme zu erfinden, indem er verschiedene logische Fähigkeiten mischt und das Schwierigkeitsniveau perfekt an die aktuelle Fähigkeit des Schülers anpasst. Dies stellt sicher, dass der Schüler immer genau genug herausgefordert wird, um zu wachsen, was zu viel stärkeren Denkfähigkeiten führt als das bloße Üben an statischen, vorab geschriebenen Problemen.

Technische Zusammenfassung: Evolutionäre Aufgabenerkennung (EVOTD)

Problemstellung

Die Schlussfolgerungsfähigkeiten von Large Language Models (LLMs) haben sich durch Nachtrainierungsparadigmen wie Reinforcement Learning from Verifiable Rewards (RLVR) erheblich weiterentwickelt. Die Wirksamkeit dieser Methoden ist jedoch grundlegend durch die Vielfalt und Komplexität der verfügbaren Trainingsdaten eingeschränkt. Während die Datensynthese eine Lösung für die Knappheit menschlich kuratierter Schlussfolgerungsaufgaben bietet, leiden verbreitete Methoden, die auf unstrukturierten Mutationen beruhen (z. B. Aufforderung an ein LLM, „dies schwieriger zu machen"), unter einem Homogenitätskollaps. Diese Ansätze erzeugen oft fast identische Stichproben oder versagen darin, die Grenze des Schlussfolgerns systematisch zu erweitern, da sie textliche Vielfalt mit algorithmischer Vielfalt verwechseln. Darüber hinaus adressieren bestehende taxonomische Klassifizierungen nach Fähigkeiten häufig nur die Logik eines Problems (die Fähigkeit), vernachlässigen jedoch die strukturellen Zwänge (die Komplexität), was zu „flachen" Lehrplänen führt, die keine robuste Generalisierung über verschiedene Skalierungen hinweg bewirken.

Methodik: Evolutionäre Aufgabenerkennung (EVOTD)

Um diese Einschränkungen zu adressieren, schlagen die Autoren EVOTD vor, ein Framework, das die Datensynthese als gerichtete Suche über eine strukturierte, dualachsige Mannigfaltigkeit behandelt. Die Kerninnovation besteht in der Entkopplung einer Schlussfolgerungsaufgabe in zwei orthogonale Dimensionen:

Algorithmische Fähigkeiten ( $S$ ): Das semantische Logikgerüst einer Aufgabe (z. B. binäre Suche, dynamische Programmierung, Graphendurchlauf).
Komplexitätsattribute ( $C$ ): Die parametrischen strukturellen Zwänge, die das Ausmaß der Probleminstanz bestimmen (z. B. Eingabegröße, Baumtiefe, Wertebereich).

Die evolutionäre Engine

EVOTD nutzt ein Proposer-Solver-Paradigma, bei dem ein „Proposer"-LLM Aufgaben synthetisiert und ein „Solver"-LLM daraus via RLVR lernt. Der Syntheseprozess verwendet zwei strukturierte evolutionäre Operatoren, um den Aufgabenraum zu durchlaufen:

Attribut-Mutation (vertikale Evolution): Dieser Operator skaliert Komplexitätsattribute, während das logische Gerüst strikt erhalten bleibt. Anstatt zufälliger Textstörungen führt der Proposer eine metakognitive Prüfung durch, um anwendbare Attribute auszuwählen (z. B. Erhöhung von tree_depth nur bei baumbasierten Aufgaben) und intensiviert diese. Dies führt das Modell dazu, skaleninvariante Lösungen zu erlernen, anstatt brüchige Heuristiken.
Fähigkeits-Crossover (horizontale Evolution): Dieser Operator erkundet neuartige Fähigkeitskombinationen, indem er unterschiedliche algorithmische Muster verbindet (z. B. Verschmelzung von dijkstra mit priority_queue oder bitmask_dp mit bfs). Der Proposer wird angeleitet, synergistische Kombinationen zu finden, bei denen Fähigkeiten tief miteinander verflochten sind, anstatt sequenziell aneinandergereiht, was eine kombinatorische Degeneration verhindert.

Dynamisches Lehrplan-Filtern

Ein kritischer Bestandteil von EVOTD ist der Zone of Proximal Development (ZPD)-Filter. Um sicherzustellen, dass Aufgaben pädagogisch wirksam sind, überprüft das Framework drei Bedingungen, bevor eine Aufgabe in den Trainingsdatensatz aufgenommen wird:

Ausführbarkeit: Der Code muss ohne Syntaxfehler laufen und innerhalb der Grenzen terminieren.
Fähigkeitsausrichtung: Die generierte Aufgabe muss strikt den zielgerichteten algorithmischen Fähigkeiten entsprechen.
Lernbarkeit: Die Aufgabe muss für die aktuelle Solver-Richtlinie ( $\pi_\theta$ ) weder trivial noch unmöglich sein. Spezifisch muss die Pass-Rate des Solvers in einem nicht-trivialen Bereich liegen ( $0 < \text{Pass-Rate} < 1$ ). Während sich der Solver verbessert, verschiebt der Filter die Verteilung dynamisch hin zu schwierigeren Instanzen und schafft so einen selbstadaptiven Lehrplan.

Hauptbeiträge

Die Arbeit formalisiert und demonstriert folgende Beiträge:

Dual-Achsen-Abstraktion: Die Formalisierung der Synthese von Schlussfolgerungsaufgaben als gerichtete Durchquerung einer Mannigfaltigkeit aus algorithmischen Fähigkeiten und Komplexitätsattributen, die über naive Prompting-Verfahren hinausgeht und eine präzise Kontrolle über Logik und Zwänge ermöglicht.
Strukturierte evolutionäre Operatoren: Die Einführung von Attribut-Mutation zur Skalierung der Komplexität und von Fähigkeits-Crossover zur Entdeckung von Kompositionen, was eine systematische Erkundung der Grenzen des Aufgabenraums ermöglicht.
Dynamischer ZPD-Lehrplan: Ein Filtermechanismus, der sicherstellt, dass Trainingsdaten im lernbaren Bereich des Modells verbleiben und so eine kontinuierliche Verbesserung des Schlussfolgerns ohne Moduskollaps ermöglicht.
Empirische Validierung: Umfassende Evaluierungen über fünf Benchmarks (Code-Generierung und mathematisches Schlussfolgern), die zeigen, dass strukturierte evolutionäre Lehrpläne heuristische Synthese und selbstverbessernde Baselines übertreffen.

Experimentelle Ergebnisse

Die Autoren evaluierten EVOTD über diverse Modellarchitekturen (Qwen3, LLaMA), Vortrainierungsregime (Base, Instruct) und Parameterskalen (3B–8B).

Gewinne im Schlussfolgern: Beim Qwen3-4B-Schlussfolgerungsmodell erzielte EVOTD erhebliche Gewinne bei wettbewerbsfähigen Benchmarks, darunter +8,2 % bei AIME 24 und +7,2 % bei AIME 25.
Generalisierung: Die Methode übertraf konsistent Baselines (einschließlich Evol-Instruct, SPIRAL und Agent0) über alle evaluierten Backbones hinweg. Bemerkenswerterweise erzielte sie bei jeder getesteten Architektur die beste Pass@1-Leistung.
Robustheit gegenüber Homogenitätskollaps: Im Gegensatz zu Standard-Synthesemethoden, die oft Pass@1 aufblähen, während Pass@k verschlechtert wird (was auf Moduskollaps hindeutet), zeigte EVOTD konsistente Gewinne sowohl bei Pass@1 als auch bei Pass@8, was darauf hindeutet, dass sie diverse Schlussfolgerungstrajektorien proliferiert.
Skalierung der Schwierigkeit: Die Leistungsmarge zwischen EVOTD und Baselines erweiterte sich mit der Problemschwierigkeit, wobei die größten relativen Gewinne (bis zu 90 %) bei den „Hard"-Teilmengen von Benchmarks wie LiveCodeBench beobachtet wurden. Dies bestätigt die Wirksamkeit der Komplexitätsmodulation beim Lehren skaleninvarianter Logik.
Transfer in allgemeine Domänen: Die Verbesserungen übertrugen sich sauber auf Schlussfolgerungsbenchmarks für allgemeine Domänen (MMLU-Pro, SuperGPQA), wobei die signifikantesten Gewinne in STEM-nahen Disziplinen konzentriert waren, wo rigoroses Schlussfolgern die bindende Einschränkung darstellt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass EVOTD ein neues Paradigma für die Verbesserung des Schlussfolgerns etabliert, indem es von ungebundener heuristischer Generierung zu strukturierter evolutionärer Suche übergeht. Die Autoren argumentieren, dass:

Struktur überlegen ist gegenüber Zufälligkeit: Die systematische Entkopplung von Logik und Komplexität ermöglicht die Generierung hochwertiger, vielfältiger Lehrpläne, die durch heuristisches Prompting nicht erreicht werden können.
Skalierbarkeit ohne prohibitive Kosten: EVOTD bietet einen pragmatischen Weg zur Verbesserung des Schlussfolgerns, der es Basismodellen ermöglicht, effizient zu skalieren, ohne den prohibitiven rechnerischen Overhead komplexer Self-Play- oder toolintegrierter Frameworks.
Interpretierbarkeit: Durch die Evolution von Aufgaben über eine transparente Fähigkeit-Komplexitäts-Mannigfaltigkeit hinweg konstruiert das Framework einen Lehrplan, der sowohl grenzsuchend als auch interpretierbar ist und so die „Black-Box"-Natur vieler selbstverbessernder LLM-Systeme adressiert.

Die Autoren schließen, dass strukturelle Evolution ein weitaus zuverlässigeres Trainingssignal für komplexes Schlussfolgern bietet als die unstrukturierte Generierung, die bei Standard-Prompting üblich ist, und damit effektiv die Grenze des Schlussfolgerns von LLMs vorantreibt.