🤖 AI

HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness

Dieser Beitrag stellt HeavySkill vor, eine Perspektive, die schweres Denken als internalisierbare zweistufige Schlussfolgerungsfähigkeit (paralleles Schlussfolgern gefolgt von Zusammenfassung) innerhalb der Parameter von LLMs behandelt und durch eine empirische Studie nachweist, dass dieser Ansatz traditionelle Orchestrierungsstrategien übertrifft und durch verstärkendes Lernen skalierbar ist, um sich selbst weiterentwickelnde Agenten zu ermöglichen.

Ursprüngliche Autoren: Jianing Wang, Linsen Guo, Zhengyu Chen, Qi Guo, Hongyu Zang, Wenjie Shi, Haoxiang Ma, Xiangyu Xi, Xiaoyu Li, Wei Wang, Xunliang Cai

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jianing Wang, Linsen Guo, Zhengyu Chen, Qi Guo, Hongyu Zang, Wenjie Shi, Haoxiang Ma, Xiangyu Xi, Xiaoyu Li, Wei Wang, Xunliang Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Von „Einem Gehirn" zu „einem Vorstand"

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges mathematisches Problem zu lösen.

Der alte Weg: Sie sitzen allein an einem Schreibtisch, denken intensiv nach und schreiben Ihre beste Antwort auf. Wenn Sie einen Fehler machen, bemerken Sie ihn möglicherweise nicht.
Der Weg der „agilen Steuerung" (aktuelle Technologie): Sie stellen ein Team von Assistenten ein. Einer rechnet, ein anderer prüft die Arbeit, und ein dritter fasst das Ergebnis zusammen. Das funktioniert gut, erfordert aber einen komplexen Manager (den „Orchestrator"), der allen sagt, was zu tun ist.
Der HEAVYSKILL-Weg (dieses Papier): Das Papier argumentiert, dass Sie weder einen komplexen Manager noch ein Team verschiedener Personen benötigen. Stattdessen sollte das KI-Modell selbst über eine innere Fähigkeit zum „intensiven Nachdenken" verfügen. Es sollte in der Lage sein, seinen eigenen Geist in einen „Vorstand" zu spalten, um das Problem zu debattieren, und dann einen „CEO" zu haben, der die endgültige Entscheidung trifft.

Die Autoren nennen dies HEAVYSKILL. Sie behaupten, dass dieses „intensive Nachdenken" nicht nur ein Trick der Software ist, sondern eine Fähigkeit, die direkt in das Gehirn der KI eingebacken werden kann.

Wie es funktioniert: Die zweistufige Pipeline

Das Papier beschreibt einen einfachen, zweistufigen Prozess, der innerhalb der KI abläuft:

Stufe 1: Die „Brainstorming-Party" (Paralleles Reasoning)

Stellen Sie sich vor, Sie stecken bei einem Rätsel fest. Anstatt nur nachzudenken, bitten Sie 8 verschiedene Freunde, es unabhängig voneinander zu lösen.

Freund A versucht einen geometrischen Ansatz.
Freund B versucht einen algebraischen Ansatz.
Freund C versucht einen Brute-Force-Versuch.
Wichtige Regel: Sie dürfen während der Lösung nicht miteinander sprechen. Sie müssen isoliert arbeiten, um sicherzustellen, dass sie sich nicht gegenseitig kopieren.

In dem Papier generiert die KI mehrere unabhängige Denkpfade (Trajektorien) gleichzeitig. Manche könnten richtig sein, manche falsch, und manche könnten auf dem halben Weg sein.

Stufe 2: Das „CEO-Treffen" (Sequentielle Deliberation)

Stellen Sie sich nun vor, ein kluger CEO (der zweite Teil der KI) betritt den Raum. Der CEO zählt nicht einfach die Stimmen (z. B. „3 Personen sagten X, 5 Personen sagten Y, also gewinnt X").

Der CEO liest die Notizen jedes Freundes.
Der CEO sucht nach logischen Fehlern.
Der CEO fragt: „Obwohl 7 Personen ‚Blau' sagten, ist ihre Logik fehlerhaft. Die eine Person, die ‚Rot' sagte, hat tatsächlich den korrekten Beweis."
Die Magie: Manchmal erkennt der CEO, dass keiner der Freunde es richtig hatte. In diesem Fall nutzt der CEO die Fehler als Hinweise, um das Problem von Grund auf neu zu lösen, indem er die besten Teile des Denkens aller kombiniert, um eine neue, korrekte Antwort zu finden.

Das Papier nennt dies Sequentielle Deliberation. Es ist das „Nachdenken über das eigene Denken" der KI, um die bestmögliche Antwort zu synthetisieren.

Das Konzept der „Fähigkeitsdatei"

Die Autoren stellten fest, dass aktuelle KI-Systeme komplexen Code verwenden, um diese Agententeams zu verwalten. Sie wollten dies vereinfachen.

Sie erstellten eine lesbare „Fähigkeitsdatei" (wie eine Rezeptkarte oder ein Benutzerhandbuch).

Die Analogie: Denken Sie daran wie an eine „Spickzettel", den Sie einem Schüler geben. Anstatt für jede Prüfung ein neues Klassenzimmer zu bauen, geben Sie ihm einfach eine Karte mit der Aufschrift: „Wenn Sie ein schwieriges mathematisches Problem sehen, halten Sie inne. Schreiben Sie 8 verschiedene Lösungswege auf. Lesen Sie sie dann alle sorgfältig durch und schreiben Sie die beste Antwort auf."
Das Papier zeigt, dass eine KI, der diese „Fähigkeitsdatei" gegeben wird, diese Anweisungen eigenständig befolgen kann, ohne einen komplexen externen Manager zu benötigen. Es verwandelt „intensives Nachdenken" in eine native Fähigkeit des Modells.

Was die Experimente zeigten

Die Forscher testeten dies an schwierigen Mathewettbewerben (wie AIME und HMMT) und Programmierherausforderungen.

Besser als „Abstimmung": Normalerweise wählen wir bei mehreren Versuchen der KI einfach die Antwort aus, die am häufigsten vorkommt (Mehrheitsabstimmung). HEAVYSKILL schlug diese Methode. Die „CEO"-Stufe war besser darin, die korrekte Logik zu erkennen, selbst wenn sie eine Minderheitsmeinung war.
Besser als „Ein Versuch": Es übertraf die KI, die versuchte, das Problem nur einmal zu lösen, erheblich.
Die „Pass@K"-Grenze: In einigen Fällen war die endgültige Antwort der KI so gut, dass sie sich der theoretischen Grenze näherte, wie gut das Modell überhaupt sein könnte, wenn es bei einem seiner 8 Versuche Glück gehabt hätte.
Lernen, besser zu werden: Sie zeigten, dass sie durch den Einsatz einer Technik namens Reinforcement Learning (bei der die KI eine „Belohnung" für Richtigkeit erhält) die KI lernen lassen konnten, in dieser Fähigkeit des „intensiven Nachdenkens" noch besser zu werden. Dies trainierte sie effektiv, tiefer und weiter zu denken, ohne dass sie neu programmiert werden musste.

Zusammenfassung der Behauptungen des Papiers

Intensives Nachdenken ist eine Fähigkeit: Es ist nicht nur ein Softwaretrick; es ist eine Fähigkeit, die vom Modell internalisiert werden kann.
Zwei Schritte sind entscheidend: Sie benötigen Paralleles Reasoning (Generieren vieler Ideen), gefolgt von Sequentieller Deliberation (kritische Analyse und Synthese dieser Ideen).
Es funktioniert überall: Diese Methode funktioniert bei Mathematik, Programmierung und allgemeinen Denkaufgaben.
Es ist portabel: Sie können diesen komplexen Prozess in eine einfache Textdatei (eine „Fähigkeit") umwandeln, die jede moderne KI lesen und befolgen kann, wodurch sie ohne benutzerdefinierten Code über verschiedene KI-Systeme hinweg funktioniert.

Kurz gesagt: Das Papier schlägt vor, dass der beste Weg, KI intelligenter zu machen, nicht darin besteht, das Modell nur größer zu machen, sondern es beizubringen, wie es ein „Debatte" mit sich selbst führt und dann mit seinem Gehirn „abstimmt", anstatt nur zu raten.

Technische Zusammenfassung: HEAVYSKILL – Schweres Denken als innere Fähigkeit im agentischen Harness

Problemstellung

Jüngste Fortschritte bei agentischen Harnessen haben durch die Orchestrierung mehrerer Agenten mit Speicher, Fähigkeiten und Werkzeugnutzung Erfolg bei komplexen推理aufgaben erzielt. Die zugrundeliegenden Mechanismen, die diese Leistung antreiben, bleiben jedoch durch komplexe Systemdesigns verschleiert. Aktuelle Ansätze verlassen sich häufig auf externe Orchestrierungsschleifen, die Unteragenten parallel aktivieren und Ergebnisse zusammenfassen, oder setzen spezialisierte architektonische Modifikationen und Nachtrainierungsrezepte ein, um paralleles推理 hervorzurufen. Die Arbeit argumentiert, dass die Suche nach推理fähigkeit sich stark auf Testzeit-Skalierungsstrategien (TTS) konzentriert hat, die Rechenressourcen verstärken, wobei der spezifische Beitrag von „schwerem Denken" als internalisierbare Fähigkeit innerhalb der Modellparameter jedoch noch unzureichend erforscht bleibt. Darüber hinaus fehlt es bestehenden Methoden oft an einem einheitlichen, portablen Rahmenwerk, das von spezifischer Infrastruktur entkoppelt werden kann, um als native Fähigkeit des Large Language Model (LLM) zu fungieren.

Methodik

Die Autoren schlagen HEAVYSKILL vor, eine Perspektive und ein Rahmenwerk, das „schweres Denken" nicht lediglich als Ausführungseinheit in einem Orchestrierungs-Harness betrachtet, sondern als eine im Modell internalisierte innere Fähigkeit. Diese Fähigkeit wird als zweistufiger Pipeline definiert: paralleles推理 gefolgt von sequenzieller Überlegung.

1. Das Schweres-Denken-Rahmenwerk

Die Inferenzpipeline wird in zwei distincte Phasen zerlegt:

Paralleles推理: Gegeben eine Frage $q$ generiert das Modell $K$ unabhängige推理pfade ( $T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$ ). Diese Pfade werden ohne Zugriff auf die Ausgaben der anderen generiert, um Vielfalt sicherzustellen.
Sequenzielle Überlegung: Ein zweites Modell (oder dasselbe Modell) aggregiert die generierten Pfade. Diese Stufe umfasst einen „Zusammenfassungs"-Prozess, bei dem das Modell die推理pfade kritisch bewertet, Fehler identifiziert und eine finale Antwort synthetisiert.
Serialisierter Speicher-Cache: Um diese Phasen zu überbrücken, führt das Rahmenwerk einen Speicher-Cache-Mechanismus ein. Da vollständige Pfade oft die Kontextgrenzen überschreiten, werden sie beschneidet, gemischt, um Positionsverzerrungen zu vermeiden, und für die Überlegungsstufe in einen Kontext ( $C(x_c)$ ) serialisiert.
Iterative Überlegung (Optional): Das Rahmenwerk unterstützt eine iterative Verfeinerung, bei der die Ausgabe der Überlegungsstufe als neuer Input für nachfolgende Analysezyklen wieder in den Speicher-Cache eingespeist wird.

2. HEAVYSKILL als lesbare Fähigkeit

Eine Schlüsselinnovation ist die Destillation dieses Workflows in eine lesbare Fähigkeitsdatei (z. B. HeavySkill.md). Im Gegensatz zu traditionellen Workflows, die auf externe Python-Pipelines zur Verwaltung von API-Aufrufen und Zustand angewiesen sind, ist HEAVYSKILL ein für Menschen lesbares, vom Modell interpretierbares Dokument.

Struktur: Die Fähigkeitsdatei enthält vier Komponenten:
1. Aktivierungsbedingungen: Deklarative Regeln dafür, wann schweres Denken ausgelöst werden soll (z. B. komplexes推理 vs. einfache Anfragen).
2. Protokoll für paralleles推理: Anweisungen zum Starten von $K$ unabhängigen Agenten mit diversen Strategien.
3. Überlegungs-Prompt: Eine Kernvorlage, die das Modell anweist, die Pfade kritisch zu bewerten und nicht nur abzustimmen. Sie untersagt explizit oberflächliche Verkettung und fordert echte Synthese.
4. Ausgabe-Einschränkungen: Regeln für die Formatierung der finalen Antwort (z. B. \boxed{} für Mathematik).
Portabilität: Da es sich um ein reines Textdokument handelt, kann es in jeden agentischen Harness (z. B. Claude Code, CodeX, Hermes) injiziert werden, der das Laden von Fähigkeiten unterstützt, wodurch der Orchestrator das Protokoll autonom ohne Codeänderungen ausführen kann.

3. Optimierung via RLVR

Die Arbeit untersucht die Anpassung von Reinforcement Learning from Verifiable Rewards (RLVR), um schweres Denken zu optimieren. Die Hypothese lautet, dass RLVR gleichzeitig die推理breite (durch parallele Generierung) und die Tiefe (durch Überlegung) verbessern kann und das Modell potenziell über seine intrinsischen Einschränkungen pro Pfad hinausdrängt.

Hauptbeiträge

Rahmenwerk-Vorschlag: Einführung eines einfachen, trainingfreien Rahmenwerks zur Reproduktion von schwerem Denken durch paralleles推理 und sequenzielle Überlegung.
Umfassende empirische Studie: Die erste systematische Evaluation von schwerem Denken über diverse Modellgrößen (von 7B bis Frontier-Modellen) und Aufgabendomänen (STEM, Codierung, allgemeines推理).
Fähigkeits-Destillation: Die Konzeptualisierung von schwerem Denken als portabler, lesbarer „innerer Fähigkeit", die推理fähigkeit von spezifischer Orchestrierungsinfrastruktur entkoppelt.
Systematische Analyse: Detaillierte Einblicke in das Zusammenspiel der Rahmenwerk-Komponenten, einschließlich der Rollen der Pfadvielfalt, der Modellauswahl für die Überlegung und der Effekte iterativer Verfeinerung.

Experimentelle Ergebnisse

Leistung bei STEM-Aufgaben

Evaluiert an Benchmarks einschließlich AIME25, BeyondAIME, HMMT25-Feb und GPQA-Diamond:

Konsistente Überlegenheit: Schweres Denken (gemessen durch Heavy-Mean@4 oder HM@4) übertrifft konsistent einzelne Pfadversuche (Mean@K) und traditionelle Best-of-N-Strategien wie Mehrheitsvoting (Vote@K).
Skalierungsgesetze: Die Erhöhung der Anzahl paralleler Pfade ( $K$ ) und der Einsatz sequenzieller Überlegung führen zu einer kontinuierlichen Leistungsverbesserung und validieren schweres Denken als praktische Realisierung von Testzeit-Skalierung.
Annäherung an theoretische Grenzen: Stärkere Modelle (z. B. DeepSeek V3.2, GPT-5 Thinking) nähern sich unter schwerem Denken der theoretischen Pass@K-Obergrenze. In einigen Fällen übersteigt der Überlegungsprozess (Heavy-Pass@K) das rohe Pass@K, was darauf hindeutet, dass das Modell korrekte Lösungen synthetisieren kann, die in keinem einzelnen rohen Pfad vorhanden waren.
Hierarchie: Es wurde eine konsistente Leistungshierarchie beobachtet: Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K.

Leistung bei allgemeinen推理aufgaben

Objektiv vs. Subjektiv: Das Rahmenwerk zeigt erhebliche Gewinne bei objektiven, verifizierbaren Aufgaben (z. B. LiveCodeBench, IFEval). Die Gewinne sind jedoch marginal oder gelegentlich negativ bei subjektiven, präferenzbasierten Aufgaben (z. B. Arena-Hard), was darauf hindeutet, dass sequenzielle Überlegung bei „korrektheitsorientierten" Aufgaben hervorragend ist, aber bei „präferenzorientierten" Nuancen möglicherweise Schwierigkeiten hat.
Modellauswahl: Die Überlegungsstufe erfordert nicht strikt ein Modell mit überlegener intrinsischer推理kraft. Größere, instruktionsfolgende Modelle (z. B. Qwen2.5-32B), die als Überleger eingesetzt werden, können die Leistung erheblich steigern, selbst wenn sie schwächer sind, die Probleme unabhängig zu lösen, was die Bedeutung von Synthesefähigkeiten gegenüber roher推理kraft in der zweiten Stufe unterstreicht.

Iterative Überlegung und Werkzeugnutzung

Iteration: Während die Erhöhung der Iterationen die Genauigkeit im Allgemeinen verbessert, führt dies zu einem Trade-off, bei dem Heavy-Pass@K aufgrund kumulativen Rauschens oder Verzerrungen aus früheren Stufen abnehmen kann.
Werkzeugintegration: Das Rahmenwerk integriert sich erfolgreich mit externen Werkzeugen (z. B. Python-Interpretern). Schweres Denken übertrifft Voting-Baselines in Szenarien mit Werkzeug-Interleaving und nutzt Ausführungsrückmeldungen effektiv zur Verfeinerung der Pfade.

RLVR-Anpassung

Vorläufige RLVR-Experimente zeigen, dass die Anwendung von Reinforcement Learning auf schweres Denken-Pfade Heavy-Mean@4 um etwa 10 % weiter verbessern kann. Es wurden jedoch Stabilitätsprobleme bei größeren Pfadanzahlen ( $K=16$ ) aufgrund von Sequenzlängenbeschränkungen beobachtet, was eine sorgfältige Konfiguration erforderlich macht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HEAVYSKILL einen vielversprechenden Weg hin zu sich selbst entwickelnden LLMs bietet, die komplexes推理 internalisieren, ohne sich auf brüchige Orchestrierungsschichten zu verlassen. Durch die Abstraktion des agentischen Harnesses zu einer inhärenten „schweren Denken"-Fähigkeit demonstrieren die Autoren, dass:

Reasoning ist eine innere Fähigkeit: Komplexes推理 kann in eine übertragbare Fähigkeit destilliert werden, die unter jedem agentischen Harness operiert.
Überlegung ist entscheidend: Sequenzielle Überlegung ist effektiver als einfache statistische Konsensbildung (Voting) zur Synthese korrekter Antworten aus mehreren推理pfaden.
Skalierbarkeit: Die Tiefe und Breite von schwerem Denken sind lernbar und skalierbar durch Reinforcement Learning und bieten einen Mechanismus, um LLMs über ihre aktuellen推理grenzen hinaus zu drängen.

Die Autoren nehmen eine bescheidene Haltung ein und stellen fest, dass schweres Denken zwar traditionelle Strategien erheblich übertrifft, aber kein Allheilmittel für alle Aufgabentypen (insbesondere subjektive Präferenzen) ist und dass die Dynamik von RLVR in diesem Kontext weiterer Erforschung bedarf. Die Arbeit etabliert primär die Wirksamkeit und Grenzen von schwerem Denken als grundlegende Komponente für agentische Systeme der nächsten Generation.