🤖 AI

Cost-Effective Agent Harnesses for Abstract Reasoning and Generalization on ARC-AGI-1

Diese Arbeit zeigt auf, dass ein kosteneffizientes, nicht feinjustiertes Open-Weight-Modell (DeepSeek V3.2), das mit spezialisierten agentischen Harnesses – spezifisch einer Explorer-Definer-Pipeline und einem Reflective Orchestrator – ausgestattet ist, die ARC-AGI-1-Leistung durch die explizite Trennung von Musterentdeckung und Programmsynthese sowie der adaptiven Neuerkundung von Transformationen signifikant von einem Baseline-Wert von 15,50 % auf 67,25 % Pass@2 steigern kann, und zwar ohne hohen Test-Time-Compute oder benchmarkspezifisches Training.

Ursprüngliche Autoren: Kabir Moghe, Peter Chin

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kabir Moghe, Peter Chin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen, bei dem sich die Regeln jedes Mal ändern, wenn Sie ein neues Teil aufheben. Dies ist der ARC-AGI-Benchmark: ein Test, der darauf ausgelegt ist, zu sehen, ob ein Computer abstrakte Muster und Logik verstehen kann, ohne dieses spezifische Puzzle zuvor gesehen zu haben.

Lange Zeit erforderte das Lösen dieser Puzzles einen von zwei teuren Ansätzen:

Die „Brute-Force“-Methode: Eine superintelligente (und sehr teure) KI anzuheuern, die Millionen von zufälligen Vermutungen versucht, bis sie Glück hat. Das kostet viel Geld und Rechenleistung.
Die „Spezialisten“-Methode: Eine kleine KI zu nehmen und sie nur darauf zu trainieren, diese spezifischen Puzzles zu lösen, indem man ihr tausende Beispiele zeigt. Das funktioniert gut, aber die KI wird zu einem Spezialisten, der sonst nichts mehr kann.

Die große Idee dieses Papers
Die Autoren, Kabir Moghe und Peter Chin vom Dartmouth College, stellten eine andere Frage: Können wir eine „Generalisten“-KI (eine, die nicht speziell auf diese Puzzles trainiert wurde) dazu bringen, diese gut zu lösen, indem wir eine kluge Teamstruktur anstelle von Brute Force oder Spezialspezialtraining verwenden?

Sie entwickelten ein kosteneffizientes „Agenten-Harness“ – im Grunde ein Managementsystem, das organisiert, wie die KI denkt. Sie testeten dies an einem Standard-, Open-Source-KI-Modell (DeepSeek V3.2), das nicht speziell auf diese Puzzles trainiert wurde.

So funktioniert ihr System, unter Verwendung einer einfachen Analogie:

Die Analogie: Die Detektei

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen Tatort (das Puzzle) zu lösen. Sie haben ein Team von Agenten mit unterschiedlichen Aufgaben.

1. Der alte Weg (One-Shot Baseline)

Sie rufen einen Detektiv an, zeigen ihm den Tatort und fragen: „Wer war es?“ Er rät sofort.

Ergebnis: Er hat es nur in 15,5 % der Fälle richtig. Er tappt im Dunkeln.

2. Der Weg „Erst denken, dann sprechen“ (Chain-of-Thought)

Sie rufen den Detektiv erneut an, zwingen ihn aber diesmal, seine Argumentation aufzuschreiben, bevor er die Antwort gibt.

Ergebnis: Die Genauigkeit springt auf 30 %. Allein das Aufschreiben des Gedankengangs hilft.

3. Der neue Weg: Die „Explorer-Definer Pipeline“

Anstatt eines einzelnen Detektivs stellen Sie ein Team ein.

Die Explorer (Die Musterjäger): Sie schicken 5 verschiedene Agenten aus, die den Tatort unabhängig voneinander untersuchen. Sie versuchen noch nicht zu lösen; sie suchen lediglich nach Hinweisen, Mustern und seltsamen Symmetrien. Sie schreiben detaillierte Berichte darüber, was sie sehen.
Der Definer (Der Architekt): Ein Meisterarchitekt liest alle 5 Berichte. Er nimmt die besten Ideen, kombiniert sie und schreibt ein spezifisches „Rezept“ (ein Computerprogramm), um das Puzzle zu lösen.
Die Prüfung: Sie testen dieses Rezept an den bekannten Hinweisen. Wenn es fehlschlägt, passen sie das Rezept an.
Ergebnis: Dieser Team-Ansatz löst 57,5 % der Puzzles korrekt, und das für nur 0,25 $ pro Puzzle. Sie mussten keine superteure KI anheuern oder einen Spezialisten trainieren; sie haben einfach die Arbeit besser organisiert.

4. Der „Reflective Orchestrator“ (Der Chef mit einer zweiten Chance)

Die Autoren bemerkten ein Problem mit der Pipeline: Manchmal übersehen die Explorer das große Ganze völlig. Der Architekt versucht dann zwar, das Rezept zu korrigieren, aber er steckt fest, weil er versucht, ein kaputtes Fundament zu reparieren. Es ist, als würde man versuchen, ein Meisterwerk auf einer rissigen Leinwand zu malen.

Also fügten sie einen Chef (den Orchestrator) hinzu.

Wenn das Rezept des Architekten fehlschlägt, bittet der Chef nicht nur um eine Anpassung. Der Chef sagt: „Okay, dieser Ansatz ist falsch. Lassen Sie uns ein neues, kleineres Team von Explorern aussenden, die gezielt nach den Hinweisen suchen, die wir übersehen haben.“
Dies ermöglicht es dem System, das Problem aus einem frischen Blickwinkel neu zu explorieren, wenn es feststeckt.
Ergebnis: Dieser intelligente Kreislauf löst 67,25 % der Puzzles korrekt, für etwa 0,62 $ pro Puzzle.

Was haben sie entdeckt?

Das Paper macht einige Schlüsselerkenntnisse darüber, warum dies funktioniert:

Es geht um „Generierung“, nicht um „Selektion“:
Das Team fand heraus, dass der Hauptgrund für ihr Scheitern nicht darin lag, dass sie nicht die richtige Antwort aus einer Liste auswählen konnten. Es war vielmehr, dass sie nicht genug verschiedene Arten von Ideen generiert hatten.
- Analogie: Es liegt nicht daran, dass das Team nicht in der Lage ist, den richtigen Schlüssel auszuwählen; es liegt daran, dass sie nicht genug verschiedene Schlüssel zur Tür gebracht haben.
- Der „Orchestrator“ behob dies, indem er das Team dazu zwang, neue Schlüssel (neue Ideen) zu generieren, wenn die alten nicht funktionierten.
Das „Denk“-Werkzeug ist entscheidend:
Sie testeten, was passiert, wenn man das „Denk“-Werkzeug (einen privaten Notizblock, auf dem die KI Notizen machen kann, bevor sie spricht) entfernt.
- Ergebnis: Die Genauigkeit sank um fast 6 %.
- Analogie: Es ist, als würde man einen Detektiv zwingen, den Fall laut zu lösen, ohne ihm erlauben, Notizen zu machen. Er wird verwirrt und macht Fehler. Der private „Denkraum“ ist essenziell für komplexes Denken.
Kosten vs. Leistung:
Sie erreichten diese hohen Punktzahlen, ohne tausende Dollar pro Puzzle auszugeben (wie die „Brute-Force“-Methoden) und ohne eine neue KI von Grund auf neu zu trainieren (wie die „Spezialisten“-Methoden). Sie taten dies, indem sie einen klügeren Arbeitsablauf für eine bestehende, erschwingliche KI aufbauten.

Das Fazit

Dieses Paper beweist, dass man nicht immer eine größere, intelligentere oder teurere KI braucht, um schwierige Logikrätsel zu lösen. Manchmal braucht man nur einen besseren Manager, um die Art und Weise zu organisieren, wie die KI denkt. Indem sie das Problem in Schritte unterteilten (Muster suchen, dann eine Lösung bauen) und dem System erlaubten, „neu zu denken“, wenn es feststeckte, steigerten sie die Leistung von 15 % auf fast 67 % – und das mit einem sehr kleinen Budget.

Hinweis: Die Autoren haben dies speziell an einem öffentlichen Satz von 400 Puzzles getestet. Sie haben nicht behauptet, dass dies bereits für medizinische Diagnosen, selbstfahrende Autos oder andere reale Anwendungen funktioniert; sie haben lediglich bewiesen, dass es für diesen speziellen abstrakten Reasoning-Test funktioniert.

Technisches Resümee: Kosteneffiziente Agenten-Harnesses für abstraktes Denken und Generalisierung auf ARC-AGI-1

Problemstellung

Die Arbeit befasst sich mit den hohen Kosten und der hohen Rechenintensität, die mit einer starken Performance auf dem Abstraction and Reasoning Corpus (ARC-AGI-1) verbunden sind. Aktuelle State-of-the-Art-Ansätze fallen im Allgemeinen in zwei Regime:

Massiver Test-Time-Compute: Verwendung von Frontier-LLMs mit umfangreicher evolutionärer Suche, erschöpfender Stichprobenziehung oder erweiterter Chain-of-Thought-Argumentation, was oft zehn bis hundert Dollar pro Aufgabe kostet.
Benchmarks-spezifisches Training: Fine-Tuning kleinerer Modelle oder das Training neuer Modelle direkt auf ARC-Daten, oft kombiniert mit aggressiver Test-Time-Augmentierung.

Die Autoren untersuchen ein drittes, unterforschtes Regime: das Erreichen signifikanter Leistungssteigerungen auf ARC-AGI-1 unter Verwendung eines Open-Weight-Modells im Non-Thinking-Modus (DeepSeek V3.2) ohne benchmarkspezifisches Fine-Tuning und unter Einhaltung eines strengen Budgets (unter 1 $ pro Aufgabe). Die zentrale Hypothese ist, dass die Lücke zwischen billigen One-Shot-LLM-Aufrufen (~16 % Genauigkeit) und leistungsfähigen Systemen (≥5-0 %) nicht allein eine Funktion der Modellkapazität oder Skalierung ist, sondern durch spezifisches architektonisches Engineering geschlossen werden kann.

Methodik

Die Studie evaluiert vier Architekturen auf dem öffentlichen 400-Aufgaben-Evaluationssatz von ARC-AGI-1, die alle dasselbe Modell (DeepSeek V3.2) mit identischen Grid-Rendering- und Scoring-Protokollen verwenden.

1. Baselines

One-Shot Baseline: Ein einzelner LLM-Aufruf ohne Reasoning-Scaffolding, der eine strukturierte JSON-Ausgabe liefert.
Structured Chain-of-Thought (CoT) Baseline: Ein einzelner Aufruf, der das Modell dazu verpflichtet, vor dem Grid ein Feld für natürliche Sprachargumentation auszugeben, um externe Deliberation zu erzwingen.

2. Die Explorer-Definer-Pipeline

Diese Architektur zerlegt die Aufgabe in zwei sequentielle Phasen, die durch komprimierte natürliche Sprachartefakte vermittelt werden:

Phase 1 (Parallele Exploration): Eine Flotte von $N$ PatternExplorer-Agenten analysiert unabhängig die Trainingspaare. Jeder Agent nutzt ein privates think-Tool zur internen Deliberation und ein note_pattern-Tool, um Beobachtungen zu protokollieren. Ihre Ausgaben werden in eine dichte Zusammenfassung komprimiert.
Phase 2 (Transformation Definition): Ein TransformationDefiner-Agent erhält die Trainingspaare und die komprimierten Explorations-Zusammenfassungen. Er nutzt ein think-Tool und generiert ausführbaren Python-Code, um die Transformation zu implementieren.
Selektion & Verfeinerung: Kandidaten werden nach der Exact-Match-Genauigkeit auf den Trainingspaaren gerankt. Ein dedup-by-test-prediction-Mechanismus führt Kandidaten zusammen, die identische Test-Outputs produzieren. Wenn ein Kandidat ≥50 % der Trainingspaare besteht, aber andere fehlschlägt, wird der Definer mit strukturiertem Feedback zu den Fehlern erneut aufgerufen, um den Code zu verfeinern.

3. Der Reflective Orchestrator

Motiviert durch die Erkenntnis, dass die Pipeline „generationsgebunden“ ist (die Genauigkeit wird durch die Diversität der Kandidaten-Transformationen begrenzt, nicht durch den Selektionsmechanismus), erweitert der Orchestrator den Definer der Pipeline um adaptive Fähigkeiten:

Mid-Loop Re-Exploration: Wenn die aktuelle Transformationshypothese bei den Trainingspaaren signifikant scheitert, kann der Orchestrator eine fokussierte Flotte von $K=2$ neuen PatternExplorer-Agenten starten.
Negative-Leaning Guidance: Diese neuen Explorer werden durch eine strukturierte Zusammenfassung von „Sackgassen“ und ausgeschlossenen Regelfamilien konditioniert, um sie in ununtersuchte Regionen des Transformationsraums zu steuern.
Terminierung: Die Schleife endet beim Erreichen von 100 % Trainingsgenauigkeit, einem agentengesteuerten done-Aufruf oder beim Erreichen von Sicherheitsfuses (maximale Iterationen, aufeinanderfolgende Fehler oder Spawn-Limits).

Zentrale Beiträge

Neue Cost-Accuracy-Frontier: Die Arbeit führt zwei agentische Architekturen ein, die im Sub-1$-pro-Aufgabe-Bereich operieren:
- Explorer-Definer Pipeline: Erreicht 57,50 % pass@2 bei 0,25 $/Aufgabe.
- Reflective Orchestrator: Erreicht 67,25 % pass@2 bei 0,62 $/Aufgabe.
- Dies entspricht Steigerungen von jeweils ~42 und ~52 Prozentpunkten gegenüber der One-Shot-Baseline, ohne benchmarkspezifisches Training.
Diagnostische-Dann-Test-Methodik: Die Autoren etablieren ein falsifizierbares Diagnostikum: Die Pipeline ist generationsgebunden, nicht selektionsgebunden. Die Analyse zeigt, dass die Selektion der Trainingspaare ~95 % der erreichbaren Kandidatendecke erfasst. Dies sagt voraus, dass weitere Gewinne eine breitere Generierung von Kandidaten erfordern statt eines besseren Rankings. Der Orchestrator ist explizit als architektonischer Test dieser Vorhersage konzipiert und bestätigt dies durch einen nahezu identischen Lift sowohl im naiven pass@2 als auch im unvoreingenommenen pass@1.
Robustheit und Ablationsanalyse:
- Explorer-Anzahl ( $N$ ): Wurde als dominanter Cost-Accuracy-Hebel identifiziert; die Genauigkeit sättigt, wenn $N$ steigt, während das Definer-Sampling ( $M$ ) abnehmende Grenzerträge zeigt.
- Think Tool: Das Entfernen des privaten think-Scratchpads des Definers reduziert das pass@2 um 5,75 Prozentpunkte, was dessen kritische Rolle bei der Deliberation bestätigt.
- Verfeinerung: Das Deaktivieren der Train-Feedback-Verfeinerung führt zu einem vernachlässigbaren Abfall (-0,75 pp), was darauf hindeutet, dass die Selektionsschicht den Großteil des Nutzens absorbiert.
- Cross-Model-Validierung: Die Lift-Trajektorie bleibt bei Qwen3-235B bestehen, was zeigt, dass die Harness-Architektur und nicht das spezifische Modell die Gewinne treibt.
Methodische Disziplin: Die Arbeit plädiert für eine token-normalisierte Kostenberichterstattung, explizite pass@k-Definitionen und Bootstrap-Konfidenzintervalle, um die architektonischen Behauptungen auditierbar zu machen.

Ergebnisse

Performance: Der Reflective Orchestrator erreicht 67,25 % pass@2 auf dem öffentlichen 400-Aufgaben-Satz. Dies ist eine Verbesserung um +9,75 Prozentpunkte gegenüber der Pipeline (57,50 %) und um +51,75 Punkte gegenüber der One-Shot-Baseline (15,50 %).
Kosteneffizienz: Der Orchestrator arbeitet mit 0,62 $ pro Aufgabe, einem Bruchteil der Kosten von Frontier-Modell-Suchregimen (oft 2–400 $/Aufgabe).
Statistische Signifikanz: Alle architektonischen Übergänge (Baseline → CoT → Pipeline → Orchestrator) zeigen statistisch signifikante Steigerungen (95 % KI schließt Null aus) mittels gepaarter Bootstrap-Analyse.
Verhaltensanalysen: Die Trace-Analyse zeigt, dass ~75 % der einzigartigen Lösungen des Orchestrators (bei denen die Pipeline scheiterte) den adaptiven Re-Explorations-Mechanismus (spawn) nutzten, was die Hypothese validiert, dass „Falsch-Abstraktions“-Fehler der dominante residuelle Fehlermodus sind.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass ein erheblicher Teil der ARC-AGI-1 Performance allein durch Agent Harness Engineering zugänglich ist, ohne dass spezialisiertes Training oder massive Rechenbudgets erforderlich sind.

Architektonische Hebel: Die Arbeit demonstriert, dass die Lücke zwischen einfachem Prompting und hoher Performance durch drei distinkte architektonische Hebel geschlossen werden kann:
1. Innerhalb-des-Aufrufs-Deliberation (strukturierte CoT).
2. Über-Aufrufe-hinweg Dekomposition (Trennung von Musterentdeckung und Programmsynthese).
3. Adaptive Re-Exploration (Ermöglichen, dass die Synthese bei Fehlschlag eine frische Exploration triggert).
Generation vs. Selektion: Die Studie liefert empirische Belege dafür, dass die Genauigkeit für diese Klasse von Problemen durch die Diversität der generierten Kandidaten (Exploration) und nicht durch die Qualität der Selektion begrenzt wird.
Bescheidenheit: Die Autoren betonen explizit, dass sie keinen neuen State-of-the-Art (SOTA) für das offizielle Leaderboard beanspruchen, da sich ihre Ergebnisse auf den öffentlichen 400-Aufgaben-Satz beziehen und nicht auf den semi-privaten Holdout-Satz. Sie argumentieren jedoch, dass ihr Ansatz eine spärliche und wertvolle Region der Cost-Accuracy-Ebene besetzt und beweist, dass hohe Performance nicht ausschließlich das Domäne teurer, spezialisierter Systeme ist.