Technisches Resümee: Knowledge-Adaptive Context Engineering (KACE) für mathematische Argumentation

Problemstellung

Context Engineering hat sich als eine praktikable Strategie erwiesen, um die Leistung eingefrorener Large Language Models (LLMs) zu steigen, ohne deren Modellgewichte zu aktualisieren. Bei komplexer mathematischer Argumentation stößt ein bestehender Ansatz jedoch auf einen kritischen Engpass: monolithische Kontextakkumulation. Wenn Feedback und gelernte Lektionen in einem einzigen, wachsenden Prompt aggregiert werden, entstehen zwei Probleme:

1. Kontext-Aufblähung (Context Bloat): Irrelevante Anleitungen verdrängen schließlich nützliche Informationen, was die Leistung verschlechtert.
2. Wissensspeicher-Obergrenze (Knowledge-Store Ceiling): Die wiederverwendbare Wissensbasis ist strikt durch die Größe des aktiven Prompts begrenzt.

Derzeitige Methoden (z. B. ACE, GEPA) vermengen oft Speicherung (was über mehrere Durchläufe hinweg gelernt wurde) mit Nutzung (was für ein spezifisches Problem in den Prompt aufgenommen wird). Infolgedessen muss jedes Problem die gesamte akkumulierte Wissensbasis lesen, unabhängig davon, ob die Information für den Schwierigkeitsgrad oder die Domäne der jeweiligen Aufgabe relevant ist. Zudem ist zwar eine adaptive Rechenleistung-Allokation (Variation des Inferenzaufwands basierend auf der Schwierigkeit) eine bekannte effektive Strategie, sie wird jedoch selten mit einer strukturierten, schwierigkeitsbewussten Wissensabfrage kombiniert.

Methodik: Das KACE-Framework

KACE führt ein Framework ein, das die Speicherung von gelerntem Wissen von dessen Nutzung entkoppelt, indem es das Wissen in einem strukturierten Epistemic Tree (epistemischer Baum) organisiert und dieses bedingt basierend auf einem empirischen Schwierigkeitssignal abruft.

1. Der Epistemic Tree (Speicherung)

Anstatt eines einzelnen Prompts konstruiert KACE eine persistente Wissensbasis $K$, die aus typisierten Karten (z. B. Lemmata, Invarianten, Dekompositionsmuster, Verifizierungsregeln) besteht. Dieser Baum ist entlang zweier Achsen geschichtet:

• Schwierigkeitsstufen ($T$): Einfach (ES), Mittel (MS), Schwer (HS).
• Epistemische Domänen ($D$): Mathematische Domänen (z. B. Geometrie, Kombinatorik).

Der Baum ist ein blockstrukturiertes Objekt $K = \{K_b\}_{b \in B}$, wobei jeder Block $b = (t, d)$ Karten enthält, die nur auf dieser spezifischen Schwierigkeitsstufe und Domäne sichtbar sind. Universelle Karten werden separat gespeichert und sind über alle Stufen hinweg sichtbar.

2. Locked Tiered Self-Consistency (Der Klassifikator & Solver)

KACE verwendet eine Locked Tiered Self-Consistency-Pipeline, die zwei Zwecke erfüllt: das Lösen des Problems und die Klassifizierung seiner Schwierigkeit. Die Pipeline verläuft in aufsteigenden Stufen:

• Easy Solver (ES): 2 Versuche. Beendet bei 2/2 einstimmiger Übereinstimmung. Liest keine gelernten Karten.
• Medium Solver (MS): 3 Versuche. Beendet bei 2/3 Mehrheitsentscheidung. Liest Karten aus dem $(MS, d)$-Knoten.
• Hard Solver (HS): 5 Versuche. Beendet bei 2/5 Pluralitätsentscheidung. Liest Karten aus dem $(HS, d)$-Knoten.
• Fallback: Wenn keine Stufe terminiert, wird ein Pool von 10 Versuchen genutzt.

Die Stufe, bei der das System terminiert, liefert ein empirisches Schwierigkeitssignal. Dieses Signal projiziert das Problem zusammen mit einem groben Domänenklassifikator auf einen spezifischen Block im Epistemic Tree. Entscheidend ist, dass einfache Probleme ohne Karten terminieren, während eskalierte Probleme nur den passenden Zweig des Baums abrufen, was eine Kontext-Aufblähung verhindert.

3. Offline-Konstruktion (Lernen)

Der Epistemic Tree wird offline aus Trainings-Traces mittels eines zweiphasigen Prozesses konstruiert:

• Phase 1 (ADD): Eine blocklokale Lernschleife. Für jeden Block $(t, d)$ analysiert das System fehlgeschlagene Traces, bei denen der Solver auf dieser Stufe terminiert ist. Ein Teacher-Modell destilliert „Residuals“ (fehlendes Wissen) in neue Karten, die dem entsprechenden Block hinzugefügt werden. Dies folgt einem Block-Koordinaten-Minimierungsansatz, der lokale Teile des Baums optimiert, ohne eine globale Re-Optimierung zu erfordern.
• Phase 2 (REFINE): Ein Kurator evaluiert den provisorischen Baum unter der induzierten Verteilung der aktualisierten Policy. Er editiert, verschiebt oder deklassifiziert Karten, um sicherzustellen, dass diese nützlich und nicht redundant bleiben, wenn der Solver sie tatsächlich verwendet. Dies adresset das Problem der Verteilungsverschiebung (Distribution Shift), das beim iterativen Lernen häufig auftritt.

Zentrale Beiträge

1. Schwierigkeits- und domänengestufter Epistemic Tree: KACE speichert wiederverwendbares Wissen zur mathematischen Argumentation außerhalb des aktiven Prompts in Form von typisierten Karten, die nach Schwierigkeit und Domäne organisiert sind. Dies trennt den dauerhaften Wissenskörper von dem kleinen Kontext-Fragment, das vom Solver gelesen wird.
2. Locked Tiered Self-Consistency als Schwierigkeitsklassifikator: Die gestufte Pipeline fungiert als rechenäquivalente Alternative zur festen Best-of-N Self-Consistency (sie erreicht oder übertrifft Best-of-5 auf drei Benchmarks) und liefert gleichzeitig ein kalibriertes empirisches Schwierigkeitssignal. Dieses Signal bewahrt die Solve-Rate-Rangordnung des Modells selbst auf 78 % der AIME 2025-Paare und 80 % der MATH-HARD-Paare, wodurch die Notwendigkeit eines separaten, trainierten Schwierigkeitsklassifikators entfällt.
3. Empirische Evidenz für hartes Reasoning: Die Arbeit zeigt, dass die Trennung von Speicherung und Nutzung durch bedingten Abruf die monolithische Kontextakkumulation signifikant übertrifft.

Experimentelle Ergebnisse

Die Experimente wurden auf drei anspruchsvollen Benchmarks durchgeführt: AIME 2025, MATH-HARD (Level 4–5) und OlymMATH-EN (verifizierbarer Teilbereich).

• Leistungssteigerungen: Auf AIME 2025 erreichte KACE eine Genauigkeit von 62,2 %. Dies entspricht einem absoluten Gewinn von 10,4 Prozentpunkten gegenüber der festen Best-of-5 Self-Consistency (51,8 %) und einem Gewinn von 5,6 Prozentpunkten gegenüber der stärksten gelernten Kontext-Baseline, Tiered + GEPA (56,6 %).
• Recheneffizienz: KACE erzielt diese Gewinne bei einem vergleichbaren Solver-Aufruf-Budget wie Best-of-5. Der gestufte Ansatz ermöglicht ein natürliches frühes Beenden bei leichteren Problemen, wodurch die durchschnittliche Anzahl der Aufrufe nahe bei 5 bleibt.
• Ablationsstudien:
  • Das Entfernen der Domänen-Achse (Flachdrücken auf nur Schwierigkeit) senkte die Genauigkeit von 62,2 % auf 54,4 %.
  • Das Entfernen der Schwierigkeits-Achse (monolithischer Kontext) senkte die Genauigkeit auf 51,6 %.
  • Das Ersetzen von destillierten Karten durch rohe Solver-Reflexionen reduzierte die Genauigkeit auf 59,3 %, was den Wert von durch Teacher destillierten, kompakten Karten unterstreicht.
  • Das Ersetzen der festen Baum-Projektion durch generisches Retrieval (LLM-Router oder Embedding) lieferte eine geringere Performance (~56 %), was darauf hindeutet, dass die strukturierte Schwierigkeits-Domänen-Projektion für diese Aufgabe überlegen ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der primäre Engpass im Context Engineering für komplexe mathematische Argumentation nicht die Menge des gespeicherten Wissens ist, sondern die Fähigkeit, den richtigen Teil dieses Wissens zum richtigen Zeitpunkt zugänglich zu machen.

• Strukturelle Trennung: KACE demonstriert, dass die Behandlung von gelerntem Kontext als strukturierte Ressource, die bedingt basierend auf empirischer Schwierigkeit und Domäne gelesen wird, effektiver ist als monolithische Playbooks.
• Kalibrierung ohne Training: Der Pfad der gestuften Self-Consistency dient als robuster, modellbasierter Schwierigkeitssignalisator, der keine externen Trainingsdaten oder einen separaten Klassifikator benötigt und dennoch eng mit den empirischen Solve-Raten korreliert.
• Auditierbarkeit: Da das Wissen als natürliche Sprachkarten organisiert ist, ist das „gelernte“ Verhalten des Systems inspizierbar und auditierbar – eine Eigenschaft, die bei gewichtsübergreifenden Modellen nicht vorhanden ist.

Die Autoren weisen auf Limitationen hin, darunter die Abhängigkeit von wiederholbaren Fehlermustern für das Lernen, die mangelnde automatische Cross-Benchmark-Transferierbarkeit und die Beobachtung, dass eine Skalierung der Wissensbasis über die Trainings-Trace-Fehler hinaus (z. B. via „Imagination“) ohne einen stärkeren Verifizierer zu Overfitting führt. Die Arbeit positioniert KACE als Template für die Untersuchung von Kontext als einer strukturierten, bedingt gelesenen Ressource statt als statischer Textakkumulation.