🤖 AI

KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling

KV-PRM ist ein effizientes Prozess-Belohnungsmodell, das den Rechenengpass der textbasierten Neu-Kodierung durch die direkte Nutzung vorab berechneter KV-Caches eliminiert, um die Scoring-Komplexität von O(L²) auf O(L) zu reduzieren, wodurch massive Gewinne bei Geschwindigkeit und Speicher erreicht werden, während gleichzeitig bestehende Methoden über mehrere Reasoning-Benchmarks hinweg erreicht oder übertroffen werden.

Ursprüngliche Autoren: Peng Kuang, Haibo Jin, Xiaoyu Han, Yanli Wang, Xiaopeng Yuan, Ye Yu, Kaidi Xu, Haohan Wang

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peng Kuang, Haibo Jin, Xiaoyu Han, Yanli Wang, Xiaopeng Yuan, Ye Yu, Kaidi Xu, Haohan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten ein riesiges, hochkarätiges Spielshow-Szenario, in dem ein Team von KI-Detektiven (nennen wir sie die „Multi-Agent Squad“) versucht, ein super-schwieriges Mathe-Rätsel zu lösen. Sie raten nicht einfach die Antwort; sie zerlegen das Problem in winzige Schritte und reichen dabei Hinweise hin und her. Um sicherzustellen, dass sie nicht auf den falschen Pfad geraten, haben sie einen „Richter“ (ein Process Reward Model, oder PRM), der jeden einzelnen Hinweis, den sie aufschreiben, überprüft.

Der alte Weg: Der erschöpfte Wiederleser
Früher musste der Richter jedes Mal, wenn er einen Hinweis überprüfen wollte, etwas unglaublich Erschöpfendes tun. Stellen Sie sich vor, die Detektive schreiben eine 5.000 Wörter lange Geschichte. Um sie zu bewerten, müsste sich der Richter hinsetzen und die gesamte 5.000 Wörter lange Geschichte vom allerersten bis zum allerletzten Wort immer wieder neu durchlesen, nur um eine Punktzahl zu vergeben. Wenn die Geschichte länger wird, wächst die Zeit, die er zum Lesen benötigt, nicht nur ein wenig; sie explodiert förmlich. Wenn Sie die Länge der Geschichte verdoppeln, vervierfacht sich die Lesezeit. Das ist, was das Papier als $O(L^2)$ -Kosten bezeichnet. Es ist, als würde man versuchen, eine bestimmte Nadel im Heuhaufen zu finden, indem man den gesamten Heuhaufen jedes Mal neu aufbaut, wenn man nach ihr sucht. Das Papier argumentiert, dass dies eine enorme Verschwendung von Energie und Zeit ist, besonders wenn die Detektive lange, komplexe Geschichten schreiben.

Der neue Weg: KV-PRM (Der „Magische Gedächtnis“-Leser)
Die Autoren dieses Papers, Peng Kuang und ihr Team, erkannten, dass die Detektive die harte Arbeit bereits umsonst erledigten! Während die Detektive ihre Geschichte schreiben, speichern ihre Gehirne (der interne „KV-Cache“ der KI) ganz natürlich eine hochauflösende, super-detaillierte Erinnerung an jedes Wort, das sie jemals gedacht haben. Es ist wie eine perfekte, kontinuierliche Aufnahme der Seele der Geschichte, nicht nur der gedruckten Wörter.

Wie es funktioniert: Der Richter nimmt ein einziges, winziges „Verifizierungs-Token“ (denken Sie an ein magisches Fragezeichen, „?“) und fragt das Gedächtnis: „Basierend auf allem, was bisher gespeichert wurde, ist dieser Pfad gut?“
Das Ergebnis: Da der Richter nicht den gesamten Text neu lesen muss, sinken die Kosten von einer massiven Explosion zu einem einfachen, linearen Spaziergang. Das Papier beweist mathematisch, dass dieses Gedächtnis strikt mehr Informationen enthält als der Text selbst. Es ist, als hätte man ein 3D-Hologramm der Geschichte statt nur eines flachen Stücks Papier; das Hologramm hält mehr Details in weniger Raum bereit.

Die Zahlen: Wie schnell ist es eigentlich?
Das Team hat dies an einigen der schwierigsten Mathe-Rätsel (wie MATH, GSM8K und AIME) unter Verwendung verschiedener KI-Größen (0,6B, 4B und 8B Parameter) getestet. Hier sind die Messwerte:

Geschwindigkeit: KV-PRM ist in der realen Zeit um bis zu 37-mal schneller. Für eine lange Geschichte dauerte eine einzelne Überprüfung, die beim alten Richter 172,0 Millisekunden beanspruchte, beim neuen Richter nur 4,6 Millisekunden.
Energie: Es verbraucht bis zu 5.000-mal weniger Rechenschritte (FLOPs) pro Überprüfung.
Speicher: Es benötigt 34,2-mal weniger Computer-Speicher, um die Aufgabe zu erledigen.
Genauigkeit: Trotz der enormen Geschwindigkeit war es nicht nur „mithalten“; es erzielte oft bessere Ergebnisse als die alten, langsamen Richter.

Was sie explizit ausschließen
Das Papier ist sehr deutlich darüber, was nicht funktioniert oder nicht die Antwort ist:

Nur den Richter kleiner zu machen: Das Team versuchte, eine kleinere KI (0,6B oder 4B) als den alten, textlesenden Richter einzusetzen, um Kosten zu sparen. Sie fanden heraus, dass dies zwar schneller, aber nicht so intelligent war. Selbst ein winziger 8B KV-PRM schlug den massiven 8B textlesenden Richter um eine riesige Marge. Das Papier argumentiert, dass das bloße Verkleinern des Modells nicht die Lösung ist; die Änderung der Art und Weise, wie es liest, ist entscheidend.
Mehr Token zu lesen: Das Team fragte sich: „Was wäre, wenn wir mehr als ein Fragezeichen verwenden, um die Geschichte zu prüfen?“ Ihre Mathematik (Theorem 2) und ihre Experimente zeigen, dass das erste Fragezeichen fast alle nützlichen Informationen erfasst. Ein zweites oder drittes Fragezeichen hinzuzufügen, bringt fast keinen zusätzlichen Nutzen, kostet aber mehr. Daher ist das Festhalten an nur einem Verifizierungs-Token der „Sweet Spot“.

Ein Bonus-Trick: „KV-Steuerung“
Da der neue Richter in das „Magische Gedächtnis“ blickt (einem glatten, kontinuierlichen Signal) anstatt nur in den Text (der abgehackt und diskret ist), entdeckte das Team einen coolen Nebeneffekt. Sie konnten die Gedanken der Detektive sogar während des Denkprozesses beeinflussen, indem sie mathematische Gradienten nutzten, um das Gespräch in Richtung einer besseren Antwort zu lenken. Sie nennen dies KV-Steuerung. Das Papier zeigt, dass dies in einem Proof-of-Concept funktionierte und die Genauigkeit bei AIME-Rätseln um bis zu 3,33 Prozentpunkte verbesserte, ohne überhaupt eine Suche durchzuführen. Das Papier stellt fest, dass dies strukturell unmöglich für die alten, textbasierten Richter ist, da man ein Stück Papier nicht auf die gleiche Weise „steuern“ kann wie ein Gedächtnissignal.

Das Fazit
Das Papier schlägt nicht nur vor, dass dies funktionieren könnte; sie haben es über mehrere Datensätze und Modellgrößen hinweg gemessen und mathematisch bewiesen. Sie fanden heraus, dass wir durch die Wiederverwendung des eigenen „Magischen Gedächtnisses“ der KI anstelle des Neu-Lesens des Textes komplexe Probleme viel schneller, billiger und oft auch genauer lösen können. Es ist ein Wechsel vom „das ganze Buch neu lesen" zum „die perfekten Notizen des Autors prüfen".

Technische Zusammenfassung: KV-PRM

Problemstellung

Die Arbeit befasst sich mit einem kritischen Rechenengpass beim Test-Time Scaling (TTS) für Large Language Models (LLMs), insbesondere innerhalb von Multi-Agenten-Systemen (MAS) und Reasoning-Pipelines. Während Process Reward Models (PRMs) essenziell sind, um Suchalgorithmen (z. B. Beam Search, MCTS) durch die Bewertung intermediärer Reasoning-Schritte zu steuern, sind bestehende PRMs textbasiert. Sie erfordern eine erneute Kodierung des gesamten Trajektorien-Textes bei jedem Scoring-Aufruf.

Da Self-Attention-Mechanismen quadratisch mit der Sequenzlänge ( $L$ ) skalieren, beträgt die Rechenkostenlast eines einzelnen PRM-Scoring-Aufrufs $O(L^2)$ . In Long-Context-MAS-Szenarien, in denen Trajektorien Tausende von Token umfassen und die Suche Dutzende von Kandidaten umfasst, erzeugt diese redundante Neukodierung einen schweren Engpass, der oft die FLOPs der eigentlichen Generierung erreicht oder sogar übersteigt. Dies begrenzt die praktische Anwendung von PRMs im Long-Context-Reasoning.

Methodik: KV-PRM

Die Autoren schlagen KV-PRM vor, ein hocheffizientes Process Reward Model, das die Text-Neukodierung eliminiert, indem es den Key-Value (KV)-Cache direkt nutzt, der während der autoregressiven Generierungsphase des LLMs natürlich entsteht.

Kernmechanismus

KV-Cache-Transfer: Anstatt Text-Token zu verarbeiten, hängt KV-PRM ein einzelnes „Verify-Token“ (z. B. „?“) an das Ende der Sequenz an. Es verarbeitet diesen Token dann durch einen leichtgewichtigen LoRA-Adapter, der auf dem bereits existierenden KV-Cache des Basismodells konditioniert ist.
Komplexitätsreduktion: Durch das Lesen des vorberechneten Caches sinken die Scoring-Kosten von $O(L^2)$ (Text-Neukodierung) auf $O(L)$ (Verarbeitung eines einzelnen Tokens gegenüber $L$ gecashten Positionen).
Architektur: Das Basismodell ( $f_\theta$ ) generiert die Trajektorie und den KV-Cache. Das Reward-Modell ( $f_{\theta+\Delta\theta}$ ) verwendet dieselben Basisgewichte mit einem aktiven LoRA-Adapter, um den Cache zu interpretieren und ein Score über die Logits des Verify-Tokens auszugeben. Während der Inferenz fließen keine Gradienten durch das Basismodell; nur die LoRA-Parameter werden während des Trainings aktualisiert.

Theoretische Grundlage

Die Arbeit liefert ein theoretisches Framework, das diesen Ansatz rechtfertigt:

Informationskapazität (Proposition 1): Der KV-Cache enthält eine strikt größere Informationskapazität als dekodierter Text. Um die Information in einem KV-Cache der Länge $L$ verlustfrei via Text auszudrücken, wären $\Omega(d \cdot L / \log |V|)$ Token erforderlich, was impliziert, dass der Cache signifikant informationsdichter ist.
Fehlerzerlegung (Theorem 1): Der Verifizierungsfehler wird in ein Bayes-optimales Floor und eine Approximationslücke zerlegt. Der Bayes-optimale Prädiktor auf dem KV-Cache erreicht eine gleich große oder geringere Fehlerrate als auf Text, da die Repräsentation reichhaltiger ist.
Abnehmender Grenznutzen (Theorem 2): Der marginale Informationsgewinn durch das Hinzufügen weiterer Verify-Token ( $k$ ) nimmt exponentiell ab. Ein einzelner Verify-Token ( $k=1$ ) erfasst den Großteil der extrahierbaren Reward-Informationen, was das $O(L)$ -Design nahezu optimal macht.

Zentrale Beiträge

Theoretisches Framework: Formalisiert den Repräsentationsvorteil von KV-Caches gegenüber Text für die Verifizierung und beweist, dass die Approximationslücke mit der Readout-Tiefe exponentiell abnimmt, was die Effizienz von Single-Token-Readouts rechtfertigt.
Algorithmus (KV-PRM): Führt eine neuartige PRM-Architektur ein, die die KV-Caches der Generierung wiederverwendet, wodurch die Scoring-Komplexität von $O(L^2)$ auf $O(L)$ reduziert und den architektonischen Engpass textbasierter PRMs eliminiert wird.
Empirische Validierung: Demonstriert, dass KV-PRM die Genauigkeit von textbasierten PRMs über mehrere Modellskalen (Qwen3-0.6B, 4B, 8B) und Suchalgorithmen (Beam Search, MCTS, Weighted Voting) auf MATH, GSM8K und AIME Benchmarks erreicht oder übertrifft.
KV Steering: Untersucht die Differenzierbarkeit des KV-Cache-Scoring, um eine gradientenbasierte Optimierung latenter Inter-Agent-Messages zu ermöglichen – eine Fähigkeit, die strukturell durch diskrete textbasierte PRMs unmöglich ist.

Experimentelle Ergebnisse

Evaluierung auf MATH, GSM8K, AIME 2024 und AIME 2025:

Genauigkeit: KV-PRM erreicht eine vergleichbare oder strikt bessere Genauigkeit als textbasierte PRMs. Beispielsweise erreichte KV-PRM bei MATH mit MCTS und Qwen3-8B eine Genauigkeit von 69,57 % im Vergleich zu 68,92 % für Text-PRM.
Effizienz (FLOPs): Erzielte eine bis zu 5.000-fache Reduktion der Scoring-FLOPs pro Aufruf (z. B. $1/2782$ der Kosten von Text-PRM für ein 8B-Modell auf MATH).
Latenz: Reduzierte die Wandzeit-Scoring-Latenz um das 15- bis 37-fache. Bei 8 Milliarden Parametern und einer Sequenzlänge von 4.096 bewertete KV-PRM in 4,6 ms gegenüber 172,0 ms für Text-PRM.
Speicher: Reduzierte den Speicherbedarf pro Sequenz um das 34,2-Fache, indem die Materialisierung von $O(L^2)$ Attention-Maps vermieden wurde.
Readout-Tiefe: Experimente bestätigten, dass die Erhöhung der Anzahl der Verify-Token ( $k > 1$ ) abnehmende Erträge liefert, was die theoretische Behauptung validiert, dass $k=1$ ausreichend ist.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass KV-PRM einen fundamentalen Wandel im Verifier-Design darstellt – weg von redundanter Text-Neukodierung hin zur Repräsentationswiederverwendung.

Skalierbarkeit: Durch die Reduktion der Scoring-Kosten auf einen vernachmelbaren Bruchteil der Generierungskosten ermöglicht KV-PRM die praktische Anwendung von PRMs in Long-Context-, Multi-Agent-Reasoning-Szenarien, die zuvor als rechentechnisch prohibitiv galten.
Neue Fähigkeiten: Die Differenzierbarkeit des KV-Cache-Scoring-Signals eröffnet eine neue Richtung für die Inferenzzeit-Optimierung (KV Steering), die eine gradientenbasierte Verfeinerung von Agenten-Interaktionen ohne Suche ermöglicht, was mit diskreten Text-Outputs unmöglich ist.
Moderate Einschränkungen: Die Autoren merken an, dass die Methode voraussetzt, dass Generator und Verifier dieselbe Architektur teilen, auf der Linear Representation Hypothesis für theoretische Grenzen basiert und dass KV Steering derzeit ein Proof-of-Concept ist.

Zusammenfassend löst KV-PRM den Rechenengpass des Test-Time Scalings, indem es die latenten, hochpräzisen Repräsentationen nutzt, die bereits während der Generierung berechnet wurden, und bietet so um Größenordnungen höhere Effizienzgewinne, ohne die Reasoning-Performance zu opfern oder gar zu verbessern.