🤖 AI

Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback

Das Papier schlägt COSE vor, ein sich selbst weiterentwickelndes Framework, das das intrinsische Vertrauen eines LLM nutzt, um das Lernen durch vertrauensgewichtete PPO-Aktualisierungen und priorisiertes Replay zu modulieren, wodurch die Risiken fehlerhafter Selbstbeurteilungen wirksam gemindert und eine überlegene Leistung über Reasoning- und Mathematik-Benchmarks hinweg erzielt wird.

Ursprüngliche Autoren: Bowen Wei, Nan Wang, Yuqing Zhou, Jinhao Pan, Ziwei Zhu

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bowen Wei, Nan Wang, Yuqing Zhou, Jinhao Pan, Ziwei Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Schüler vor, der versucht, Mathematik zu lernen, aber anstatt eines Lehrers lernt er sich selbst. Er schreibt seine eigenen Übungsaufgaben, versucht, sie zu lösen, und bewertet dann seine eigene Arbeit. Dies ist das Konzept der selbstentwickelnden großen Sprachmodelle (LLMs).

Die Arbeit argumentiert, dass diese Idee des „Selbstunterrichts" zwar mächtig ist, aber einen gravierenden Mangel hat: Der Schüler ist nicht immer ein guter Richter über seine eigene Arbeit. Manchmal stellt der Schüler eine schlechte Frage, oder er hält eine falsche Antwort für richtig und belohnt sich versehentlich dafür, dass er falsch liegt. Im Laufe der Zeit verwirrt dies den Schüler und macht ihn schlechter.

Die Autoren schlagen eine neue Methode namens COSE (Confidence-Orchestrated Self-Evolution) vor, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Der „übermütige Schüler"

Beim traditionellen Selbstunterricht, wenn der Schüler sagt: „Das habe ich richtig!" und sich selbst einen goldenen Stern gibt, nimmt der Computer diesen goldenen Stern als absolute Wahrheit und aktualisiert sein Gehirn, um mehr davon zu tun.

Das Risiko: Wenn der Schüler tatsächlich rät und sich irrt, sich aber sehr sicher fühlt, gibt er sich trotzdem einen goldenen Stern. Der Computer lernt dann, sich selbstbewusst zu irren.

Die Lösung: COSE (Der „Sicherheitsmesser")

COSE fügt eine einfache Regel hinzu: „Hören Sie nicht nur darauf, was der Schüler sagt; hören Sie darauf, wie sicher er klingt."

Anstatt jede selbstbewertete Antwort gleich zu behandeln, prüft COSE den „Sicherheitsmesser" des Schülers (der berechnet wird, indem man betrachtet, wie unsicher die interne Mathematik des Computers ist, wenn er die Bewertung generiert).

1. Der „Lautstärkeregler" (Sicherheitsgewichtete Updates)

Stellen Sie sich vor, der Schüler ruft: „Das habe ich richtig!"

Hohe Sicherheit: Wenn der Schüler mit absoluter Gewissheit ruft, dreht COSE die Lautstärke hoch. Der Computer hört genau zu und lernt aus diesem Feedback.
Geringe Sicherheit: Wenn der Schüler vor sich hin murmelt oder unsicher klingt (auch wenn er sagt „Ich habe es richtig"), dreht COSE die Lautstärke herunter. Er behandelt das Feedback als Flüstern. Der Computer hört es immer noch, aber er verändert sein Gehirn nicht so drastisch.
Das Ergebnis: Wenn der Schüler sich selbstbewusst irrt, ist die Lautstärke niedrig, sodass der Fehler das Lernen nicht ruiniert. Wenn der Schüler unsicher ist, aber richtig liegt, ist die Lautstärke niedrig, sodass der Computer eine potenziell gute Lektion nicht ignoriert.

2. Die „Übungs-Playlist" (Sicherheitspriorisierte Wiederholung)

Stellen Sie sich vor, der Schüler hat eine Playlist mit Übungsaufgaben zur Überprüfung.

Alter Weg: Der Schüler wählt Aufgaben zufällig aus.
COSE-Weg: Der Schüler wählt Aufgaben aus, die gerade richtig sind.
- Er überspringt Aufgaben, die zu einfach sind (der Schüler kennt sie bereits).
- Er überspringt Aufgaben, die zu schwer sind oder mit geringer Sicherheit bewertet wurden (der Schüler rät nur).
- Er konzentriert sich auf die „Goldilocks"-Zone: Aufgaben, die mit hoher Sicherheit validiert wurden und leicht herausfordernd sind. Dies stellt sicher, dass der Schüler mit dem nützlichsten Material übt.

Was die Arbeit herausfand

Die Forscher testeten diese Methode an 19 verschiedenen Tests (die allgemeine Logik, Mathematik und Programmieren abdecken) unter Verwendung von vier verschiedenen KI-Modellen.

Der große Gewinn: COSE machte die KI beim logischen Denken und in der Mathematik im Vergleich zu anderen Selbstunterrichtsmethoden konsistent schlauer. Sie war besonders gut darin, schwächere Modelle zu verbessern, ohne dass sie durch ihre eigenen Fehler verwirrt wurden.
Das Sicherheitsnetz: Bei Programmieraufgaben, bei denen Computer den Code tatsächlich ausführen können, um zu sehen, ob er funktioniert (ein perfekter, externer Richter), beeinträchtigte COSE die Leistung nicht. Es zeigte, dass diese Methode sicher ist; sie ändert nur, wie die KI lernt, wenn sie sich auf ihr eigenes Urteil verlassen muss.
Die Einschränkung: Die Arbeit gibt zu, dass COSE kein Zauberstab ist. Wenn die KI sich bei etwas Komplexem (wie einem kniffligen mathematischen Beweis) selbstbewusst irrt, könnte COSE immer noch ein wenig von diesem Fehler hereinlassen, nur mit geringerer Lautstärke. Es reduziert das Rauschen, beseitigt es aber nicht vollständig.

Auf den Punkt gebracht

Denken Sie an COSE als einen intelligenten Selbstunterrichtstrainer. Er verhindert nicht, dass die KI sich selbst unterrichtet, fügt aber einen Filter hinzu: „Wenn Sie sich bei Ihrer eigenen Bewertung nicht sicher sind, lassen Sie diese Bewertung Ihr Gehirn nicht zu stark verändern." Dies verhindert, dass die KI versehentlich schlechte Gewohnheiten lernt, nur weil sie sich dabei sicher fühlte.

Technischer Überblick: Confidence-Orchestrated Self-Evolution (COSE)

Problemstellung

Selbstentwickelnde Large Language Models (LLMs) zielen darauf ab, ihre Reasoning-Fähigkeiten zu verbessern, indem sie ihre eigenen Trainingsaufgaben generieren, diese lösen und aus selbstgeneriertem Feedback lernen, ohne sich vollständig auf menschlich kuratierte Überwachung zu verlassen. In Domänen, in denen Lösungen weder durch Ausführung (z. B. Code) noch durch exakte Übereinstimmung (z. B. Mathematik) verifiziert werden können, besteht jedoch ein kritischer Engpass. In diesen „Open-Domain"-Szenarien muss das Modell sowohl als Validator (Beurteilung der Aufgabenvalidität) als auch als Judge (Einschätzung der Antwortkorrektheit) agieren.

Die Kernherausforderung liegt im verrauschten selbstgenerierten Feedback. Ein Modell, das in der Lage ist, schwierige Aufgaben zu generieren, verfügt möglicherweise nicht über die Fähigkeit, diese korrekt zu validieren oder die Richtigkeit vorgeschlagener Lösungen zu beurteilen. Wenn das Modell fälschlicherweise eine fehlerhafte Aufgabe befürwortet oder eine falsche Antwort fälschlicherweise als korrekt bewertet, werden diese Fehler in Belohnungssignale umgewandelt. In Standard-Selbstentwicklungsschleifen treiben diese fehlerhaften Signale Gradienten-Updates an, die falsche Reasoning-Muster verstärken, was zu Optimierungsinstabilität oder Leistungsverschlechterung führt. Bestehende Ansätze verlassen sich entweder auf externe Verifizierer (was die Allgemeingültigkeit einschränkt) oder behandeln sämtliches selbstgeneriertes Feedback als gleichwertig vertrauenswürdiges Supervision, ohne die Unsicherheit zu berücksichtigen, die dem Feedback-Generierungsprozess inhärent ist.

Methodik: COSE

Die Autoren schlagen COSE (Confidence-Orchestrated Self-Evolution) vor, ein Framework, das die intrinsische Konfidenz des LLM als leichtgewichtiges Unsicherheitssignal nutzt, um den Lernprozess zu modulieren. COSE verwendet ein einzelnes Backbone-Modell $\pi_\theta$ , das aufgefordert wird, vier Rollen einzunehmen: Proposer (generiert Fragen), Validator (bewertet die Fragenqualität), Solver (generiert Antworten) und Judge (bewertet die Antwortkorrektheit).

Die Kerninnovation besteht darin, die Konfidenz direkt aus der token-level-Ausgabeverteilung des Validators und Judges während der Feedback-Generierung zu schätzen, anstatt das Feedback als Ground-Truth-Label zu behandeln.

1. Konfidenzschätzung

COSE berechnet die Konfidenz ( $c$ ) basierend auf der normalisierten Entropie der token-level-Ausgabeverteilung des Modells. Für ein generiertes Token $t$ mit der Wahrscheinlichkeitsverteilung $P_t$ über dem Vokabular $\mathcal{V}$ gilt:
$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$
Die Sequenz-level-Konfidenz ( $c_{seq}$ ) ist der Durchschnitt der token-level-Konfidenzen. Diese Metrik dient als Heuristik für Unsicherheit: Niedrige Entropie (hohe Konfidenz) impliziert, dass das Modell bei seiner Beurteilung sicher ist, während hohe Entropie (niedrige Konfidenz) Unsicherheit anzeigt.

2. Konfidenz-gewichteter PPO

COSE integriert diese Konfidenzwerte in das Proximal Policy Optimization (PPO)-Ziel, um den Gradientenbeitrag jedes Samples zu skalieren.

Proposer-Gewicht ( $w_P$ ): Skaliert Updates basierend auf der Fragenqualität ( $v$ ) und der Validator-Konfidenz ( $c_V$ ):
$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$
Solver-Gewicht ( $w_S$ ): Skaliert Updates basierend auf der Fragenqualität, der Validator-Konfidenz und der Judge-Konfidenz ( $c_J$ ):
$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$
Indem das Gewicht bei einer unteren Grenze von 0,1 begrenzt wird, anstatt unsichere Samples vollständig zu verwerfen, bewahrt COSE die Exploration, verhindert jedoch, dass Feedback mit hoher Varianz und niedriger Konfidenz die Optimierung dominiert.

3. Konfidenz-priorisiertes Replay

Der Replay-Puffer priorisiert das Sampling von Fragen, die nicht nur valide sind, sondern auch nahe an der aktuellen Fähigkeitsgrenze des Modells liegen. Die Priorität ist definiert als:
$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$
Hierbei ist $p(q)$ die durchschnittliche Lösungsrate. Der Term $4p(q)(1-p(q))$ ist maximiert, wenn $p(q) \approx 0.5$ , wodurch das Training auf Fragen fokussiert wird, die das Modell etwa zur Hälfte der Zeit lösen kann (die „Lernfront"). Die Konfidenzterme stellen sicher, dass Fragen mit unsicherer Validierung nicht überproportional häufig gesampelt werden.

Hauptbeiträge

Identifikation des Optimierungsengpasses: Die Arbeit identifiziert verrauschtes selbstgeneriertes Feedback (sowohl Validierung als auch Beurteilung) als zentralen Optimierungsengpass bei selbstentwickelnden LLMs, der sich von reiner Datenknappheit unterscheidet.
Formulierung der Trainingssteuerung: Die Autoren formulieren das Problem als per-sample-Trainingssteuerungsaufgabe, bei der der Einfluss eines Feedback-Signals auf das Lernen durch seine intrinsische Konfidenz moduliert wird.
Empirische Validierung: Durch umfangreiche Experimente über 19 zurückgehaltene Benchmarks und vier Modell-Backbones (Qwen- und Llama-Familien, 0,6B–4B Parameter) zeigen die Autoren, dass COSE konsistent eine Verbesserung gegenüber Basis-Modellen erzielt und frühere selbstentwickelnde Baselines (AZR, MAE, R-Zero) entweder übertrifft oder mit ihnen konkurrenzfähig bleibt.

Experimentelle Ergebnisse

Die Evaluation umfasst allgemeines Reasoning, Mathematik und Code-Generierung.

Allgemeines Reasoning: COSE erzielt die höchste durchschnittliche Leistung über alle vier Backbones hinweg. Bemerkenswert ist, dass COSE bei den schwächeren Modellen Qwen3-0.6B und Llama-3.2-3B erhebliche Gewinne erzielt (z. B. +28,5 Punkte bei Qwen3-0.6B) und die Baselines deutlich übertrifft. Die Autoren führen dies darauf zurück, dass schwächere Modelle verrauschteres Feedback produzieren; die Konfidenzgewichtung von COSE dämpft die Auswirkungen dieser Fehler effektiv, während Baselines diese verstärken.
Mathematik: COSE zeigt die größten Verbesserungen bei schwierigen mathematischen Benchmarks (z. B. Olympiad-Bench, Minerva). Die Ergebnisse deuten darauf hin, dass Konfidenzkontrolle besonders wichtig ist, wenn der Judge zwischen plausiblen, aber falschen Ableitungen unterscheiden muss, ein Szenario, in dem naives Selbsturteilen oft versagt.
Code-Generierung: In Domänen mit ausführbarer Verifizierung (Code) bleibt COSE konkurrenzfähig. Während Methoden, die auf externe Verifizierer angewiesen sind (wie AZR), bei bestimmten Backbones manchmal leicht besser abschneiden, erleidet COSE keine signifikante Regression. Dies zeigt, dass Konfidenzgewichtung die Leistung in Domänen nicht beeinträchtigt, in denen Feedback bereits zuverlässig ist.
Ablationsstudien: Das Entfernen der konfidenzgewichteten PPO führt zu dem signifikantesten Leistungsabfall, insbesondere in der Mathematik, was bestätigt, dass die Kontrolle der Gradientenstärke der Haupttreiber des Erfolgs ist. Das Entfernen der Replay-Priorität hat einen kleineren, aber konsistent negativen Effekt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Selbstentwicklung effektiver wird, wenn Modelle nicht nur aus ihrem eigenen Feedback lernen, sondern auch kontrollieren, wie stark unsicheres Feedback das Training beeinflusst.

Robustheit: COSE bietet einen Mechanismus, um die Verstärkung von Fehlern in Selbstentwicklungsschleifen zu verhindern. Es ermöglicht Modellen, von selbstgenerierten Daten zu profitieren, selbst wenn der Validator/Judge unvollkommen ist, vorausgesetzt, das Modell kann seine eigene Unsicherheit erkennen.
Generalisierbarkeit: Im Gegensatz zu Methoden, die auf ausführbare Domänen beschränkt sind, ermöglicht COSE Selbstentwicklung in Open-Domain-Reasoning-Aufgaben, in denen externe Verifizierer nicht verfügbar sind.
Bescheidenheit: Die Autoren stellen ausdrücklich klar, dass Konfidenz ein heuristisches Unsicherheitssignal und keine Garantie für Richtigkeit ist. Sie räumen ein, dass Ausgaben mit hoher Konfidenz dennoch falsch sein können, insbesondere bei adversarialen oder out-of-distribution-Problemen. Darüber hinaus erfordert die Methode den Zugriff auf token-level-Wahrscheinlichkeiten (Logits), was ihre direkte Anwendung auf Black-Box-APIs ohne zusätzliche Sampling-Strategien einschränkt. Die Experimente wurden an relativ kleinen Open-Weight-Modellen (0,6B–4B) durchgeführt, und das Skalierungsverhalten auf größere Modelle bleibt eine offene Frage für zukünftige Arbeiten.

Zusammenfassend stellt COSE einen Wandel dar: Statt selbstgeneriertes Feedback als uniforme Supervision zu behandeln, wird es als gewichtetes Signal betrachtet, wobei das Gewicht durch die eigene Konfidenz des Modells bei der Erzeugung dieses Signals bestimmt wird. Dieser Ansatz stabilisiert den Selbstentwicklungsprozess, insbesondere im herausfordernden intermediären Regime, in dem sich Modelle verbessern, deren Selbstbewertungsfähigkeiten jedoch noch verrauscht sind.