💬 NLP

HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench

Dieser Beitrag adressiert das Fehlen effektiver Mid-Training-Metriken für SWE-bench, indem er eine Datenfilterstrategie und die HE-SNR-Metrik einführt, die auf der Entropie-Kompressions-Hypothese basiert, um die Optimierung von Large Language Models für komplexe Software-Engineering-Aufgaben besser zu steuern.

Ursprüngliche Autoren: Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen brillanten, aber chaotischen Lehrling, um ihn zu einem Meister-Softwareingenieur zu machen. Sie haben eine riesige Bibliothek mit Code (den Trainingsdaten), und Sie möchten wissen, ob der Lehrling tatsächlich lernt, komplexe Probleme zu lösen, oder ob er lediglich das Aussehen der Antworten auswendig gelernt hat.

Dieser Artikel stellt eine neue Methode vor, um den Fortschritt des Lehrlings während des Lernprozesses zu überprüfen, bevor er die abschließende, teure „Abschlussprüfung" durchläuft (die eine umfangreiche, menschähnliche Instruktionstuning beinhaltet).

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einfacher Analogien:

1. Das Problem: Die Falle des „Fake Confidence"

Normalerweise verwenden wir zur Überprüfung, ob ein Computer lernt, eine Metrik namens Perplexity (PPL). Denken Sie an PPL als ein „Überraschungsmessgerät". Wenn der Computer vom nächsten Wort in einem Satz weniger überrascht ist, geht man davon aus, dass es dem Computer gut geht.

Die Autoren haben jedoch zwei große Probleme mit diesem Messgerät festgestellt:

Die „Long-Context Tax": Wenn Sie den Computer bitten, ein sehr langes Dokument zu lesen (wie ein ganzes Buch statt einer Seite), geht das „Überraschungsmessgerät" völlig durcheinander. Es schießt in die Höhe und lässt es so aussehen, als würde der Computer schlechter werden, obwohl er eigentlich klüger wird. Es ist wie ein Läufer, der am Start eines Marathons über seine Schnürsenkel stolpert; der Stolperer bedeutet nicht, dass er das Rennen nicht laufen kann, aber die Stoppuhr sieht schlecht aus.
„Auswendig-Lerner" vs. „Denker": Das alte Messgerät belohnt hauptsächlich Computer, die gut darin sind, das exakte nächste Wort zu erraten (wie ein Papagei, der einen Satz wiederholt). Doch das Lösen echter Softwarefehler dreht sich nicht darum, das exakte nächste Wort zu erraten; es geht darum, ein paar gute Optionen im Kopf zu haben und die richtige auszuwählen. Das alte Messgerät ignoriert diesen „Denkprozess".

2. Die neue Idee: Messung von „angemessener Zögerlichkeit"

Die Autoren schlagen eine neue Theorie vor: Wahre Intelligenz besteht nicht darin, keine Unsicherheit zu haben, sondern darin, organisierte Unsicherheit zu haben.

Stellen Sie sich einen Detektiv vor, der ein Verbrechen aufklärt:

Ein schlechter Detektiv ist entweder zu 100 % sicher, dass er den Täter kennt (niedrige Unsicherheit), oder völlig verloren und rät zufällig unter 1.000 Verdächtigen herum (hohe, chaotische Unsicherheit).
Ein kluger Detektiv schränkt die Suche auf nur 3 wahrscheinliche Verdächtige ein. Er „zögert" zwischen diesen drei, aber er weiß, dass es einer von ihnen ist. Dies wird als „angemessene Zögerlichkeit" bezeichnet.

Der Artikel nennt dies einen „entropiekomprimierten Zustand". Anstatt dass der Computer über 100 Dinge verwirrt ist, ist ein intelligenter Computer zuversichtlich verwirrt über nur 2 oder 3 Dinge.

3. Die Entdeckung: Der „Shift to ln 3"

Die Autoren untersuchten das Gehirn des Computers während des Trainings und fanden eine magische Zahl: ln 3 (was ungefähr 1,1 entspricht).

Frühes Training: Der Computer ist über viele Optionen verwirrt (die Entropie ist hoch und chaotisch).
Intelligentes Training: Während der Computer besser im logischen Denken wird, „komprimiert" sich seine Verwirrung. Selbst wenn er nicht sofort die exakte richtige Antwort weiß, schränkt er seine Wahl auf eine enge Gruppe von etwa 3 Optionen ein.
Der Shift: Der Artikel stellte fest, dass die besten Modelle konsistent einen „Peak" in ihren Verwirrungsniveaus genau um diese Zahl (ln 3) herum aufweisen. Es ist, als würde der Computer sagen: „Ich bin nicht zu 100 % sicher, aber ich bin zu 99 % sicher, dass es einer dieser drei ist."

4. Das neue Werkzeug: HE-SNR (der „Signal-zu-Rauschen"-Kompass)

Um das defekte „Überraschungsmessgerät" zu reparieren, entwickelten die Autoren ein neues Werkzeug namens HE-SNR.

Funktionsweise: Anstatt zu fragen: „Wie überrascht ist der Computer von der exakten richtigen Antwort?" (was die alte Methode war), fragt HE-SNR: „Wenn der Computer wirklich feststeckt und hart nachdenkt, wie gut schränkt er seine Wahlmöglichkeiten ein?"
Filtern des Rauschens: Sie erkannten, dass Computer oft von „Stil" (wie der Verwendung von ausgefallenen Wörtern oder Formatierung) abgelenkt werden, anstatt von „Logik" (dem eigentlichen Code). Daher bauten sie einen Filter, der den Stil ignoriert und nur die harten, logischen Teile des Codes betrachtet.
Das Ergebnis: Dieser neue Kompass ignoriert die „Schnürsenkel-Stolperer" (die Long-Context Tax) und die „Papageien-Tricks" (Auswendiglernen). Er misst nur die „angemessene Zögerlichkeit".

5. Die große Überraschung: Die „Alignment Tax"

Der Artikel fand auch etwas Überraschendes über die abschließende Phase des „Instruktionstunings" (wo Menschen den Computer anweisen, Befehle zu befolgen).

Der Trade-off: Als sie den Computer darauf trainierten, Anweisungen perfekt zu befolgen, wurde er besser darin, die exakte richtige Antwort zu erraten (die Top-1-Genauigkeit stieg).
Die Kosten: Dieses Training verschlechterte jedoch tatsächlich die „angemessene Zögerlichkeit". Der Computer hörte auf, die anderen 2 oder 3 guten Optionen zu berücksichtigen, und wählte blindlings nur eine aus.
Die Schlussfolgerung: Die Autoren schlagen vor, dass wir, indem wir den Computer zu früh zu zuversichtlich machen, versehentlich seine Fähigkeit zunichtemachen könnten, tiefgründig über komplexe Probleme nachzudenken. Der Computer wird zu einem besseren „Ja-Sager", aber zu einem schlechteren „Detektiv".

Zusammenfassung

Der Artikel argumentiert, dass wir, um wirklich intelligente Softwareingenieure zu bauen, nicht nur messen sollten, wie gut ein Computer das nächste Wort errät. Stattdessen sollten wir messen, wie gut er seine Verwirrung auf eine kleine, handhabbare Gruppe von Optionen einschränkt.

Ihr neues Werkzeug, HE-SNR, wirkt wie ein Scheinwerfer, der den „Stil" und die „Schnürsenkel-Stolperer" des Computers ignoriert und sich nur auf seine Fähigkeit konzentriert, logisch zu denken und mit Unsicherheit umzugehen. Dies ermöglicht Entwicklern, bessere Modelle schneller zu trainieren und die Falle zu vermeiden, Modelle zu erstellen, die zuversichtlich sind, aber nicht wirklich intelligent.

Technische Zusammenfassung: HE-SNR: Aufdecken latenter Logik mittels Entropie zur Steuerung des Mid-Training auf SWE-BENCH

Problemstellung

Die Evaluation von Large Language Models (LLMs) bei komplexen Software-Engineering-Aufgaben, insbesondere über den SWE-BENCH-Benchmark, stützt sich derzeit stark auf Supervised Fine-Tuning (SFT), um agentische Fähigkeiten zu aktivieren. Die grundlegenden reasoning-Fähigkeiten, die für diese Aufgaben erforderlich sind, werden jedoch während der Mid-Training-Phase erworben. Es besteht eine kritische Lücke bei Metriken, die diesen Mid-Training-Prozess effektiv steuern können.

Standardmetriken wie Perplexity (PPL) sind aus zwei Hauptgründen unzureichend:

Schwache Korrelation mit agentischem Potenzial: PPL korreliert stark mit der Top-1-Genauigkeit, die auf kuratierten Datensätzen oft 90 % übersteigt, und misst dabei Replikationspräzision statt des latenten reasoning-Potenzials, das für komplexe, multi-turn agentische Aufgaben erforderlich ist.
Die „Long-Context-Steuer": Bei der Erweiterung von Kontextfenstern (z. B. von 32K auf 128K) durch Frequenzskalierung (z. B. RoPE, YaRN) durchlaufen Modelle eine vorübergehende Verteilungsverschiebung in den Positionseingebettungen. Dies führt zu einem vorübergehenden Anstieg der prädiktiven Entropie und einer Verschlechterung des PPL, was ein echtes Fähigkeitswachstum verschleiert und ein irreführendes Signal für die Trainingsoptimierung erzeugt.

Folglich besteht ein dringender Bedarf an einer robusten Metrik, die echte reasoning-Signale isoliert, immun gegenüber der Long-Context-Steuer ist und die downstream-SWE-Leistung vorhersagen kann, ohne die Rechenkosten einer post-SFT-Evaluation zu verursachen.

Methodik

1. Strategie zur Datenerstellung und Filterung

Um Signale zu isolieren, die latente Fähigkeiten vorhersagen, führen die Autoren eine rigorose Filterstrategie auf Token-Ebene ein.

Trajektorienauswahl: 500 erfolgreiche Trajektorien aus SWE-BENCH-VERIFIED werden kuratiert, wobei eine strikte Verteilungsausrichtung mit SFT-Daten sichergestellt wird.
Komponentenfilterung: Metriken werden ausschließlich auf Action-Komponenten (ausführbarer Code, Dateipfade, Befehle) berechnet, wobei Observations (Umgebungsfeedback) maskiert und Thoughts (reasoning-Spuren, die oft von stilistischen Artefakten dominiert werden) ausgeschlossen werden.
Rauschreduktion: Strukturelle Marker (XML-Tags), Markdown, Kommentare (via AST-Parsing) und redundante Leerzeichen werden entfernt, um sich rein auf die funktionale Korrektheit zu konzentrieren.

2. Theoretische Einsicht: Hypothese der Entropie-Kompression

Die Arbeit schlägt die Hypothese der Entropie-Kompression vor und definiert Intelligenz neu, nicht als skalare Informationsminimierung (niedriger Loss), sondern als die Fähigkeit, Unsicherheit in Entropie-komprimierte Zustände zu strukturieren.

Entropie-komprimierte Zustände: Dies sind Zustände, in denen die Wahrscheinlichkeitsmasse gleichmäßig über eine kleine Menge der Top- $k$ -Kandidaten verteilt ist und sich als deutliche Entropie-Peaks bei $\ln k$ manifestiert.
Der „Shift zu $\ln 3$ ": Empirische Analysen zeigen, dass sich die Wahrscheinlichkeitsmasse von hoch-entropischen Tokens (insbesondere Nicht-Top-2-Tokens) mit fortschreitender Reife der Modelle von einem dispergierten Zustand (zentriert um $\ln 4$ ) in einen komprimierten Zustand bei $\ln 3$ verschiebt. Dies deutet darauf hin, dass das Modell seine Unsicherheit auf eine verfeinerte Menge von 2–3 plausiblen Kandidaten einengt, was als „vernünftiges Zögern" bezeichnet wird.
Differenzierung: Dieser Shift unterscheidet sich von stochastischer Unsicherheit (z. B. bei Observation-Tokens mit zufälligen IDs), die Peaks bei $\ln 10$ aufweist und die strukturierte Logik des $\ln 3$ -Peaks vermissen lässt.

3. Metrikformulierung: HE-SNR

Basierend auf der Hypothese formulieren die Autoren HE-SNR (High-Entropy Signal-to-Noise Ratio).

High-Entropy-Entscheidungsset ( $H$ ): Tokens, bei denen die Top-10-Entropie einen Schwellenwert $\epsilon = (\ln 3 + \ln 4)/2$ überschreitet und die Ground Truth innerhalb der Top-10-Kandidaten liegt. Dies filtert Tokens mit schwerwiegender Verteilungsdiskrepanz heraus, konzentriert sich jedoch auf kritische reasoning-Punkte.
Berechnung: HE-SNR misst die relative Stärke des Zielsignals gegenüber dem Hintergrundrauschen:
$\text{HE-SNR} = \frac{1}{|H|} \sum_{t \in H} \frac{p(x_t)}{H_{\text{top10}}(x_t)}$
wobei $p(x_t)$ die Signalwahrscheinlichkeit und $H_{\text{top10}}(x_t)$ die Top-10-Entropie (Rauschen) ist.
Robustheit: Durch die Normalisierung des Signals gegen die Entropie-Bodengrenze mildert HE-SNR die Long-Context-Steuer, die die absolute Entropie zwar aufbläht, aber das relative Signal-zu-Rausch-Verhältnis valider reasoning-Pfade nicht notwendigerweise verschlechtert.

Wichtige Ergebnisse

1. Korrelation mit downstream-Leistung

Überlegenheit gegenüber PPL: Der Standard-PPL zeigt eine schlechte Korrelation mit SWE-BENCH Pass@1-Werten und versagt insbesondere darin, Fähigkeitswachstum während der Long-Context-Steuer zu unterscheiden (z. B. zeigt MoE-A26B bei Schritt 200 des 128K-Trainings einen verschlechterten PPL, aber eine verbesserte SWE-Leistung).
HE-SNR-Linearität: HE-SNR zeigt eine strikte lineare Beziehung zur downstream-SWE-BENCH-Leistung über Modelle hinweg, die von 68B bis 560B Parametern reichen, sowie bei Kontextfenstern von 32K/128K.
Dateneffizienz: Die vorgeschlagene Metrik erzielt eine hohe Korrelation (Pearson $r \approx 0,96$ , Kendall $\tau \approx 0,98$ ) unter Verwendung von nur 500 Trajektorien (~12,5M Tokens), was die Evaluierungskosten erheblich senkt.

2. Ablationsstudien

Filterungseinfluss: Die Evaluation von „Action"-Tokens mit vollständiger Filterung (Entfernung von XML, Kommentaren, Leerzeichen) übertrifft die rohe Token-Evaluation deutlich, was bestätigt, dass stilistisches Rauschen latente reasoning-Signale verschleiert.
Schwellenwert-Robustheit: Der gewählte Entropieschwellenwert $\epsilon = (\ln 3 + \ln 4)/2$ ist nahezu optimal; die Metrik behält über einen Bereich von Schwellenwerten hinweg eine hohe Korrelation bei, was auf strukturelle Solidität und nicht auf Overfitting an einen spezifischen Wert hindeutet.

3. Einsichten zu SFT und Alignment-Steuer

SFT-Effekte: Während SFT den globalen PPL und die Top-1-Genauigkeit verbessert, verschlechtert es HE-SNR und HE-PPL auf dem High-Entropy-Entscheidungsset.
Mechanismus der Alignment-Steuer: Dies legt nahe, dass SFT oberflächliches Mustererkennen und stilistische Ausrichtung auf Kosten der Fähigkeit des Modells priorisiert, komplexe, hoch-entropische reasoning-Pfade zu navigieren, und bietet eine neue Erklärung für die „Alignment-Steuer" bei agentischen Aufgaben.

Bedeutung und Behauptungen

Die Arbeit behauptet, sowohl eine theoretische Grundlage als auch praktische Werkzeuge zur Optimierung des latenten Potenzials von LLMs in komplexen Engineering-Domänen bereitzustellen.

Theoretischer Beitrag: Sie stellt die skalare Kompressionsansicht von Intelligenz in Frage und schlägt vor, dass echtes reasoning durch die strukturierte Kompression von Unsicherheit in niedrig-ordentliche Entropie-komprimierte Zustände (insbesondere den „Shift zu $\ln 3$ ") gekennzeichnet ist.
Praktischer Nutzen: HE-SNR dient als robuster Kompass für das Mid-Training und ermöglicht eine effiziente Iteration, indem es echtes Fähigkeitswachstum von vorübergehenden Artefakten wie der Long-Context-Steuer entkoppelt.
Generalisierbarkeit: Das Phänomen des „Shift zu $\ln 3$ " wird über verschiedene Architekturen (Dense und MoE) und Domänen (Software Engineering und Mathematisches Reasoning) hinweg beobachtet, was darauf hindeutet, dass es eine fundamentale Signatur strukturierten logischen Reasonings ist.

Die Autoren schließen, dass durch die Fokussierung auf hoch-entropische Entscheidungspunkte und die Nutzung von HE-SNR die Gemeinschaft suboptimale Kandidaten früher identifizieren kann, was potenziell die Rechenkosten und den CO2-Fußabdruck im Zusammenhang mit dem Training großskaliger Modelle reduziert und gleichzeitig die Entwicklung robusterer reasoning-Fähigkeiten gegenüber auswendigem Lernen fördert.