💬 NLP

DND: Boosting Large Language Models with Dynamic Nested Depth

Dieses Paper stellt Dynamic Nested Depth (DND) vor, eine neuartige Post-Training-Methode, die fertige LLMs durch das dynamische Identifizieren und Wiederverarbeiten kritischer Token mittels eines verschachtelten Tiefenmechanismus verbessert und dabei signifikante Leistungssteigerungen bei verschiedenen Benchmarks mit minimalem Rechenaufwand erzielt.

Ursprüngliche Autoren: Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

Veröffentlicht 2026-01-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Student, der eine sehr schwere Prüfung ablegt. Sie haben eine begrenzte Menge an Zeit und geistiger Energie zur Verfügung.

Der alte Weg (Standard-KI):
Die meisten Large Language Models (LLMs) von heute arbeiten wie ein Student, der jede einzelne Frage auf dem Test genau gleich behandelt. Egal, ob die Frage „Was ist 2+2?“ oder „Erkläre die Quantenmechanik eines Schwarzen Lochs“ lautet – der Student investiert genau die gleiche Menge an Zeit und Gehirnschmalz. Er liest die einfache Frage, denkt eine Sekunde nach, schreibt die Antwort und zieht weiter. Er macht dasselbe bei der schweren Frage, aber da er dieselbe „Einheitsgröße für alle“-Anstrengung verwendet, übergeht er den schwierigen Teil vielleicht zu schnell und macht einen Fehler, oder er verschwendet Zeit damit, über den einfachen Teil zu viel nachzudenken.

Die neue Idee (DND):
Das Paper stellt eine Methode namens Dynamic Nested Depth (DND) vor. Stellen Sie sich das wie einen klugen Tutor vor, der den Studenten beobachtet, während er den Test schreibt, und nur dann eingreift, wenn es notwendig ist.

So funktioniert es, in einfachen Schritten unterteilt:

1. Der „Verkehrspolizist“ (Der Router)

Während das Modell einen Satz verarbeitet, trifft es am Ende jeder Schicht (eines Schritts im Denkprozess) auf einen „Verkehrspolizisten“. Dieser Cop betrachtet jedes Wort (Token) einzeln.

Einfache Wörter: Wenn das Wort einfach ist (wie „der“ oder „und“), sagt der Cop: „Alles klar, zieh weiter.“ Das Modell verarbeitet es ganz normal und geht zum nächsten Schritt über.
Schwierige Wörter: Wenn das Wort knifflig ist (wie ein komplexes mathematisches Symbol oder ein logischer Konnektor in einem Rätsel), sagt der Cop: „Warte! Dieses hier braucht mehr Aufmerksamkeit.“

2. Die „Umleitung“ (Nested Depth)

Wenn der Cop ein schwieriges Wort markiert, lässt er es nicht einfach passieren. Stattdessen schickt er dieses spezifische Wort auf eine Umleitung.

Stellen Sie sich vor, das Wort wird für eine zweite Lernrunde zurück in das Klassenzimmer geschickt. Es wird erneut gelesen, neu analysiert und vom internen Logiksystem des Modells „überprüft“.
Dies ist die „Nested Depth“. Das Modell gräbt tiefer in nur diese schwierigen Wörter hinein, ohne Zeit mit den einfachen Wörtern zu verschwenden. Es ist wie ein Student, der einen verwirrenden Absatz in einem Buch noch einmal liest, während er die einfachen Teile nur überfliegt.

3. Das „Zusammenführen“ (Fusion)

Nachdem die schwierigen Wörter ihre zusätzliche „Überprüfung“ hinter sich haben, werden sie wieder in die Hauptlinie zurückgeführt. Das Modell kombiniert dann das ursprüngliche Verständnis mit diesem neuen, tieferen Verständnis, um die endgültige Antwort zu erstellen.

Warum ist das besonders?

Die Autoren behaupten, dass diese Methode ein „Plug-and-Play“-Upgrade ist. Man muss nicht die ganze Schule (das Modell) von Grund auf neu bauen. Man fügt einfach dieses kluge Verkehrspolizist-System zu bestehenden Modellen (wie Qwen, Llama oder Gemma) hinzu und trainiert es für eine kurze Weile.

Die Ergebnisse (Das Zeugnis):
Die Autoren haben dies an verschiedenen Modellen getestet:

Kleine Modelle: Sie haben kleine Modelle (wie 1 Milliarde Parameter) signifikant intelligenter gemacht. Zum Beispiel verbesserte eines der Modelle seine Reasoning- und Coding-Scores um etwa 2,5 % bis 2,6 %.
Große Modelle: Sie haben es sogar an einem massiven, komplexen Modell (30 Milliarden Parameter) getestet. Es verbesserte die Leistung dieses Modells um fast 1 %.
Effizienz: Das Beste daran ist, dass dies das Modell nicht viel langsamer oder größer gemacht hat. Es wurde nur ein winziger Bruchteil an zusätzlicher „Gehirnschmalz“ (Parametern) und Rechenleistung hinzugefügt. Es ist wie eine bessere Note zu bekommen, ohne dafür doppelt so lange lernen zu müssen.

Das Geheimrezept (Trainingsstrategie):
Das Paper erklärt auch, dass es schwer ist, den „Verkehrspolizisten“ so zu lehren, dass er präzise arbeitet. Wenn der Cop zu wählerisch ist, stoppt er alles; wenn er zu faul ist, stoppt er gar nichts.

Die Lösung: Sie haben eine spezielle Trainingsregel entwickelt. Sie haben den Cop gelehrt, sehr gut darin zu sein, zwischen „einfachen“ und „schwierigen“ Wörtern zu unterscheiden (damit er nicht verwirrt wird), und gaben ihm eine dynamische Möglichkeit, seine eigene Strenge (den Schwellenwert) anzupassen, damit er immer die richtige Anzahl an Wörtern zur Überprüfung auswählt.

Zusammenfassend:
DND ist eine Möglichkeit, KI intelligenter zu machen, indem man ihr erlaubt, zusätzliche Zeit nur für die schwierigen Teile eines Satzes aufzuwenden, während sie durch die einfachen Teile eilt. Es ist eine intelligentere, effizientere Art zu denken, anstatt einfach nur bei allem härter nachzudenken.

Technisches Resümee: Dynamic Nested Depth (DND) für Large Language Models

1. Problemstellung

Das vorherrschende Paradigma zur Verbesserung von Large Language Models (LLMs) stützt sich auf die Skalierung von Parametern, Daten und Rechenleistung. Dieser Ansatz verursacht jedoch einen exponentiellen Rechenaufwand sowohl für das Training als auch für die Inferenz. Jüngste Erkenntnisse deuten darauf hin, dass die Schwierigkeit der Vorhersage je nach Token signifikant variiert; während viele Token trivial vorherzusagen sind, erfordern andere eine tiefe Rechenverarbeitung. Bestehende Methoden wie das Token-Pruning reduzieren den Overhead durch das Verwerfen uninformativer Tokens, operieren jedoch auf einer binären „Behalten oder Verwerfen“-Basis. Darüber hinaus zeigen Test-Time-Scaling-Strategien (z. B. Latent Strategies), dass rekursive Berechnung in Hidden States die Argumentationsfähigkeit verbessern kann, doch es mangelt ihnen oft an Mechanismen, um diese zusätzliche Tiefe dynamisch nur den kritischsten Tokens zuzuweisen, ohne redundante Kosten für einfachere Eingaben zu verursachen. Es besteht ein Bedarf an einem effizienten Ansatz, der zusätzliche Berechnung adaptiv an schwierige Tokens alloziert und gleichzeitig die Effizienz der Standardverarbeitung für andere bewahrt, idealerweise als Post-Training-Methode kompatibel mit bestehenden Architekturen.

2. Methodik: Dynamic Nested Depth (DND)

DND ist eine Post-Training-Methode, die einen Mechanismus für dynamische verschachtelte Tiefe in bestehende Transformer-Layer integriert. Sie arbeitet, indem sie kritische Tokens identifiziert und sie einer zusätzlichen Runde der Verarbeitung („Review“) innerhalb desselben Layers unterzieht, während einfachere Tokens normal durchlaufen dürfen.

2.1 Architekturdesign

Die DND-Strategie wird auf die intermediären Layer des Modells angewendet (von Layer $L_s$ bis $L_e$ ), wobei die initialen und finalen Layer unverändert bleiben, um präexistente Argumentationsmuster zu bewahren. Die Architektur besteht aus drei Hauptkomponenten:

Token-Choice Routing: Im Gegensatz zum „Expert-Choice“-Routing (Top-k über die gesamte Sequenz), welches das Risiko von Informationslecks in autoregressiven Modellen birgt, verwendet DND eine Token-Choice-Strategie. Ein linearer Router $R$ verarbeitet den Hidden State $x_i^v$ jedes Tokens aus dem Vanilla-Forward-Pass, um einen Präferenzwert zu generieren. Dieser Wert wird mittels einer Sigmoid-Funktion normalisiert, um eine Wahrscheinlichkeit $p_i \in (0, 1)$ zu erzeugen. Ein Token wird zur Reprozessierung ausgewählt, wenn und nur wenn $p_i > \tau$ , wobei $\tau$ ein vordefinierter Schwellenwert ist.
Nested Depth Processing: Ausgewählte Tokens werden maskiert und in eine kompakte Sequenz gepackt. Diese Sequenz durchläuft einen zweiten Forward-Pass durch denselben Transformer-Layer $L_i$ , was effektiv eine „verschachtelte“ Tiefe erzeugt. Das Ergebnis dieses Durchlaufs, $X_d$ , repräsentiert einen verfeinerten Hidden State für die kritischen Tokens.
Normalisierte Fusion: Der finale Output für ein Token ist eine Fusion des Vanilla-Outputs ( $X_v$ ) und des verschachtelten Outputs ( $X_d$ ). Für ausgewählte Tokens wird die Fusion durch einen Gating-Mechanismus gesteuert: $x_i = (\beta \cdot p_i) \cdot x_i^d + (1 - \beta \cdot p_i) \cdot x_i^v$ , wobei $\beta$ ein lernbarer Balance-Parameter ist. Nicht ausgewählte Tokens behalten ihren Vanilla-Output.

2.2 Trainingsstrategien

Um sicherzustellen, dass der Router lernt, Tokens effektiv zu unterscheiden und die Auswahl stabil bleibt, schlagen die Autoren zwei neuartige Trainingsstrategien vor:

Router Controlling Loss: Um zu verhindern, dass Router-Scores clustern (was zu instabiler Auswahl führt) oder sättigen (was zu Gradientenverschwinden führt), wird ein Dual-Objective-Loss eingeführt:
- Score Dispersion Loss ( $L_{sd}$ ): Basierend auf der Informationsentropie regt dieser dazu an, Scores über einen weiten Bereich zu verteilen, um klare Unterscheidungen zwischen Tokens zu gewährleisten.
- Distribution Preservation Loss ( $L_{dp}$ ): Ein Mean Squared Error Penalty, der die Scores in Richtung der Mitte des dynamischen Bereichs des Sigmoids (0,5) zieht, um zu verhindern, dass sie in Sättigungsregionen (0 oder 1) kollabieren, und so den Gradientenfluss aufrechterhält.
Threshold Control Scheme: Um ein stabiles Selektionsverhältnis ohne Abhängigkeit von Top-k-Constraints aufrechtzuerhalten, wird eine dynamische Schwellenwertsteuerung verwendet:
- Buffer Proportional Control: Der Schwellenwert $\tau$ wird in Echtzeit basierend auf dem Fehler zwischen dem tatsächlichen Selektionsverhältnis und einem Zielverhältnis $k_{target}$ innerhalb eines Trainingspuffers aktualisiert.
- EMA Synchronization: Um eine Fehlabstimmung zwischen der Optimierung des Routers und dem Schwellenwert zu verhindern, wird ein Exponential Moving Average (EMA) idealer Schwellenwerte (abgeleitet aus einem Buffer von Samples) verwendet, um den operativen Schwellenwert sanft zu steuern und langfristige Stabilität zu gewährleisten.

3. Kernbeiträge

Dynamic Nested Depth (DND): Ein neuartiges Paradigma, das kritische Tokens adaptiv identifiziert und deren Berechnung durch verschachtelte Reprozessierung selektiv vertieft, womit es über binäres Token-Pruning hinausgeht.
Maßgeschneiderte Trainingsstrategie: Ein umfassendes Trainingsframework, das einen Router-Controlling-Loss (für Selektionspräzision) und ein adaptives Schwellenwert-Kontrollschema (für Selektionsstabilität) umfasst, was eine robuste Token-level adaptive Berechnung ermöglicht.
Post-Training-Integration: Eine Plug-and-Play-Methode, die mit minimalem Parameter- und Rechenaufwand direkt in sowohl dichte als auch Mixture-of-Experts (MoE) Architekturen integriert werden kann.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DND auf diversen Benchmarks in den Bereichen allgemeines Wissen, Mathematik, Logik, Programmierung und Agent-Aufgaben.

Dense Modelle: Bei kleinen skalierbaren dichten Modellen (Qwen3-1.7B, Llama3.2-1B, Gemma3-1B) erzielte DND durchschnittliche Leistungssteigerungen von 1,88 %, 2,61 % und 2,50 % gegenüber dem Standard-Supervised Fine-Tuning (SFT). Bemerkenswerte Gewinne wurden bei komplexen Reasoning-Aufgaben (z. B. BBH, GPQA) beobachtet.
MoE Modelle: Auf dem großskaligen sparsamen MoE-Modell Qwen3-30B-A3B lieferte DND eine durchschnittliche Verbesserung von 0,87 % über 17 Benchmarks hinweg. Die signifikantesten Gewinne lagen in den Bereichen Coding und Agent-Aufgaben (z. B. +2,05 bei BFCL v3).
Effizienz: Die Methode führt eine vernachlässigbare Parametersteigerung auf (< 0,1M). In Bezug auf die Berechnung fügt die Überprüfung von 20 % der Tokens etwa 6 % zusätzliche FLOPs hinzu. Messungen des Inferenz-Durchsatzes zeigen, dass das Modell 91,6 % – 93,1 % der Geschwindigkeit des Vanilla-Modells unter verschiedenen Sequenzlängen beibehält.
Ablationsstudien: Experimente bestätigten, dass sowohl der Router Controlling Loss als auch das Threshold Control Scheme essenziell sind; das Entfernen dieser Komponenten reduziert die Leistungsgewinne signifikant. Das optimale Token-Selektionsverhältnis wurde bei etwa 20–30 % gefunden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DND einen hochgradig parametereffizienten Ansatz bietet, um signifikante Fähigkeiten in LLMs freizusetzen, ohne die massiven Kosten, die mit Skalierung oder Training von Grund auf verbunden sind. Durch die dynamische Allokation von Rechenressourcen an Tokens, die eine hohe Unsicherheit aufweisen (wie durch höhere Logit-Entropie im Vanilla-Pass belegt), ermöglicht DND Modellen, schwierige Konzepte intern zu „revidieren“. Dieser Ansatz validiert die Hypothese, dass Reasoning und komplexe Planung auf einer spärlichen Teilmenge kritischer Tokens beruhen und dass die Bereitstellung dieser Tokens mit zusätzlicher Tiefe die Modellleistung signifikant steigert. Die Methode wird als praktische Post-Training-Lösung präsentiert, die auf bestehende State-of-the-Art-Modelle angewendet werden kann, um deren Reasoning- und Generierungsfähigkeiten mit minimalem Overhead zu steigern.