💬 NLP

DND: Boosting Large Language Models with Dynamic Nested Depth

Dit artikel introduceert Dynamic Nested Depth (DND), een nieuwe post-training methode die standaard LLM's verbetert door via een genest diepmechanisme kritieke tokens dynamisch te identificeren en opnieuw te verwerken, waarbij significante prestatiewinsten worden behaald op diverse benchmarks met minimale computationele overhead.

Oorspronkelijke auteurs: Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

Gepubliceerd 2026-01-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student bent die een zeer moeilijk examen maakt. Je hebt een beperkte hoeveelheid tijd en mentale energie.

De Oude Manier (Standaard AI):
De meeste Large Language Models (LLM's) van nu werken als een student die elke vraag op de toets precies hetzelfde behandelt. Of de vraag nu is "Wat is 2+2?" of "Leg de kwantummechanica van een zwart gat uit," de student besteedt aan beide vragen exact dezelfde hoeveelheid tijd en hersencapaciteit. De student leest de makkelijke vraag, denkt er een seconde over na, schrijft het antwoord op en gaat door. Ze doen hetzelfde voor de moeilijke vraag, maar omdat ze dezelfde "one-size-fits-all" inspanning gebruiken, kunnen ze door de moeilijke delen heen jagen en fouten maken, of juist tijd verspillen door te veel over de makkelijke delen na te denken.

Het Nieuwe Idee (DND):
Het paper introduceert een methode genaamd Dynamic Nested Depth (DND). Denk aan dit als een slimme tutor die de student tijdens het maken van de toets observeert en alleen ingrijpt wanneer dat nodig is.

Zo werkt het, opgedeeld in eenvoudige stappen:

1. De "Verkeersregelaar" (De Router)

Terwijl het model een zin verwerkt, komt het aan het einde van elke laag (een stap in het denkproces) een "verkeersregelaar" tegen. Deze regelaar kijkt naar elk woord (token) afzonderlijk.

Makkelijke woorden: Als het woord simpel is (zoals "de" of "en"), zegt de regelaar: "Je bent goed, ga maar door." Het model verwerkt het woord normaal en gaat naar de volgende stap.
Moeilijke woorden: Als het woord lastig is (zoals een complex wiskundig symbool of een logische verbinder in een raadsel), zegt de regelaar: "Wacht! Deze heeft meer aandacht nodig."

2. De "Omleiding" (Nested Depth)

Wanneer de regelaar een moeilijk woord markeert, laat hij dat woord niet zomaar passeren. In plaats daarvan stuurt hij dat specifieke woord op een omleiding.

Stel je voor dat het woord terug wordt gestuurd naar de klas voor een tweede ronde studie. Het wordt opnieuw gelezen, opnieuw geanalyseerd en "beoordeeld" door de interne logica van het model.
Dit is de "Nested Depth." Het model duikt dieper in alleen die moeilijke woorden zonder tijd te verspillen aan de makkelijke woorden. Het is alsof een student een verwarrende paragraaf in een boek opnieuw leest terwijl hij de makkelijke delen vluchtig doorneemt.

3. De "Samenvoeging" (Fusion)

Nadat de moeilijke woorden hun extra "beoordeling" hebben gehad, worden ze teruggebracht naar de hoofdlijn. Het model combineert vervolgens het oorspronkelijke begrip met dit nieuwe, diepere begrip om het uiteindelijke antwoord te creëren.

Waarom is dit bijzonder?

Het paper beweert dat deze methode een "plug-and-play" upgrade is. Je hoeft niet de hele school (het model) vanaf nul opnieuw op te bouwen. Je voegt alleen dit slimme verkeersregelaarsysteem toe aan bestaande modellen (zoals Qwen, Llama of Gemma) en traint het gedurende een korte tijd.

De Resultaten (Het Rapportcijfer):
De auteurs hebben dit getest op verschillende verschillende modellen:

Kleine Modellen: Ze namen kleine modellen (zoals 1 miljard parameters) en maakten ze aanzienlijk slimmer. Bijvoorbeeld, één model verbeterde zijn redeneer- en programmeerscores met ongeveer 2,5% tot 2,6%.
Grote Modellen: Ze testten het zelfs op een enorm, complex model (30 miljard parameters). Het verbeterde de prestaties van dat model met bijna 1%.
Efficiëntie: Het beste deel is dat dit het model niet veel langzamer of groter maakte. Het voegde slechts een klein beetje extra "hersencapaciteit" (parameters) en rekenkracht toe. Het is alsof je een beter cijfer haalt zonder dat je twee keer zo lang hoeft te studeren.

Het Geheime Recept (Trainingsstrategie)

Het paper legt ook uit dat het leren van de "verkeersregelaar" om accuraat te zijn erg moeilijk is. Als de regelaar te kieskeurig is, stopt alles; als hij te lui is, stopt er niets.

De Oplossing: Ze creëerden een speciale trainingsregel. Ze leerden de regelaar om heel goed te zijn in het onderscheiden van "makkelijke" en "moeilijke" woorden (zodat hij niet in de war raakt) en gaven hem een dynamische manier om zijn eigen strengheid (de drempelwaarde) aan te passen, zodat hij altijd het juiste aantal woorden kiest om te beoordelen.

In het kort:
DND is een manier om AI slimmer te maken door het extra tijd te laten besteden aan alleen de moeilijke delen van een zin, terwijl het door de makkelijke delen sjeest. Het is een slimmere, efficiëntere manier van denken, in plaats van gewoon harder aan alles te denken.

Technische Samenvatting: Dynamic Nested Depth (DND) voor Large Language Models

1. Probleemstelling

Het heersende paradigma voor het verbeteren van Large Language Models (LLM's) rust op het schalen van parameters, data en berekeningen. Deze aanpak brengt echter een exponentiële computationele overhead met zich mee voor zowel training als inferentie. Recente inzichten suggereren dat de moeilijkheidsgraad van voorspellingen sterk varieert per token; terwijl veel tokens triviaal te voorspellen zijn, vereisen anderen diepe computationele verwerking. Bestaande methoden zoals token pruning verminderen de overhead door oninformatieve tokens weg te gooien, maar opereren op basis van een binaire "behouden of weggooien"-logica. Bovendien tonen test-time schaalstrategieën (bijv. Latente Strategieën) aan dat recurrente berekening in verborgen toestanden de redeneerkracht kan verbeteren, maar ze missen vaak mechanismen om deze extra diepte dynamisch toe te wijzen aan de meest kritieke tokens zonder redundante kosten te veroorzaken voor eenvoudigere inputs. Er is behoefte aan een efficiënte aanpak die extra berekening adaptief toewijst aan moeilijke tokens, terwijl de efficiëntie van standaardverwerking voor anderen behouden blijft, bij voorkeur als een post-training methode die compatibel is met bestaande architecturen.

2. Methodologie: Dynamic Nested Depth (DND)

DND is een post-training methode die een dynamisch genest diepte-mechanisme integreert in bestaande Transformer-lagen. Het werkt door kritieke tokens te identificeren en ze te onderwerpen aan een extra ronde van verwerking ("review") binnen dezelfde laag, terwijl gemakkelijker tokens normaal doorgaan.

2.1 Architectuurontwerp

De DND-strategie wordt toegepast op de tussenliggende lagen van het model (van laag $L_s$ tot $L_e$ ), waarbij de initiële en finale lagen ongewijzigd blijven om de vooraf getrainde redeneerpatronen te behouden. De architectuur bestaat uit drie hoofdonderdelen:

Token-Choice Routing: In tegen tegenover "expert-choice" routing (Top-k over de gehele sequentie), wat het risico op informatielekkage in autoregressieve modellen met zich meebrengt, gebruikt DND een token-choice strategie. Een lineaire router $R$ verwerkt de verborgen toestand $x_i^v$ van elk token uit de standaard forward pass om een voorkeursscore te genereren. Deze score wordt genormaliseerd via een sigmoidfunctie om een waarschijnlijkheid $p_i \in (0, 1)$ te produceren. Een token wordt geselecteerd voor herverwerking indien en slechts indien $p_i > \tau$ , waarbij $\tau$ een vooraf gedefinieerde drempelwaarde is.
Nested Depth Processing: Geselecteerde tokens worden gemaskeerd en samengepakt in een compacte sequentie. Deze sequentie ondergaat een tweede forward pass door dezelfde transformerlaag $L_i$ , wat effectief een "geneste" diepte creëert. De output van deze pass, $X_d$ , vertegenwoordigt een verfijnde verborgen toestand voor de kritieke tokens.
Genormaliseerde Fusie: De uiteindelijke output voor een token is een fusie van de standaard output ( $X_v$ ) en de geneste output ( $X_d$ ). Voor geselecteerde tokens wordt de fusie beheerst door een gating-mechanisme: $x_i = (\beta \cdot p_i) \cdot x_i^d + (1 - \beta \cdot p_i) \cdot x_i^v$ , waarbij $\beta$ een leerbare balancerende parameter is. Niet-geselecteerde tokens behouden hun standaard output.

2.2 Trainingsstrategieën

Om ervoor te zorgen dat de router effectief onderscheid leert maken en de selectie stabiel blijft, stellen de auteurs twee nieuwe trainingsstrategieën voor:

Router Controlling Loss: Om te voorkomen dat routerscores gaan clusteren (wat leidt tot instabiele selectie) of verzadigen (wat gradiëntverdwijning veroorzaakt), wordt een dual-objective loss geïntroduceerd:
- Score Dispersion Loss ( $L_{sd}$ ): Gebaseerd op informatie-entropie, moedigt dit aan om scores over een breed bereik te verspreiden, wat zorgt voor duidelijke onderscheidingen tussen tokens.
- Distribution Preservation Loss ( $L_{dp}$ ): Een Mean Squared Error penalty die scores naar het midden van het dynamische bereik van de sigmoid (0.5) trekt, om te voorkomen dat ze in verzadigingsgebieden (0 of 1) instorten en om de gradiëntstroom te behouden.
Threshold Control Scheme: Om een stabiele selectieratio te handhaven zonder afhankelijk te zijn van top-k beperkingen, wordt een dynamische drempelwaarde controle gebruikt:
- Buffer Proportional Control: De drempelwaarde $\tau$ wordt in realtime bijgewerkt op basis van de fout tussen de werkelijke selectieratio en een doelratio $k_{target}$ binnen een trainingsbuffer.
- EMA Synchronisatie: Om misalignement tussen de optimalisatie van de router en de drempelwaarde te voorkomen, wordt een Exponential Moving Average (EMA) van ideale drempelwaarden (afgeleid van een buffer van samples) gebruikt om de operationele drempelwaarde geleidelijk bij te sturen, wat zorgt voor langetermijnstabiliteit.

3. Belangrijkste Bijdragen

Dynamic Nested Depth (DND): Een nieuw paradigma dat adaptief kritieke tokens identificeert en hun computationele diepte selectief verdiept via geneste herverwerking, waarmee verder wordt gegaan dan binaire token pruning.
Skilvol afgestemde Trainingsstrategie: Een uitgebreid trainingsframework met een router controlling loss (voor selectieprecisie) en een adaptief drempelwaarde controle-schema (voor selectiestabiliteit), wat robuuste token-niveau adaptieve computation mogelijk maakt.
Post-Training Integratie: Een plug-and-play methode die direct kan worden geïntegreerd in zowel dense als Mixture-of-Experts (MoE) architecturen met minimale parameter- en computationele overhead.

4. Experimentele Resultaten

De auteurs hebben DND geëvalueerd op diverse benchmarks op het gebied van algemene kennis, wiskunde, redeneren, coderen en agent-taken.

Dense Modellen: Op kleine schaal dense modellen (Qwen3-1.7B, Llama3.2-1B, Gemma3-1B) behaalde DND gemiddelde prestatieverbeteringen van respectievelijk 1.88%, 2.61% en 2.50% ten opzichte van standaard Supervised Fine-Tuning (SFT). Opmerkelijke winst werd waargenomen in complexe redeneertaken (bijv. BBH, GPQA).
MoE Modellen: Op het grootschalige sparse MoE model Qwen3-30B-A3B leverde DND een gemiddelde verbetering op van 0.87% over 17 benchmarks. De meest significante winst was te zien in Coding en Agent taken (bijv. +2.05 op BFCL v3).
Efficiëntie: De methode introduceert een verwaarloosbare toename in parameters (< 0.1M). Wat betreft de berekening voegt het herzien van 20% van de tokens ongeveer 6% extra FLOPs toe. Metingen van de inferentie-throughput geven aan dat het model 91.6%–93.1% van de snelheid van het standaard model behoudt onder verschillende sequentielengtes.
Ablatieonderzoeken: Experimenten bevestigden dat zowel de router controlling loss als het threshold control scheme essentieel zijn; het verwijderen ervan vermindert de prestatiewinst aanzienlijk. De optimale token selectieratio werd gevonden rond de 20–30%.

5. Betekenis en Claims

Het artikel claimt dat DND een zeer efficiënte benadering biedt om significante capaciteiten in LLM's te ontsluiten zonder de enorme kosten die gepaard gaan met schalen of trainen vanaf nul. Door computationele middelen dynamisch toe te wijzen aan tokens die een hoge onzekerheid vertonen (zoals aangetoond door hogere logit-entropie in de standaard forward pass), stelt DND modellen in staat om moeilijke concepten intern te "herzien". Deze aanpak valideert de hypothese dat redeneren en complexe planning rusten op een ijle subset van kritieke tokens, en dat het voorzien van deze tokens met extra diepte de prestaties van het model aanzienlijk verbetert. De methode wordt gepresenteerd als een praktische, post-training oplossing die kan worden toegepast op bestaande state-of-the-art modellen om hun redeneer- en generatiecapaciteiten te versterken met minimale overhead.