💬 NLP

DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

Het artikel stelt DIRECT voor, een framework dat de prestaties en efficiëntie van grote taalmodellen voor sequentie-labeling verbetert door Direct Preference Optimization te combineren voor betere afstemming met een gecontroleerd, sjabloonvullend decodingsmechanisme dat redundante berekeningen minimaliseert.

Oorspronkelijke auteurs: Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

Gepubliceerd 2026-07-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robot hebt die bijna elk boek op het internet heeft gelezen. Het kan gedichten schrijven, wiskundige problemen oplossen en praten als een mens. Dit is wat wetenschappers een "Large Language Model" (LLM) noemen. Maar hier is de crux: hoewel deze robot een genie is in algemene gesprekken, kan hij een beetje een puinhoop zijn wanneer je hem vraagt om zeer specifieke, regelgevoelige taken uit te voeren. Een van die taken is "sequence labeling". Denk aan het als een spelletje "tikkertje" waarbij je door een zin moet gaan en op elk woord een specifieke sticker moet plakken. Is "Apple" een bedrijf? Is "Tim" een persoon? Is "Maart" een datum? De robot moet elke enkele sticker precies goed krijgen, in de exacte juiste volgorde, zonder extra woorden of ontbrekende labels.

Het probleem is dat deze robots gewend zijn om creatief en vrij vloeiend te zijn. Wanneer je ze vraagt om strikte regels te volgen, raken ze soms in de war, vergeten ze het formaat, of verzinnen ze gewoon dingen. Ook, omdat ze zo praatgraag zijn, doen ze er lang over om over elk woord na te denken, wat ze traag en duur in gebruik maakt. Wetenschappers hebben geprobeerd deze robots beter te leren regels te volgen en sneller hun werk te doen, maar het is geweest alsof je een golden retriever probeert te leren om een precieze operatie uit te voeren.

Hier komt een nieuwe methode genaamd DIRECT om de hoek kijken. De onderzoekers achter dit artikel wilden twee grote hoofdpijndossiers oplossen: het feit dat de robot instructies niet goed genoeg opvolgt, en het feit dat de robot te traag is. Ze hebben de robot niet alleen harder iets geleerd; ze veranderden hoe de robot leert en hoe de robot denkt.

Eerst gaven ze de robot een speciale vorm van training genaamd Direct Preference Optimization (DPO). Stel je voor dat je een hond leert om te apporteren. In plaats van alleen te zeggen "Ga de bal halen", laat je de hond twee verschillende manieren zien waarop hij kan apporteren: één waarbij hij de bal perfect brengt, en één waarbij hij de bal halverwege laat vallen. Je zegt dan tegen de hond: "Ik vind de eerste veel beter." Door de robot duizenden van deze "goed vs. slecht" voorbeelden te laten zien, leert hij precies te begrijpen wat mensen verkiezen, waardoor het veel waarschijnlijker is dat hij de taak de eerste keer goed uitvoert.

Ten tweede, en dit is het echt slimme deel, veranderden ze hoe de robot zijn antwoord schrijft tijdens de eigenlijke test. Meestal moet een robot de hele zin opnieuw uitschrijven, woord voor woord, inclusief de woorden die hij al kent. Het is alsof je een student vraagt om het hele verhaal van "Assepoester" opnieuw te schrijven, alleen om de kleur van de jurk aan het einde te veranderen. DIRECT stopt deze verspilling. In plaats van het hele verhaal opnieuw te schrijven, krijgt de robot een "invul-sjabloon". Hij hoeft alleen de specifieke stickers (de labels) te schrijven en kan de rest overslaan. De computer onthoudt de rest van het verhaal onmiddellijk, wat een enorme hoeveelheid tijd en energie bespaart.

De resultaten van deze nieuwe aanpak zijn zeer indrukwekkend. De onderzoekers testten DIRECT op acht verschillende datasets, die als verschillende sets oefenopgaven dienen die zaken bevatten zoals het vinden van namen van mensen, plaatsen en organisaties. Ze kwamen tot de conclusie dat DIRECT niet alleen nauwkeuriger was dan andere topmethoden, maar ook aanzienlijk sneller. In feite was DIRECT op sommige tests tot wel 9 keer sneller dan de beste bestaande methoden.

Toen ze nauwkeurig keken naar waarom het zo goed werkte, ontdekten ze dat beide onderdelen van hun plan essentieel waren. Als ze de speciale training (DPO) hadden verwijderd, maakte de robot meer fouten. Als ze de "invul-truc" voor snelheid hadden verwijderd, kreeg de robot de juiste antwoorden maar duurde het eeuwen om het te doen. Door strikte regelvolgende training te combineren met een slimme manier om onnodig werk over te slaan, slaagde DIRECT erin om het beste van twee werelden te krijgen: een robot die zowel een perfectionist als een snelheidskampioen is.

Het artikel laat zien dat we met de juiste training en een beetje engineering-truquerij deze krachtige AI-tools veel nuttiger kunnen maken voor taken die precisie vereisen. Het gaat er niet alleen om de robot slimmer te maken; het gaat erom hem te leren hoe hij zich moet concentreren en hoe hij efficiënt kan werken, waardoor een praatgrage genie verandert in een betrouwbare, snelle werker.

Technische Samenvatting: DIRECT voor Efficiënte en Gealigneerde Sequence Labeling met LLM's

1. Probleemstelling

Sequence labeling, een verfijnde informatie-extractietaak die Named Entity Recognition (NER), woordsegmentatie en Part-of-Speech (POS) tagging omvat, is cruciaal voor downstream NLP-applicaties. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in scenario's met weinig middelen (low-resource) door middel van fine-tuning, kampen bestaande benaderingen met twee primaire uitdagingen:

Onvoldoende Domeinalignment: Huidige methoden vertrouwen op instructie-gebaseerde formattering tijdens Supervised Fine-Tuning (SFT). Dit garandeert echter niet dat de output van het model strikt voldoet aan de verwachte sequence labeling-structuren, wat leidt tot schendingen van het formaat en misalignments met menselijke voorkeuren.
Lage Inferentie-efficiëntie: De meeste benaderingen behouden het standaard autoregressieve decodingsproces tijdens inferentie. Dit vereist dat het model elke token in de outputsequentie genereert, inclusief structurele elementen (bijv. haakjes, scheidingstekens) en bekende context, wat resulteert in redundante berekeningen en trage inferentiesnelheden.

2. Methodologie: DIRECT

De auteurs stellen DIRECT voor (DPO-based Inference RECTification), een framework ontworpen om alignment en efficiëntie aan te pakken via een dubbel mechanisme van optimalisatie tijdens de training en rectificatie tijdens de inferentie.

2.1. Precisie-georiënteerde Modeloptimalisatie (Trainingsfase)

Om domeinspecifieke alignment te verbeteren, gebruikt DIRECT Direct Preference Optimization (DPO) volgend op de standaard SFT.

Data Constructie: Het SFT-getrainde model genereert kandidaat-antwoorden voor inputsequenties. Voorkeursparen $(X, O^+, O^-)$ worden geconstrueerd waarbij $O^+$ de grondwaarheid (ground truth) is en $O^-$ een "minder geprefereerde" sample is.
Selectiestrategie: Om de entropiewinst te maximaliseren, worden minder geprefereerde samples geselecteerd op basis van een specifiek criterium: hoge BLEU-scores (wat duidt op vloeiendheid) maar lage F1-scores (wat duidt op slechte entiteit-extractie nauwkeurigheid). Dit dwingt het model om het onderscheid te leren tussen vloeiende maar incorrecte outputs en accurate, gestructureerde outputs.
Optimalisatie: De DPO-doelstelling maximaliseert het verschil in log-waarschijnlijkheid tussen de geprefereerde en de minder geprefereerde outputs onder het trainbare model ten opzichte van een vast referentiemodel, waardoor het gedrag van het model effectief wordt afgestemd op menselijke voorkeuren voor sequence labeling-taken.

2.2. Inferentie-rectificatie (Inferentiefase)

Tijdens de inferentie introduceert DIRECT een gecontroleerd decodingsproces dat strikte naleving van het formaat afdwingt en de computationele efficiëntie maximaliseert.

Template-Filling Mechanisme: In plaats van de volledige outputsequentie autoregressief te genereren, wordt het model beperkt tot het genereren van enkel de label-tokens. De structurele componenten (bijv. woorden, haakjes, scheidingstekens) worden vooraf ingevuld via een template.
KV Cache Hergebruik: Het framework maakt gebruik van de Key-Value (KV) Cache om redundante aandacht-berekeningen te vermijden.
1. Prefilling: Voordat een label voor een woord $x_i$ wordt voorspeld, verwerkt het systeem de voorafgaande bekende sequentie (context $C_{t-2}$ ) in één enkele pass om de KV Cache te berekenen en op te slaan.
2. Incrementele Generatie: Het model berekent alleen nieuwe key-values voor de specifieke tokens die nodig zijn voor het label (bijv. het openende haakje en de label-karakters).
3. Restrictie van Kandidaten: De decoding-ruimte wordt beperkt tot een vooraf gedefinieerde kandidaatverzameling van label-tokens, wat syntactische validiteit garandeert.
Resultaat: Deze aanpak consolideert meerdere aandacht-operaties in één enkele prefill-pass voor bekende prefixes, wat het aantal generatiestappen aanzienlijk vermindert.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Domein-adaptieve Alignment Optimalisatie: Door DPO te integreren met een verfijnde strategie voor het selecteren van voorkeursparen en door gecontroleerde interventies tijdens de inferentie te introduceren, stelt de methode LLM's in staat om sequence labeling-taken beter te begrijpen en nauwer aan te sluiten bij menselijke voorkeuren.
Significante Verbetering in Inferentie-efficiëntie: Het template-filling mechanisme, dat vereist dat het model alleen label-tokens genereert terwijl de KV Cache voor de rest van de sequentie wordt hergebruikt, levert een tot 9× snellere inferentie op vergeleken met state-of-the-art methoden.
State-of-the-Art Prestaties: Uit uitgebreide experimenten op NER- en POS-taken onder low-resource settings blijkt dat DIRECT superieure prestaties levert vergeleken met bestaande baselines.

4. Experimentele Resultaten

De auteurs evalueerden DIRECT op acht datasets (vier Chinese en vier Engelse NER/POS datasets) onder low-resource settings ( $K=250, 500, 1000$ samples).

Prestaties: Bij het gebruik van GLM4-9B-Chat als backbone behaalde DIRECT consequent de beste F1-scores over vrijwel alle datasets. Bij het gebruik van LLaMA-3.1-8B-Instruct behaalde het over het algemeen de op één na beste resultaten.
- Opvallende verbeteringen werden waargenomen op de MIT-Movie dataset, waar F1-scores met 13,69% tot 15,69% toenamen ten opzichte van de baselines, afhankelijk van de samplegrootte.
- De gemiddelde F1-verbeteringen varieerden van 0,37% tot 14,72% over verschillende datasets.
Ablatie-studies: Het verwijderen van DPO ("w/o DPO") of de inferentie-rectificatie ("w/ SFT" alleen) resulteerde in een consistente degradatie van de prestaties. Specifiek op de Taobao- en MIT-Movie-datasets veroorzaakte het verwijderen van de volledige DIRECT-pipeline F1-dalingen van wel 20,21%, wat de noodzaak van zowel de trainings- als de inferentiecomponent bevestigt.
Efficiëntie: Een analyse van de inferentietijd op de CTB6-dataset toonde aan dat DIRECT slechts 32,86 seconden nodig had om 10 zinnen te verwerken, vergeleken met 309,44 seconden voor GNER en 1.468,00 seconden voor InstructUIE. Dit vertegenwoordigt een versnelling van ongeveer 10x ten opzichte van sterke baselines.
Casestudies: Kwalitatieve analyse toonde aan dat baselines vaak leden onder ontbrekende outputs, redundante outputs of formaatfouten (bijv. het niet labelen van specifieke woorden of het negeren van structurele regels). DIRECT demonstreerde superieure robuustheid door strikt het outputformaat te volgen en alle entiteiten accuraat te classificeren.

5. Betekenis

Het artikel beweert dat DIRECT een praktische oplossing biedt voor de inzet van LLM's in sequence labeling-taken, met name in omgevingen met weinig middelen. Door DPO te combineren om het gedrag van het model af te stemmen op taakspecifieke vereisten en een template-filling mechanisme te introduceren om redundante generatie te elimineren, bereikt de methode een dubbele doorbraak: het verbetert de nauwkeurigheid en alignment aanzienlijk, terwijl de computationele kosten drastisch worden verlaagd. De auteurs positioneren DIRECT als een zeer efficiënt en robuust framework dat bestaande generatieve en discriminatieve benaderingen overtreft op zowel prestatie als inzetbaarheid.