Technische Samenvatting: Just Pass Twice (JPT)

Probleemstelling

Named Entity Recognition (NER) is een fundamentele taak voor informatie-extractie, die doorgaans wordt geformuleerd als token-niveau sequentielabeling. Hoewel discriminatieve modellen gebaseerd op bidirectionele encoders (bijv. BERT, DeBERTa) uitblinken in deze taak door het volledige contextgebruik te benutten, worden ze beperkt door hun parametergrootte en wereldkennis, wat zero-shot generalisatie naar nieuwe domeinen of entiteitstypen belemmert. Daarentegen beschikken Large Language Models (LLMs) over enorme wereldkennis en redeneervermogen, maar maken zij gebruik van causale (unidirectionele) aandacht. Deze architecturale beperking voorkomt dat tokens naar toekomstige context kunnen kijken, wat essentieel is voor het disambigueren van entiteitstypen (bijv. het onderscheiden van "Paris" als persoon versus stad vereist dat men later in de zin "album" ziet).

Bestaande LLM-gebaseerde NER-benaderingen proberen dit te omzeilen door generatieve formuleringen te gebruiken (het model instrueren om entiteiten op te sommen). Deze methoden lijden echter aan drie kritieke nadelen:

1. Snelheid: Autoregressieve decodering is inherent sequentieel en traag vergeleken met single-pass classificatie.
2. Kosten: Het genereren van output-tokens is aanzienlijk duurder dan het verwerken van input-tokens in commerciële API's.
3. Betrouwbaarheid: Generatieve modellen zijn gevoelig voor hallucinaties van entiteiten die niet in de input aanwezig zijn en voor het produceren van formateringsfouten.

Methodologie

De auteurs stellen Just Pass Twice (JPT) voor, een methode die causale LLMs in staat stelt om discriminatieve token-classificatie met volledige bidirectionele context uit te voeren zonder de onderliggende architectuur te wijzigen.

1. Bidirectionele Context via Input Duplicatie

De kerninzicht van JPT is dat het dupliceren van de inputsequentie de tokens in de tweede pass in staat stelt om de volledige zin te bekijken.

• Mechanisme: De inputsequentie $x$ wordt met zichzelf geconcateneerd: $x' = (x, [SEP], x)$.
• Aandachtsstroom: Wanneer de causale LLM de tweede pass verwerkt, kan een token op positie $k$ kijken naar alle voorgaande tokens in de tweede pass (standaard context uit het verleden) en, cruciaal, naar alle tokens in de eerste pass (toekomstige context relatief aan de originele zin).
• Efficiëntie: Deze operatie vindt volledig plaats tijdens de prefill-fase, die zeer parallel en compute-bound is. In tegen tegenstelling tot autoregressieve decodering, die memory-bound en sequentieel is, verwerkt JPT de verdubbelde input in een enkele forward pass, waardoor de latentie van token-voor-token generatie wordt vermeden.

2. Definitie-gestuurde Entiteitstyping

Om flexibele zero-shot generalisatie te bereiken, gaat JPT verder dan eenvoudige labelnamen (bijv. "PERSON") en maakt het gebruik van natuurlijke taaldefinities.

• Dual-Channel Injectie: Entiteitsdefinities worden via twee kanalen geïnjecteerd:
  1. Embeddings: Definities worden gecodeerd door een text encoder en geprojecteerd in een gedeelde ruimte om te dienen als entiteits-embeddings.
  2. Prompt: Definities worden direct in de input-prompt van de LLM opgenomen om token-encoding te sturen via aandacht.
• Controle: Dit stelt gebruikers in staat om grensgevallen en disambiguatieregels in natuurlijke taal te specificeren (bijv. definiëren of "nabij" als locatie telt), waardoor het model wordt losgekoppeld van vaste vocabulaires.

3. Architectuur en Training

• Backbone: JPT gebruikt bevroren decoder-only LLMs (Qwen3-4B en Qwen3-8B).
• Adapters: Alleen lichtgewicht componenten worden getraind: LoRA-adapters op attention projecties, token/entiteit projectie MLP's, en een bilineaire classifier. Dit werkt minder dan 2% van de backbone-parameters bij.
• Classificatie: Een bilineaire classifier berekent matching scores tussen geprojecteerde token-representaties (uit de tweede pass) en entiteits-embeddings. Een expliciete "O" (outside) klasse is inbegrepen.
• Data: Het model wordt getraind op een eigen Wikipedia-afgeleide dataset zonder overlap met evaluatie-benchmarks, wat zorgt voor echte zero-shot evaluatie.

Belangrijkste Bijdragen

1. Architecturale Innovatie: Een eenvoudige input-transformatie (duplicatie) die bidirectionele token-classificatie mogelijk maakt in causale LLMs zonder architecturale wijzigingen of speciale pretraining.
2. Definitie-gestuurde Typing: Een mechanisme voor flexibele zero-shot generalisatie met behulp van natuurlijke taaldefinities die via zowel embeddings als prompts worden geïnjecteerd, wat fijngestuurde controle biedt over entiteitsgrenzen.
3. Prestaties en Efficiëntie: De methode behaalt state-of-the-art resultaten terwijl deze aanzienlijk sneller is dan generatieve alternatieven.

Experimentele Resultaten

De auteurs evalueerden JPT op de CrossNER (vijf gespecialiseerde domeinen) en MIT (Film/Restaurant) benchmarks, evenals een uitgebreide suite van 20 diverse datasets.

• Nauwkeurigheid: JPT-8B bereikt een state-of-the-art F1-score, waarmee het de vorige beste methode (SaM) met gemiddeld +7.9 F1 verslaat op CrossNER en MIT. Het presteert beter dan UniNER-7B met +12.3 F1.
• Generalisatie: JPT-4B presteert beter dan zowel GLiNER-L als UniNER-7B op 19 van de 20 uitgebreide benchmarks, wat een robuuste generalisatie aantoont over biomedische, sociale media en meertalige domeinen.
• Efficiëntie: JPT is meer dan 20× sneller dan vergelijkbare generatieve methoden. Bijvoorbeeld, JPT-4B is ongeveer 22× sneller dan UniNER-7B. Dit wordt toegeschreven aan de parallelle prefill-aard van de methode versus de sequentiële decodering van generatieve modellen.
• Ablatie-studies:
  • Het verwijderen van input-duplicatie (single pass) vermindert de prestaties met -15.2 F1, wat de noodzaak van bidirectionele context bevestigt.
  • Het gebruik van definities in slechts één kanaal (prompt of embedding) levert beperkte winst op; de dual-channel aanpak biedt de hoogste prestaties (+12.6 F1 ten opzichte van geen definities).

Betekenis en Claims

Het artikel claimt dat JPT aantoont dat causale aandacht beperkingen geen generatieve benaderingen noodzakelijk maken voor token-niveau taken. Door de enorme parameterruimte en wereldkennis van decoder-only LLMs te benutten en tegelijkertijd de autoregressieve generatie te omzeilen, biedt JPT een oplossing die zowel uiterst accuraat als computationeel efficiënt is.

De auteurs benadrukken dat hun aanpak:

• De latentie en hallucinatieproblemen elimineert die inherent zijn aan generatieve NER.
• Het redeneervermogen van grote modellen benut zonder de kosten van sequentiële decodering.
• Een controleerbaar informatie-extractiekader biedt waarbij entiteitsgrenzen worden gedefinieerd door natuurlijke taalspecificaties in plaats van vaste labels.

Het werk suggereert dat eenvoudige input-transformaties architecturale knelpunten kunnen overwinnen, wat potentieel ook van toepassing is op andere token-niveau taken buiten NER. De auteurs merken beperkingen op met betrekking tot sequentielengte (het verdubbelen van de input verhoogt de $O(N^2)$ complexiteit) en de huidige ondersteuning voor enkel 'flat' NER (geneste entiteiten vereisen post-hoc samenvoeging), maar stellen dat de efficiëntie en nauwkeurigheid van de methode het een sterke kandidaat maken voor real-world implementatie.