Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction

1. Probleemstelling

Attribuutwaarde-extractie (AVE) is een kritieke subtaak in Informatie-extractie (IE), met name in de e-commerce, waarbij modellen meerdere onafhankelijke waarden (bijv. Schermgrootte, Resolutie, HDR-ondersteuning) moeten extraheren uit één enkel ongestructureerd productdocument.

• De Bottleneck: Standaard Large Language Models (LLM's) gebruiken autoregressieve decoding, waarbij tokens sequentieel worden gegenereerd ($t=1, 2, \dots$). Dit creëert een afhankelijkheid waarbij de generatie van de $n$-de attribuutwaarde afhankelijk is van de voltooiing van de $(n-1)$-de waarde.
• De Inefficiëntie: Deze sequentiële aard verhindert parallelisatie, wat leidt tot hoge inferentielatentie en verbodsdreigende kosten bij het verwerken van enorme datasets offline.
• De Kans: Bij AVE-taken is de extractie van verschillende attribuutwaarden conditioneel onafhankelijk gegeven de context van het invoerdocument. De waarde van "Schermgrootte" vereist theoretisch niet dat de waarde van "Resolutie" eerst bekend is. Standaard autoregressieve generatie dwingt echter een kunstmatige afhankelijkheidsketen af die de doorvoer beperkt.

2. Methodologie: Hyper-Parallel Decoding (HPD)

De auteurs stellen Hyper-Parallel Decoding (HPD) voor, een nieuw inferentie-algoritme dat de autoregressieve keten doorbreekt om meerdere onafhankelijke attribuutwaarden gelijktijdig binnen één prompt te genereren.

Kernmechanismen

1. Doorbreken van de Afhankelijkheidsketen:

   • HPD neemt conditionele onafhankelijkheid aan: $P(V_1, \dots, V_N | p) = \prod P(V_n | p)$.
   • In plaats van tokens $1 \to T$ sequentieel te genereren, genereert HPD het eerste token van alle $N$ waarden parallel, vervolgens het tweede token van alle $N$ waarden, en zo verder.
   • Dit reduceert het aantal inferentiestappen van $T$ (totaal aantal tokens) naar $K_{max}$ (maximale lengte van een enkele waarde).

2. Manipulatie van Position ID's:

   • Om parallelle generatie binnen een standaard decoder-only LLM mogelijk te maken, manipuleert HPD Position ID's.
   • Gap-invoeging: De invoerprompt wordt opgebouwd met een "skelet" dat attribuutsleutels bevat. Position ID's worden na elke attribuutsleutel verhoogd met een gap-grootte ($K_{max}$), waardoor "slots" voor de waarden worden gecreëerd.
   • Out-of-Order Geheugen: Nieuwe tokens worden aan het einde van de sequentie in het geheugen toegevoegd (om continuïteit van de Key-Value-cache te behouden), maar krijgen Position ID's toegewezen die ze logisch in de gaten plaatsen.
   • Aangepaste Attention Masks: Een gewijzigd causaal attention-mask wordt toegepast op basis van Position ID's in plaats van geheugenvolgorde. Dit zorgt ervoor dat bij het genereren van het $k$-de token van een waarde, het model de $k$-de tokens van andere waarden niet kan "zien" (causaliteit behouden), maar wel de prompt en de vorige tokens van zijn eigen waarde kan zien.

3. Document Stacking (Hyper-Parallelisme):

   • HPD introduceert een tweede dimensie van parallelisme door meerdere documenten ($J$) binnen één enkele prompt te stapelen.
   • Omdat waarden over verschillende documenten ook onafhankelijk zijn, kan het systeem $J \times N$ tokens decoderen in één inferentiestap.

4. Training en Fine-Tuning:

   • Zero-Shot Compatibiliteit: HPD werkt direct op voorgeprogrammeerde modellen zonder architecturale wijzigingen.
   • Fine-Tuning Strategie: Om de train/test-mismatch aan te pakken (waarbij trainingsdata sequentieel is maar inferentie parallel), fine-tunen de auteurs modellen met een gewijzigd attention-mask dat het HPD-inferentiepatroon nabootst. Dit stelt het model in staat de specifieke attention-verdeling te leren die nodig is voor parallelle decoding.

3. Belangrijkste Bijdragen

1. Nieuw Algoritme: Introductie van HPD, wat de generatie van tot 96 tokens per prompt mogelijk maakt (via document stacking en meerdere attributen) door gedeeld geheugen en berekening over onafhankelijke sequenties te benutten.
2. Plug-and-Play Efficiëntie: HPD is compatibel met bestaande kostenreductietechnieken (kwantisatie, kennisdistillatie) en standaard gebatchte inferentie, zonder wijzigingen aan de onderliggende LLM-architectuur.
3. Theoretische Generalisatie: Hoewel ontworpen voor AVE, berust de methode op de aanname van conditionele onafhankelijkheid, waardoor deze theoretisch toepasbaar is op elke taak met onafhankelijke outputstructuren.
4. Uitgebreide Evaluatie: Uitgebreide testen op drie e-commerce benchmarks (OA-Mine, AE110k, Amazon Reviews 2023) over verschillende modelgroottes (1,7B tot 32B parameters).

4. Experimentele Resultaten

De auteurs evalueerden HPD tegen standaard Autoregressieve (AR) decoding en Speculative Decoding.

• Doorvoer & Snelheid:
  • HPD bereikte tot 13,8X versnelling in inferentietijd ten opzichte van AR-decoding.
  • Op de Amazon Reviews-dataset bereikte HPD een 10,78X toename in doorvoer ten opzichte van AR, aanzienlijk beter dan Speculative Decoding (wat slechts ~2X versnelling bereikte).
• Kostenreductie:
  • Inferentiekosten werden met tot 13,8X verlaagd (bijv. van \7,74 naar \0,89 per 1k producten voor Qwen3-32B op Amazon Reviews).
  • Geëxtrapoleerd naar een corpus van 500 miljoen documenten, zou HPD ongeveer \597.000** kunnen besparen ten opzichte van AR en **\486.000 ten opzichte van GPT-4.1.
• Outputkwaliteit:
  • Geen Kwaliteitsdegradatie: HPD behield state-of-the-art F1-scores. In sommige gevallen (bijv. AE110k) presteerden gefinetunte HPD-modellen zelfs ~4,5% beter dan AR-baselines.
  • Menselijke Evaluatie: Blinde menselijke tests op Amazon Reviews bevestigden dat HPD-outputs werden verkiest of gelijk waren aan AR-outputs en GPT-4.1.

5. Betekenis en Impact

• Oplossen van de Offline Bottleneck: HPD richt zich specifiek op het scenario van offline gebatchte inferentie (veelvoorkomend in dataprocesseringspijplijnen), waarbij doorvoer en kosten kritischer zijn dan lage-latentie responsen voor een enkel verzoek.
• Hardwaregebruik: Door het maximale aantal gegenereerde tokens per inferentiestap te maximaliseren, benut HPD GPU VRAM en rekenresources beter, waardoor de sequentiële beperkingen van standaard Transformers worden overwonnen.
• Economische Haalbaarheid: De drastische vermindering van inferentiekosten maakt hoogwaardige generatieve IE haalbaar voor grootschalige industriële toepassingen (bijv. catalogeren van miljoenen producten) waar eerdere kosten verbodsdreigend waren.
• Toekomstige Richtingen: Het artikel suggereert dat HPD kan worden uitgebreid naar andere domeinen met onafhankelijke outputstructuren, mits de aanname van conditionele onafhankelijkheid geldt.

Conclusie: Hyper-Parallel Decoding vertegenwoordigt een paradigmaverschuiving in LLM-inferentie voor gestructureerde extractietaken. Door de generatie van onafhankelijke sequenties te ontkoppelen via manipulatie van Position ID's en aangepaste attention masking, bereikt het enorme efficiëntiewinsten zonder in te leveren op outputkwaliteit.