💬 NLP

Information Extraction from Electricity Invoices with General-Purpose Large Language Models

Deze studie toont aan dat voor algemene Large Language Models die informatie uit Spaanse elektriciteitsfacturen halen zonder fine-tuning, de kwaliteit van prompt engineering de kritische factor is die de prestaties bepaalt, waarbij few-shot-strategieën aanzienlijk beter presteren dan zero-shot-baselines en F1-scores van meer dan 96% behalen.

Oorspronkelijke auteurs: Javier Gómez, Javier Sánchez

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Javier Gómez, Javier Sánchez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme stapel elektriciteitsrekeningen van verschillende bedrijven hebt. Sommige zijn netjes en ordelijk, andere zijn rommelig, en ze zien er allemaal iets anders uit. Je doel is om specifieke nummers en namen (zoals "Totale Kosten" of "Klantnaam") uit elk document te halen en ze in een nette spreadsheet te plaatsen.

Jarenlang hadden computers hier moeite mee. Oude programma's waren als stijve robots: als een rekening er zelfs maar een klein beetje anders uitzag dan waarvoor ze waren getraind, raakten ze in de war en faalden ze.

Dit artikel gaat over het leren aan een nieuw soort "super-slimme robot" (een Groot Taalmodel, of LLM) hoe het deze rekeningen moet lezen zonder dat het voor elk nieuw ontwerp opnieuw getraind hoeft te worden. De onderzoekers stelden de vraag: Kunnen we deze slimme robots gewoon de juiste instructies geven, en zullen ze het dan zelf uitzoeken?

Hier is de uiteenzetting van hun bevindingen, met behulp van alledaagse analogieën:

1. Het "Recept" is belangrijker dan de "Chefsmuts"

De onderzoekers testten twee verschillende "chefs" (AI-modellen): Gemini 1.5 Pro (een enorme, complexe chef) en Mistral-small (een kleinere, snellere, efficiëntere chef).

Ze probeerden ook de "kookinstellingen" aan te passen (technische parameters zoals temperatuur en willekeur). Ze verwachtten dat misschien de grotere chef of de perfecte kookinstellingen het grootste verschil zouden maken.

De verrassing: Het maakte niet veel uit welke chef ze gebruikten of hoe ze de instellingen aanpasten. Het verschil in resultaten was minimaal – zoals het verschil tussen een taart die 99% perfect is en een die 99,5% perfect is.

De echte winnaar: De Prompt (de instructies gegeven aan de AI).
Zie de prompt als het recept.

Zero-Shot (Geen Recept): Gewoon zeggen "Lees deze rekening en geef me de nummers" is alsof je een chef vraagt te koken zonder recept. De resultaten waren acceptabel (ongeveer 78% nauwkeurig), maar niet geweldig.
Few-Shot (Met Voorbeelden): De AI een paar voorbeelden geven van "Hier is een rekening, en hier zijn de gegevens die ik wil" is alsof je de chef een proefgerecht geeft om te kopiëren. De nauwkeurigheid steeg naar meer dan 96%.

De les: Het gaat niet om het hebben van de duurste chef of de meest chique oven; het gaat om het schrijven van een heel goed recept.

2. De "Kopieer" strategie werkt het beste

De onderzoekers probeerden verschillende manieren om voorbeelden te geven:

De "One-Shot" methode: Eén voorbeeld tonen. Goed, maar niet het beste.
De "Cross-Validation" methode: Dit is de kampioen. Ze lieten de AI drie verschillende soorten rekeningen zien (zoals een tabelvormige, een lijstvormige en een complexe) en vroegen haar vervolgens om een vierde type te lezen dat ze nog nooit had gezien.
- Resultaat: De AI werd een meester-kopieerder. Ze leerde het concept van een elektriciteitsrekening, niet alleen het uiterlijk van één specifieke rekening. Ze bereikte 97,6% nauwkeurigheid met Gemini en 96,1% met Mistral.

3. Het "Vertaal" probleem

Voordat de AI de rekeningen kon lezen, moesten de onderzoekers de PDF-bestanden omzetten naar tekst (Markdown).

De analogie: Stel je voor dat je probeert een handgeschreven notitie te lezen die is gekopieerd door een vuil raam. Als de notitie in een nette tabel staat, komt de tekst helder naar voren. Als de notitie geperst zit in een rommelige, meervoudige kolom-indeling, raakt de tekst door elkaar.
De bevinding: De AI was slechts zo goed als de tekst die ze ontving. Als de rekening een schone, tabelachtige indeling had, was de AI bijna perfect. Als de rekening een rommelig, dicht ontwerp had, had de AI moeite omdat de "vertaling" van PDF naar tekst belangrijke aanwijzingen verloor.

4. De "Hallucinatie" valkuil

Ze merkten een persoonlijkheidsverschil op tussen de twee chefs:

Gemini (De Voorzichtige Chef): Als ze niet zeker was waar een getal stond, zei ze: "Ik zie het niet." Ze was zeer nauwkeurig, maar miste soms dingen.
Mistral (De Zekere Chef): Als ze niet zeker was, gokte ze toch een getal. Ze vond bijna alles (hoge "Recall"), maar bedacht ook getallen die er niet waren (lage "Precision").
De conclusie: Als je 100% zeker wilt zijn dat het getal echt is, wil je de voorzichtige chef. Als je alles wilt vinden en de antwoorden later kunt controleren, is de zekere chef acceptabel.

5. De oude robots verslaan

Het artikel vergelijkt deze nieuwe AI-chefs met de oude-school "robots" (traditioneel Machine Learning).

De oude robot: Als je deze trainde op Rekeningtype A, kon deze Rekeningtype A perfect lezen (91% nauwkeurigheid). Maar als je haar Rekeningtype B gaf, crashte en brandde ze (daling naar 67% nauwkeurigheid). Ze had het uiterlijk van het papier gememoriseerd, niet de betekenis.
De nieuwe AI: Deze hoefde niet getraind te worden op Rekeningtype B. Omdat ze het concept van een elektriciteitsrekening begreep, las ze de nieuwe types met meer dan 95% nauwkeurigheid. Ze generaliseerde de vaardigheid in plaats van het patroon te memoriseren.

Samenvatting

Het artikel concludeert dat je om een computer perfect bedrijfsdocumenten te laten lezen, geen op maat gemaakt brein hoeft te bouwen voor elk enkel documenttype. In plaats daarvan hoef je alleen maar betere instructies te schrijven en haar een paar goede voorbeelden te tonen.

De "geheime saus" is niet de grootte van het AI-model of de complexe wiskundige instellingen; het is de kwaliteit van de prompt (de instructies) en hoe goed het document is omgezet naar tekst voor de AI om te lezen.

1. Probleemstelling

De geautomatiseerde extractie van gestructureerde informatie uit semi-gestructureerde zakelijke documenten (bijvoorbeeld elektriciteitsfacturen) blijft een kritieke bottleneck voor het bedrijfsbeheer. Traditionele benaderingen ondervinden aanzienlijke beperkingen:

Regelgebaseerde/sjabloon-systemen: Falen bij het tegenkomen van lay-outvariaties of verschillende leveranciers.
Klassiek Machine Learning (ML): Methoden zoals SVM's of Random Forests vereisen uitgebreide handmatig geannoteerde datasets voor elk nieuw documenttype, wat leidt tot schaalbaarheidsproblemen en ernstige overfitting op specifieke trainingslay-outs.
Huidige Kloof: Hoewel Large Language Models (LLM's) potentie bieden voor flexibele extractie zonder fine-tuning, ontbreekt het aan rigoureuze empirische studies die hun prestaties op specifieke zakelijke documenten kwantificeren in vergelijking met klassieke baselines. Specifiek is het onduidelijk of prompt engineering of tuning van inferentieparameters (bijvoorbeeld temperatuur, Top-p) de primaire drijver is van de extractiekwaliteit.

2. Methodologie

Dataset: IDSEM

De studie maakt gebruik van een subset van de Invoices Database of the Spanish Electricity Market (IDSEM).

Schaal: 75.000 synthetisch gegenereerde PDF-facturen verspreid over 6 trainingsjablonen en 9 testsjablonen.
Annotatie: 107 semantische labels (bijvoorbeeld klantnaam, totaalbedrag, energietarieven) georganiseerd in 12 categorieën.
Uitdaging: De dataset bevat onbekende sjablonen in de testset om generalisatie te evalueren.
Preprocessing: PDF's zijn geconverteerd naar Markdown om de semantische structuur (tabellen, koppen) te behouden voor LLM-input. Een ground-truth verfijningstraject heeft de 107 mogelijke labels gemapt naar het specifieke subset dat in elk sjabloon aanwezig is, om modellen niet te straffen voor ontbrekende velden.

Geëvalueerde Modellen

Twee architectonisch verschillende, algemene LLM's werden getest zonder taakspecifieke fine-tuning:

Gemini 1.5 Pro: Een groot-schalig Mixture-of-Experts (MoE) model met een enorm contextvenster.
Mistral-small: Een dense model van 24B parameters geoptimaliseerd met Sliding Window en Grouped-Query Attention voor efficiëntie.

Experimenteel Kader

De studie isoleerde twee primaire variabelen:

Inferentieparameters: Een grid search van 19 configuraties (Temperatuur, Top-K, Top-P) werd uitgevoerd op Gemini 1.5 Pro om gevoeligheid te testen.
Prompt Engineering Strategieën: Zes verschillende strategieën werden vergeleken voor beide modellen met deterministische instellingen (Temperatuur = 0):
- Zero-shot: Taakinstrukties en schema alleen.
- Few-shot_v1: Eén geannoteerd voorbeeld met expliciete labelmarkeringen.
- Few-shot_v2: Eén niet-geannoteerd voorbeeld (platte tekst).
- Cross-valid_v1: Drie voorbeelden van sequentiële sjablonen (T1-T3) getest op T4-T6.
- Cross-valid_v2: Drie voorbeelden van structureel vergelijkbare sjablonen (T1, T2, T4) getest op structureel verschillende sjablonen (T3, T5, T6).
- Iteratief: Sequentiële extractie veld per veld.

Evaluatiemetrics

Prestaties werden gemeten met Precisie, Recall en F1-score op veldniveau, waarbij de model-JSON-uitvoer na normalisatie werd vergeleken met de ground truth.

3. Belangrijkste Resultaten

A. Inferentieparameters versus Prompt Engineering

Parametergevoeligheid: De variatie in F1-score over alle 19 parameterconfiguraties was marginaal (0,58 procentpunt). Het verschil tussen deterministische decoding (Temp=0) en stochastische sampling was verwaarloosbaar.
Conclusie: Hyperparameter tuning heeft een verwaarloosbaar effect op de extractiefideliteit. Beoefenaars kunnen deterministische instellingen gebruiken voor reproduceerbaarheid zonder prestaties op te offeren.

B. Impact van Prompt Engineering

Zero-shot Baseline: Bereikte ~78% (Gemini) en ~83% (Mistral) F1-score.
Few-shot Verbetering: Het introduceren van voorbeelden in de context leverde enorme winsten op (>11 procentpunten).
Beste Prestatie: De Cross-valid_v2 strategie (groeperen op visuele gelijkenis) behaalde de hoogste scores:
- Gemini 1.5 Pro: 97,61% F1-score.
- Mistral-small: 96,11% F1-score.
Belangrijkste Bevinding: De kwaliteit van de prompt is de dominante hefboom voor prestaties, ver weg van verschillen in modelarchitectuur of parameter tuning.

C. Modelvergelijking (Gemini versus Mistral)

Gemini 1.5 Pro: Toonde een hogere Precisie (95,24% in cross-validatie), wat betekent dat het beter was in het identificeren van wanneer een veld afwezig was (het vermijden van hallucinaties).
Mistral-small: Toonde een hogere Recall (vaak 100%), maar lagere precisie, wat wijst op een neiging om waarden te "hallucineren" voor velden die niet in het document aanwezig zijn.
Generalisatie: Ondanks dat Mistral kleiner is, behaalde het resultaten binnen 1-2% van Gemini, wat bewijst dat kleinere, efficiënte modellen zeer effectief kunnen zijn met de juiste prompting.

D. Vergelijking met Klassiek ML

Klassieke Baseline (SVM): Bereikte 91,86% op bekende sjablonen maar daalde naar 67,20% op onbekende sjablonen (T7), wat ernstige overfitting aantoont.
LLM Prestaties: Behield 95,24% (Gemini) en 91,50% (Mistral) precisie op structureel verschillende onbekende sjablonen.
Conclusie: LLM's generaliseren de extractietaak via semantisch begrip, terwijl klassiek ML lay-outpatronen memoriseert.

E. Structurele Invloed

De structuur van het documentsjabloon werd geïdentificeerd als de primaire determinant van moeilijkheid. Sjablonen met duidelijke tabulaire lay-outs (T1) presteerden aanzienlijk beter dan dichte, meerkolomse ontwerpen (T5), die degradeerden tijdens de conversie van PDF naar Markdown.

4. Belangrijkste Bijdragen

Empirische Validatie van Prompt Engineering: Aangetoond dat promptontwerp de kritieke factor is voor LLM-gebaseerde documentverwerking, waardoor uitgebreide hyperparameter tuning overbodig wordt voor extractie met hoge fideliteit.
Generalisatievermogen: Bewezen dat algemene LLM's state-of-the-art resultaten kunnen behalen op onbekende documentlay-outs zonder fine-tuning, en klassiek ML in generalisatiescenario's ~24 procentpunten overtreffen.
Architecturale Efficiëntie: Aangetoond dat efficiënte dense modellen (Mistral-small) enorme MoE-modellen (Gemini) kunnen evenaren wanneer ze worden gekoppeld aan optimale prompting strategieën.
Praktisch Kader: Een reproduceerbare pijplijn vastgesteld (PDF $\to$ Markdown $\to$ LLM) die bijna perfecte extractie (97,61% F1) bereikt voor bedrijfsautomatisering.

5. Betekenis en Implicaties

Operationele Transformatie: Deze studie biedt een haalbaar pad voor ondernemingen om factuurverwerking te automatiseren zonder de hoge kosten en data-eisen van het trainen van aangepaste modellen.
Strategische Verschuiving: De focus voor documentautomatisering verschuift van "modelconstructie" (training/fine-tuning) naar "modelorkestratie" (prompt engineering en pijplijndesign).
Beperkingen & Toekomstig Werk: De studie leunde op synthetische data en tekst-only verwerking (Markdown). Toekomstig werk moet zich richten op real-world ruis, visuele informatieverlies tijdens conversie, en de integratie van Vision-Language Models (VLM's) om lay-outkenmerken direct uit afbeeldingen te halen.

Kortom, het artikel stelt vast dat prompt engineering de primaire drijver van succes is in LLM-gebaseerde documentextractie, waardoor robuuste, sjabloon-agnostische automatisering mogelijk wordt die traditionele machine learning-benaderingen aanzienlijk overtreft.