💻 computer science

Lightweight Semantic Embeddings Enable Redundancy-Sensitive Knowledge Graph Construction for LLM-Based Document Processing

Dit artikel introduceert AMODD, een door ML versterkte pipeline die lichtgewicht semantische embeddings gebruikt om redundante documentsecties te dedupliceren en grafiekentiteiten te clusteren, wat het verbruik van LLM-tokens en de latentie voor de constructie van kennisgrafieken aanzienlijk vermindert terwijl de hoge kwaliteit van retrieval behouden blijft.

Oorspronkelijke auteurs: Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

Gepubliceerd 2026-09-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie is er een groeiende spanning tussen het verlangen om enorme hoeveelheden informatie te begrijpen en de praktische beperkingen van rekenkracht. Large language models, de geavanceerde software die menselijke taal kan lezen en schrijven, worden vaak gebruikt om rommelige, ongestructureerde documenten om te zetten in georganiseerde kennisgrafen. Denk aan een kennisgraaf als een gestructureerde kaart van feiten, waarbij specifieke stukjes informatie aan elkaar worden gekoppeld om aan te tonen hoe ze zich tot elkaar verhouden. Dit is ongelooflijk nuttig voor sectoren zoals de energievoorziening of de juridische sector, waar regelgeving en technische standaarden honderden pagina's kunnen beslaan. Er ontstaat echter een aanzienlijk probleem wanneer deze documenten herhaling bevatten. Technische handleidingen en juridische codes herhalen vaak dezelfde regels of definities in licht verschillende bewoordingen over meerdere secties heen. Wanneer een computer probeert een dergelijk document te verwerken, behandelt hij elke sectie vaak als een unieke puzzel, waarbij de dure AI telkens opnieuw wordt gevraagd om hetzelfde kernidee te analyseren. Deze aanpak is niet alleen traag, maar ook financieel uitputtend, aangezien de kosten van het gebruik van deze AI-systemen direct verbonden zijn aan het volume aan tekst die zij verwerken.

Onderzoekers van Fujitsu Research of Europe zetten zich in om deze inefficiëntie op te lossen door een slimmere manier te creëren om deze kenniskaarten op te bouwen. Ze ontwikkelden een systeem genaamd AMODD, wat staat voor Automated Mapping of Data Definitions, en voegden daar een nieuwe laag intelligentie aan toe. In plaats van blindelings elke pagina van een document te verwerken, gebruikt dit verbeterde systeem eerst een lichtgewicht hulpmiddel om de tekst te lezen en de betekenis ervan te begrijpen. Dit hulpmiddel werkt als een snelle scanner die kan herkennen wanneer twee verschillende secties van een document eigenlijk hetzelfde zeggen, zelfs als ze andere woorden gebruiken. Door deze bijna-duplicaten te identificeren voordat de hoofd-AI ze überhaupt ziet, kan het systeem het redundante werk volledig overslaan. Het verwerkt vervolgens alleen de unieke secties, extraheert de feiten en groepeert alle vergelijkbare feiten die mogelijk anders geformuleerd waren. Ten slotte, wanneer een mens een vraag stelt over het document, zoekt het systeem naar antwoorden op basis van de betekenis van de woorden, in plaats van alleen te zoeken naar overeenkomstige trefwoorden.

Om te testen of deze aanpak daadwerkelijk werkte, creëerden het team een reeks synthetische documenten gerelateerd aan waterstofenergie-regelgeving. Ze ontwierpen drie versies van deze documenten: een korte versie met bijna geen herhaling, een middelmatige versie met enige herhaalde secties, en een lange versie die vol zit met zware redundantie. Vervolgens draaiden ze dezelfde documenten door twee verschillende pipelines. De eerste was de standaardmethode, die elke sectie onafhankelijk verwerkte. De tweede was hun nieuwe, verbeterde methode, uitgerust met de betekenis-scannende laag. De resultaten toonden een duidelijk patroon dat volledig afhankelijk was van de mate van herhaling in het document. Voor het korte, niet-repetitieve document was het nieuwe systeem iets langzamer, omdat het de extra stap moest zetten om te scannen op duplicaten die niet bestonden. Echter, naarmate de documenten repetitiever werden, begon het nieuwe systeem te blinken. Op het middelmatige document met matige herhaling verminderde de nieuwe methode het aantal keren dat de AI moest worden aangeroepen met bijna 58 procent en verlaagde het de totale hoeveelheid door de AI verwerkte tekst met 56,7 procent. Op het zeer redundante, lange document waren de besparingen nog dramatischer, met een reductie van 85,4 procent in AI-oproepen en 84,9 procent in het verwerkte tekstvolume.

Naast het besparen van geld en tijd, waren de onderzoekers er zorgvuldig op toezien dat deze efficiëntie niet ten koste ging van het verlies van belangrijke informatie. Ze maten het uiteindelijke aantal feiten, of "triples", die in de kennisgraaf terechtkwamen. Ze ontdekten dat hoewel het nieuwe systeem een kleinere graaf produceerde op de repetitieve documenten, dit niet kwam doordat het unieke feiten weggooide. In plaats daarvan was de kleinere omvang een direct gevolg van het verwijderen van de dubbele kopieën van dezelfde feiten die het oude systeem had behouden. Het nieuwe systeem slaagde erin de kernkennis te behouden terwijl het de ruis wegfilterde. Bovendien, toen ze testten hoe goed het systeem vragen kon beantwoorden, bleek de nieuwe methode superieur. Wanneer er een brede vraag werd gesteld zoals "Waar gaat dit document over?", was het nieuwe systeem, dankzij het begrip van de betekenis, in staat om relevante feiten veel effectiever op te halen dan het oude systeem, dat moeite had wanneer de vraag niet exact dezelfde woorden gebruikte als de tekst.

De studie concludeert dat deze lichtgewicht toevoeging de manier waarop deze systemen met documenten omgaan transformeert. In plaats van dat de kosten en tijd lineair meeschalen met de totale lengte van een document, schaalt de nieuwe aanpak met de hoeveelheid unieke informatie die erin zit. Als een document vol zit met herhaalde clausules, herkent het systeem dit en verspilt het geen middelen meer aan deze. De onderzoekers merkten op dat deze methode geen magische oplossing is voor elke situatie; het biedt geen voordeel voor korte, unieke documenten waar niets overgeslagen kan worden. Echter, voor de lange, repetitieve technische en regelgevende teksten die gebruikelijk zijn in veel sectoren, biedt deze aanpak een praktische manier om kunstmatige intelligentie efficiënter en betaalbaarder te maken zonder de kwaliteit van de uiteindelijke kennisgraaf op te offeren.

Technische Samenvatting: Lichtgewicht Semantische Embeddings voor Redundantie-gevoelige Knowledge Graph Constructie

Probleemstelling
Het construeren van kennisgrafen (knowledge graphs, KG's) uit lange, heterogene en gedeeltelijk redundante technische documenten met behulp van Large Language Models (LLM's) vormt een aanzienlijke operationele kostenuitdaging. Conventionele pipelines, zoals de Automated Mapping of Data Definitions (AMODD), verwerken secties van documenten doorgaans onafhankelijk. Dit ontwerp zorgt ervoor dat de computationele kosten (tokenverbruik, aantal LLM-aanroepen en latentie) lineair schalen met de lengte van het document in plaats van met het volume aan unieke semantische inhoud. In domeinen zoals regelgevende naleving en technische standaardisatie, waar clausules en vereisten frequent worden herhaald of geparafraseerd, leidt deze aanpak tot de redundante extractie van identieke feiten, wat onnodige financiële en computationele kosten met zich meebrengt zonder de kwaliteit van de resulterende graaf te verbeteren.

Methodologie
Het artikel stelt een ML-versterkte uitbreiding van de AMODD-pipeline voor die een Lichtgewicht Semantische Embedding-laag integreert om KG-constructie "redundantie-gevoelig" te maken in plaats van "documentlengte-gevoelig". Deze laag maakt gebruik van een lokaal geïmplementeerd, compact sentence-transformer model (all-MiniLM-L6-v2) om tekst in een gedeelde dichte vectorruimte te mappen. De methodologie werkt via drie afzonderlijke mechanismen:

Pre-LLM Sectie-deduplicatie: Voordat een LLM wordt aangeroepen, berekent het systeem een batch embeddings voor alle documentsecties en berekent een $n \times n$ cosinus-gelijkenheidsmatrix. Een greedy, document-volgorde pass identificeert bijna-duplicaten van secties op basis van een drempelwaarde ( $\tau_{sec}$ ). Redundante secties worden volledig overgeslagen; hun onderwerpen en triples worden overgenomen van de bijbehorende canonieke sectie, waarbij de paginaprovance wordt bijgewerkt om de oorspronkelijke locatie te reflecteren. Dit onderdrukt zowel de topic identificatie als de triple extractie LLM-aanroepen voor redundante inhoud.
Post-LLM Triple Clustering: Na extractie embedt de pipeline de tekstuele componenten van geëxtraheerde triples (subject, relatie, object). Semantisch equivalente entiteiten en relaties worden samengevoegd als hun vectorgelijkenis een drempelwaarde ( $\tau_{triple}$ ) overschrijdt. Een canonieke vertegenwoordiger (de kortste oppervlaktetitel) wordt geselecteerd voor elk cluster, wat de proliferatie van synoniemen vermindert die lexicale string-matching vaak mist.
Semantische RAG-retrieval: Voor downstream retrieval-augmented generation (RAG) vervangt het systeem keyword-overlap scoring door cosinus-gelijkenis ranking over een vooraf gebouwde index van triple embeddings. Dit maakt de retrieval mogelijk van semantisch relevante triples, zelfs wanneer de query-vocabulaire afwijkt van de geëxtraheerde tekst, met een toegepaste additive boost gebaseerd op het belang-label van de triple.

Belangrijkste Bijdragen
De primaire bijdrage is een pipeline-niveau ontwerp dat lichtgewicht embeddings gebruikt als een operationele controlelaag rondom LLM-aanroepen, in plaats van uitsluitend als een retrieval-mechanisme. De studie demonstreert dat:

Embeddings kunnen dienen als een kostenbeheersingsmechanisme door redundante LLM-aanroepen te voorkomen.
Dezelfde embedding-laag kan tegelijkertijd de grafenstructuur verfijnen (via clustering) en de retrieval-getrouwheid verbeteren (via semantische matching).
De aanpak de schaalbaarheid van KG-constructie transformeert van afhankelijk van het totale aantal secties naar afhankelijk van het aantal semantisch onderscheidende secties.

Experimentele Resultaten
De auteurs voerden een gecontroleerd A/B-experiment uit met synthetische documenten uit de waterstofsector met drie niveaus van redundantie: laag (D1), gemiddeld (D2) en hoog (D3).

Efficiëntie (RQ1):
- Niet-redundant (D1): De embedding-laag introduceerde een overhead van 6–10% in tokens, calls en latentie, wat bevestigt dat het geen voordeel biedt wanneer er geen redundantie aanwezig is.
- Gemiddeld Redundant (D2): De ML-versterkte pipeline verminderde het tokenverbruik met 56,7%, het aantal LLM-calls met 57,7% en de wall-clock latentie met 29,9%.
- Hoog Redundant (D3): De reducties waren nog prominenter: 84,9% minder tokens, 85,4% minder calls en 58,1% lagere latentie.
- Schaling: Terwijl het baseline LLM-call aantal toenam van ~~69 (D2) naar ~205 (D3), bleef de ML-versterkte pipeline bijna constant (~~29 calls), wat de onafhankelijkheid van de totale documentlengte aantoont.
Kwaliteit en Retentie (RQ2):
- Grafengrootte: Het definitieve aantal triples in de ML-conditie bleef voor alle documenten boven een redundantie-gecorrigeerde ondergrens (Baseline Triple Count $\times$ (1 - Skip Rate)). Voor D3 behield de ML-pipeline 46,8 triples, meer dan het dubbele van de theoretische ondergrens van 21,8, wat aangeeft dat unieke semantische inhoud behouden bleef ondanks agressieve deduplicatie.
- Retrieval Coverage: Semantische retrieval presteerde significant beter dan keyword-overlap retrieval voor brede queries (bijv. "Waar gaat dit document over?"). De verbeteringen in coverage varieerden van +0,481 (D1) tot +0,553 (D3), wat aantoont dat semantische matching effectief compenseert voor de kleinere grafengrootte door relevante triples te extraheren die geen exacte lexicale overlap missen.

Betekenis en Claims
Het artikel claimt dat lichtgewicht semantische embeddings de LLM-gebaseerde kennisgraaf-constructie redundantie-gevoelig kunnen maken. De betekenis ligt in de verschuiving van het kostenmodel: in plaats van te betalen voor elke sectie van een document, betaalt het systeem primair voor unieke semantische inhoud. De auteurs benadrukken dat dit geen nieuw embedding-model is of een vervanging voor LLM-extractie, maar een praktisch, pipeline-niveau ontwerp dat de constructiekosten vermindert terwijl de retrieval-coverage gelijk blijft of verbetert. De studie concludeert dat deze aanpak het meest voordelig is voor lange of repetitieve documentcollecties, waarbij aanzienlijke kostenbesparingen worden geboden (bijv. ~$4.780 per 1.000 D3-achtige documenten) zonder disproportioneel verlies van unieke kennis.

Meer zoals dit