💬 NLP

ReLTEx: Reliable LLM-based Taxonomy Expansion

Het artikel introduceert ReLTEx, een framework dat de betrouwbaarheid en semantische coherentie van op LLM gebaseerde taxonomie-expansie verbetert door kandidaatgeneratie te combineren met structuurbewuste validatie en recursieve expansiecontrole om hallucinaties en hiërarchische inconsistenties te mitigeren.

Oorspronkelijke auteurs: Zeinab Ghamlouch, Mehwish Alam

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zeinab Ghamlouch, Mehwish Alam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantische, chaotische bibliotheek waar elk boek, elke gedachte en elk feit verspreid over de vloer ligt. Om zin te krijgen in deze chaos, gebruiken wetenschappers iets dat een taxonomie wordt genoemd. Denk aan een taxonomie als een supergeorganiseerde archiefkast of een stamboom voor ideeën. Het groepeert dingen op basis van hoe ze met elkaar verband houden: "Hond" is een type "Dier", en "Dier" is een type "Levend wezen". Deze structuur helpt computers om de wereld te begrijpen, antwoorden op vragen te vinden en door enorme hoeveelheden gegevens te navigeren. Maar hier is het probleem: de wereld verandert snel. Nieuwe ideeën duiken elke dag op, en het handmatig bijwerken van deze archiefkasten is alsof je probek een miljoen Lego-steentjes met de hand probeert te sorteren — het is traag, duur en onmogelijk bij te houden.

Onlangs hebben we een nieuwe helper ontmoet: het Large Language Model (LLM). Je kunt een LLM zien als een superintelligënte, veelgelezen robot die bijna alles op het internet heeft gelezen. Het is erg goed in het raden van wat er als volgende in een zin komt of het suggereren van nieuwe ideeën. Wetenschappers hoopten dat deze robots automatisch onze archiefkasten konden bouwen en bijwerken. Maar er is een addertje onder het gras. Soms worden deze robots een beetje té creatief. Ze kunnen suggereren dat "Rivierbank" een type "Financiële Instelling" is, simpelweg omdat ze het woord "Bank" delen, of ze kunnen een concept verzinnen dat eigenlijk niet bestaat. Als we hen de vrije loop laten, kan onze nette archiefkast veranderen in een rommelige bende onzin.

Hier komt een nieuwe studie kijken, die een raamwerk voorstelt genaamd ReLTEx. De onderzoekers wilden kijken of ze deze slimme robots konden gebruiken om onze taxonomieën uit te breiden zonder er een puinhoop van te maken. Ze lieten de robot niet zoma van alles schrijven wat hij wilde; ze bouwden een "kwaliteitscontrole"-systeem om elke suggestie te controleren. Ze ontdekten dat door de creativiteit van de robot te combineren met een strikte, op structuur gerichte controleur, ze nieuwe, nuttige concepten konden genereren die ook daadwerkelijk correct in de stamboom passen. De studie suggereert dat deze methode veel betrouwbaardere resultaten oplevert dan wanneer men de robot op zijn eigen intuïtie laat gissen, hoewel ze opmerken dat het systeem nog getest moet worden op zelfs grotere en complexere datasets om echt perfect te zijn.

Het Verhaal van ReLTEx: De Creatieve Robot Temmen

Hoe werkt ReLTEx dan precies? Stel je voor dat jij de hoofdbibliothecaris bent van een zeer strikte bibliotheek. Je hebt een robotassistent die ongelooflijk goed is in het schrijven van verhalen en het verzinnen van nieuwe personages. Je vraagt de robot: "Wat voor dieren leven er in de oceaan?" De robot kan zeggen: "Vissen, walvissen en... een 'Zee-Kaas'!"

Als je de robot op zijn woord neemt, zit je bibliotheek vol met nepdieren. ReLTEx is het systeem dat je bouwt om dit te stoppen. Het werkt in drie stappen, als een drie-fasen assemblageband voor ideeën.

Stap 1: De Creatieve Vonk
Eerst vraat het systeem de robot (de LLM) om nieuwe ideeën te bedenken. Maar het zegt niet simpelweg "geef me ideeën". Het geeft de robot een specifieke context. Het laat de robot de route zien van de bovenkant van de bibliotheek naar de huidige plank. Bijvoorbeeld, als de robot naar de sectie "Fruit" kijkt, ziet het dat "Fruit" onder "Voedsel" valt, en ziet het dat "Appel" en "Banaan" al aanwezig zijn. De robot krijgt de opdracht om nieuwe vruchten te verzinnen die op dit detailniveau passen. De robot kan bijvoorbeeld "Mango" of "Kiwi" voorstellen. De robot genereert een lijst met kandidaten, maar we weten dat hij er per ongeluk ook "Lepel" of "Blauw" bij kan zetten.

Stap 2: De Strikte Inspecteur
Dit is het belangrijkste deel. Voordat een nieuw idee op de plank mag, moet het een test doorstaan. De onderzoekers hebben een speciale "inspecteur" (een classifier) gebouwd die werkt als een strikte bibliothecaris. Deze inspecteur controleert niet alleen of de woorden goed klinken; hij controleert de structuur. Hij vraagt: "Hoort dit nieuwe idee echt onder deze ouder?"

De inspecteur werd getraind op een enorme lijst van correcte en incorrecte voorbeelden. Hij leerde dat "Antwoord" onder "Vraag" thuishoort, maar dat "Antwoord" niet onder "Creatief Werk" thuishoort, alleen omdat antwoorden creatief kunnen zijn. Hij leerde ook om "hallucinaties" te herkennen — ideeën die de robot heeft verzonnen maar die niet bestaan. Als de robot "Zee-Kaas" voorstelt, zegt de inspecteur: "Nee, dat is geen echt dier, en het past niet in de stamboom." Alleen de ideeën die deze strikte test doorstaan, mogen blijven.

Stap 3: De Veiligheidsrem
Soms kan een robot één idee goed krijgen en daarna volledig uit de bocht vliegen, waarbij hij een hele keten van onzin verzint op basis van die ene fout. ReLTEx heeft een veiligheidsrem voor dit scenario. Het kijkt naar hoe zeker de inspecteur was over de nieuwe ideeën. Als de inspecteur slechts 5ó% zeker is over de nieuwe "Zee-Kaas", stopt het systeem met het uitbreiden van die tak. Het zegt: "We zijn hier niet zeker genoeg over, dus laten we stoppen voordat we een grotere puinhoop maken." Dit zorgt ervoor dat de bibliotheek niet de verkeerde kant op groeit.

Wat Ze Hebben Gevonden

De onderzoekers testten dit systeem op twee verschillende "bibliotheken" (datasets). De ene was een kleinere, standaard testset genaamd SemEval-2016 Task 13 Environment, en de andere was een enorme, echte bibliotheek genaamd Schema.org met meer dan 1.100 concepten.

Ze speelden een spel genaamd "Masked Taxonomy Expansion". Stel je voor dat we sommige echte boeken in de bibliotheek hebben verstopt en de robot vragen om ze weer te vinden.

Op de kleinere bibliotheek slaagde de robot Mistral (een van de modellen die ze testten) erin om ongeveer 42% van de verborgen boeken exact goed te vinden.
Op de gigantische Schema.org bibliotheek vond hij ongeveer 23%.

Hoewel deze cijfers laag kunnen klinken, merken de onderzoekers op dat dit een zeer moeilijke taak is, omdat de robot nieuwe ideeën vanuit het niets moet verzinnen, in plaats van simpelweg te kiezen uit een lijst. Belangrijker nog: toen ze menselijke experts vroegen naar de resultaten, waren de experts zeer onder de indruk. Voor de Schema.org bibliotheek gaven de menselijke beoordelaars het systeem een bijna perfecte score van 1.000 voor "Granulariteit Consistentie" (wat betekent dat de nieuwe ideeën perfect op het juiste detailniveau passen) en 1.000 voor "Hiërarchische Relatie Rationaliteit" (wat betekent dat de ouder-kind relaties logisch zinvol zijn).

De studie suggereert dat ReLTEx een grote stap voorwaarts is omdat het niet alleen vertrouwt op het "onderbuikgevoel" van de robot. Door de structurele inspecteur toe te voegen, filtert het systeem de onzin eruit en houdt het de stamboom georganiseerd.

De Limieten en de Toekomst

De onderzoekers zijn voorzichtig om aan te geven dat dit geen toverstaf is die alles oplost. Ze gebruikten relatief kleine, open-source robots voor hun tests, en ze vermoeden dat grotere, krachtigere robots het nog beter zullen doen. Ze geven ook toe dat hun "inspecteur" een geleerde benadering is, wat betekent dat er af en toe nog steeds een fout idee doorheen kan glippen.

Bovendien, omdat dit een nieuwe manier van werken is (het genereren van ideeën in plaats van alleen het sorteren van bestaande ideeën), is er nog geen perfecte standaardmethode om het met oude methoden te vergelijken. De studie suggereert dat hoewel ReLTEx meer betrouwbare en coherente taxonomieën produceert, het nog steeds een opkomend veld is. Het team concludeert dat hun aanpak een veelbelovende manier is om onze digitale bibliotheken georganiseerd te houden in een wereld die sneller verandert dan wij handmatig kunnen bijwerken, maar het is een instrument dat met zorg en voortdurende tests moet worden gebruikt.

Technische Samenvatting: ReLTEx – Betrouwbare LLM-gebaseerde Taxonomie-expansie

1. Probleemformulering

Taxonomieën bieden gestructureerde hiërarchische representaties van kennis die essentieel zijn voor toepassingen zoals kennisgrafen en semantische zoekopdrachten. Het handmatige onderhoud is echter kostbaar en moeilijk op te schalen naarmate domeinen evolueren. Hoewel automatische taxonomie-expansie is verkend met behulp van lexico-syntactische patronen, distributionele semantiek en Pretrained Language Models (PLM's), kampen bestaande methoden met aanzienlijke beperkingen:

Kandidaat-beperkingen: De meeste benaderingen opereren onder een beperkte setting waarbij kandidaatconcepten vooraf worden verstrekt, in plaats van dat nieuwe concepten dynamisch worden gegenereerd.
LLM-hallucinaties en inconsistenties: Directe afhankelijkheid van Large Language Models (LLM's) voor generatie resulteert vaak in ruis, redundantie of hiërarchisch inconsistente structuren. Gegenereerde concepten kunnen semantisch ambigu, redundant (bijv. "Vraag" versus "Inquiry") of gekoppeld aan ongepaste ouders zijn, wat de hiërarchische coherentie in gevaar brengt.
Recursieve Propagatie: Zonder expliciete structurele verificatie kunnen fouten in ouder-kindrelaties zich ophopen en voortplanten tijdens recursieve expansie, wat leidt tot semantische drift.

Het kernprobleem dat wordt aangepakt is hoe men generatieve taxonomie-expansie kan uitvoeren—het creëren van volledig nieuwe concepten dynamisch—terwijl men ervoor zorgt dat de resulterende structuur semantisch coherent en hiërarchisch consistent blijft.

2. Methodologie: Het ReLTEx-framework

ReLTEx is een framework dat is ontworpen om zero-shot LLM-gebaseerde kandidaatgeneratie te combineren met structuurbewuste validatie en recursieve expansiecontrole. Het proces werkt in drie afzonderlijke stadia:

A. LLM-gebaseerde Kandidaatgeneratie

Het framework voert een depth-first traversale uit van de seed-taxonomie. Voor elk doelknooppunt (target node) construeert het een prompt die de volgende bevat:

Lokale Hiërarchische Context: Het pad van de root naar het doelknooppunt.
Bestaande Kinderen: Om het abstractieniveau (granulariteit) te sturen.

De LLM krijgt de instructie om een vast aantal ( $k$ ) nieuwe kindconcepten te genereren, waarbij duplicaten, synoniemen of eenvoudige herformuleringen van bestaande siblings worden vermeden. De gegenereerde kandidaten ondergaan basisvormen van lexicale normalisatie om exacte duplicaten te verwijderen voordat validatie plaatsvindt.

B. Structuurbewuste Kandidaatvalidatie

Om gehallucineerde of structureel inconsistente relaties te filteren, gebruikt ReLTEx een classifier-gestuurd validatiemechanisme. In tegen tegenstelling tot methoden die uitsluitend vertrouwen op semantische gelijkenis, leert deze module structurele compatibiliteit.

Model: Een DistilRoBERTa-encoder die is gefinetuned op gelabelde ouder-kind relatieparen.
Inputformaat: Pad [SEP] Ouder [SEP] Kind, waarbij het pad de voorouder-sequentie vertegenwoordigt.
Trainingsdata:
- Positieve Voorbeelden: Geldige taxonomie-edges uit de seed.
- Negatieve Voorbeelden: "Hard negatives" gegenereerd via hiërarchie-bewuste perturbaties, inclus inclusief omgekeerde edges, sibling-verwarringen, grootouder-kind verwarringen, mismatches op hetzelfde niveau, nabijgelegen hiërarchie-verwarringen en willekeurige ongeldige relaties.
Beslissing: De classifier geeft een betrouwbaarheidsscore $s(p, v, c_i)$ af. Kandidaten met scores boven een drempelwaarde $\tau$ worden geaccepteerd; anderen worden verworpen.

C. Recursieve Expansiecontrole

Om de propagatie van fouten en ongecontroleerde groei te voorkomen, implementeert ReLTEx een recursief stopmechanisme gebaseerd op de betrouwbaarheidsscores van geaccepteerde kinderen:

Minimumaantal: Een tak wordt alleen voortgezet als deze minstens $m$ geaccepteerde kinderen heeft ( $|A_v| \ge m$ ).
Stabiliteit van Betrouwbaarheid: Expansie gaat alleen door als de gemiddelde betrouwbaarheid van de huidige laag geaccepteerde kinderen ( $S(v)$ ) niet significant lager is dan de gemiddelde betrouwbaarheid van de ouder ($S(parent(v))$). Specifiek: $S(v) \ge S(parent(v)) - \delta$ .

3. Belangrijkste Bijdragen

Het paper stelt drie primaire bijdragen voor:

Een Zero-Shot Expansie Framework: Een systeem dat de contextuele informatie van de taxonomiehiërarchie exploiteert om kandidaatconcepten te genereren zonder afhankelijk te zijn van een vooraf gedefinieerde kandidaatpool.
Structuurbewuste Validatie: Een mechanisme dat gebruik maakt van een getrainde classifier om hallucinaties en structureel inconsistente ouder-kindrelaties te mitigeren, specifiek ontworpen om de betrouwbaarheid van recursieve expansie te verbeteren.
Omvattend Evaluatieprotocol: Een veelzijdige evaluatiestrategie die aangepaste automatische metrieken, menselijke beoordeling en LLM-gebaseerde taxonomie-evaluatie (met behulp van LITE) combineert.

4. Experimentele Resultaten

Het framework werd geëvalueerd op twee benchmarks: SemEval-2016 Task 13 (Environment) en Schema.org, waarbij een gemaskeerde taxonomie-expansie setting werd gebruikt waarbij 20% van de bladknopen (leaf nodes) verborgen waren als grondwaarheid (ground truth). Vier open-source LLM's (Llama3.2, Mistral, Qwen3, DeepSeek-R1) werden getest als generatoren.

Kwantitatieve Metrieken

Recovery: Alle modellen toonden het vermogen om verborgen concepten te herstellen. Mistral behaalde de sterkste algehele prestaties op de grotere Schema.org dataset (hoogste R@K, MRR en WuP scores), terwijl Llama3.2 het best presteerde op de kleinere SemEval dataset.
Semantisch vs. Lexicaal: Qwen3 vertoonde sterke semantische herstelcapaciteiten en behaalde hoge SoftRecall scores, wat duidt op een vermogen om semantisch equivalente concepten te genereren, zelfs zonder exacte lexicale overeenkomsten.
Stabiliteit: DeepSeek-R1 vertoonde lagere recovery scores en een hogere variantie, wat wijst op minder stabiliteit over verschillende masking-configuraties heen.

Menselijke Evaluatie

Annotatoren evalueerden gegenereerde expansies op Hiërarchische Correctheid (HC), Granulariteitsconsistentie (GC) en Niet-redundantie (NR).

De resultaten toonden consequent hoge scores voor alle modellen voor HC, GC en NR, wat aangeeft dat geaccepteerde concepten over het algemeen goed gepositioneerd zijn en consistent zijn met het abstractieniveau van de tak.
Qwen3 behaalde de hoogste HC en GC op SemEval, terwijl Mistral en Qwen3 gelijk scoorden voor hoge Semantische Recovery (SR).

LLM-gebaseerde Evaluatie (LITE)

Het gebruik van het LITE-framework om de volledig uitgebreide taxonomieën te beoordelen (recursieve expansie):

Semantische Kwaliteit (SCA): Verrijkte taxonomieën behielden hoge SCA-scores, wat aangeeft dat recursieve expansie de semantische helderheid behoudt.
Logische Coherentie (HRR): De rationaliteit van de hiërarchische relaties (Hierarchy Relationship Rationality) werd over het algemeen behouden of verbeterd.
Exclusiviteit/Onafhankelijkheid (HRE/HRI): De meeste evaluatoren gaven gelijkwaardige of hogere scores aan verrijkte taxonomieën, met name op de Environment-dataset.

5. Betekenis en Claims

Het paper claimt dat ReLTEx de kritieke kloof in automatische taxonomie-expansie aanpakt door verder te gaan dan het "kandidaat-bevestigingsparadigma" naar generatieve expansie met ingebouwde betrouwbaarheidscontroles.

Betrouwbaarheid: Door elke ouder-kindrelatie in zijn hiërarchische context te valideren vóór invoeging, vermindert het framework de accumulatie van fouten die gebruikelijk zijn bij recursieve LLM-generatie.
Kwaliteit: De combinatie van structuurbewuste validatie en recursieve stopcriteria produceert taxonomieën die niet alleen semantisch coherent maar ook hiërarchisch consistent zijn.
Evaluatie: Het werk vestigt een rigoureuzer evaluatieprotocol dat rekening houdt met de unieke uitdagingen van generatieve expansie (bijv. semantische varianten, alternatieve ouderknopen) door middel van aangepaste metrieken en meerperspectivische beoordeling (menselijk en LLM).

Erkenning van Beperkingen

De auteurs merken op dat de experimenten steunen op relatief compacte open-source modellen; grotere modellen zouden een hogere kwaliteit kunnen opleveren. Daarnaast is de classifier een geleerde benadering en kan deze incidenteel onjuiste relaties accepteren. Tot slot ontbreekt een gestandaardiseerde benchmark voor recursieve generatieve expansie, wat directe systeem-niveau vergelijkingen moeilijk maakt.