🤖 AI

Verifiable Knowledge Expansion through Retrieval-Grounded Formal Concept Analysis

Dit artikel stelt een framework voor met een retrieval-augmented small language model dat Formal Concept Analysis integreert als een symbolische verificatielus om ontologische kennis te valideren en uit te breiden, waarbij een verbeterde nauwkeurigheid van relaties en implicaties in een zeldzaam ataxia-domein wordt aangetoond door middel van iteratieve seed-gebaseerde exploratie en tegenvoorbeelddetectie.

Oorspronkelijke auteurs: Yujin Yang, Heejung Lee

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yujin Yang, Heejung Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, perfecte bibliotheek van medische kennis over zeldzame ziekten probeert te bouwen: je wilt een collectie van "Ataxie"-ziekten (aandoeningen die leiden tot ongecoördineerde bewegingen) organiseren en precies opschrijven welke symptomen (zoals tremoren of spraakproblemen) bij welke ziekte horen.

Dit handmatig doen is alsof je een woordenboek probeert te schrijven terwijl je geblinddoekt bent; het duurt eeuwen en experts maken fouten. Een standaard AI-chatbot gebruiken om dit te doen is riskant, omdat de AI kan "hallucineren" (dingen verzinnen) of vol vertrouwen iets kan beweren dat niet waar is.

Dit artikel stelt een slim, drieledig systeem voor om deze bibliotheek veilig en verifieerbaar op te bouwen. Denk aan een bouwploeg met drie verschillende rollen:

1. De Architect (Formal Concept Analysis - FCA)

Stel je een strikte, logische architect voor die niets van de geneeskunde weet, maar een expert is in regels en patronen.

Wat zij doen: Zij kijken naar de lijst met ziekten en symptomen die je tot nu toe hebt en vragen: "Als een patiënt Symptoom A en Symptoom B heeft, heeft die patiënt dan altijd ook Symptoom C?"
De addertjes onder het gras: De architect gokt niet zomaar. Zij behandelen elke nieuwe regel als een "hypothese" die bewezen moet worden. Als de architect een regel voorstelt, eisen zij een tegenvoorbeeld. Zij vragen: "Laat me één enkele ziekte zien die symptoom A en B heeft, maar geen symptoom C heeft." Als je geen voorbeeld kunt tonen, wordt de regel geaccepteerd. Als dat wel kan, wordt de regel afgewezen en leert de architect van deze fout.

2. De Bibliothecaris (Retrieval-Augmented Generation - RAG)

De architect heeft feiten nodig, maar kan niet alleen op het eigen geheugen vertrouwen. Hier komt de Bibliothecaris in beeld.

Wat zij doen: Wanneer de Architect een vraag stelt (bijv. "Heeft Ziekte X Symptoom Y?"), gaat de Bibliothecaris naar de bronteksten (medische definities en dossiers) en haalt de exacte tekst naar voren die de vraag beantwoordt.
Waarom dit belangrijk is: Dit voorkomt dat de AI dingen verzint. De Bibliothecaris zorgt ervoor dat elk antwoord is geworteld in feitelijk bewijs uit de documenten, en niet slechts een gok is.

3. De Junior Assistent (Small Language Model - SLM)

De Bibliothecaris heeft de tekst, maar ze hebben iemand nodig die de tekst leest en een snelle "Ja" of "Nee"-beslissing neemt.

Wat zij doen: Dit is een kleinere, goedkopere en snellere AI. De enige taak is om naar de tekst te kijken die de Bibliothecaris heeft gevonden en te beslissen: "Ja, de tekst bevestigt dit symptoom," of "Nee, de tekst ondersteunt dit niet."
Waarom dit belangrijk is: Het gebruik van een enorme, dure AI voor elke controle zou te traag en te kostbaar zijn. Deze "Junior Assistent" is efficiënt genoeg om duizenden van deze kleine "Ja/Nee"-controles snel af te handelen.

Hoe zij samenwerken (De Lus)

Het artikel beschrijft een cyclus die 20 keer wordt herhaald:

Begin klein: Ze beginnen met een paar bekende symptomen (seeds).
Stel een vraag: De Architect (FCA) kijkt naar de huidige lijst en stelt een nieuwe regel voor (bijv. "Alle ziekten met tremoren hebben ook spraakproblemen").
Controleer het bewijs: De Bibliothecaris (RAG) zoekt de medische tekst op voor de betrokken ziekten.
Neem een beslissing: De Junior Assistent (SLM) leest de tekst en beslist:
- Ja: De regel is waar. Deze wordt toegevoegd aan de bibliotheek.
- Nee: De regel is onwaar. De Assistent vindt een specifieke ziekte die de regel breekt (een tegenvoorbeeld) en voegt deze toe aan de lijst, zodat de Architect weet dat hij deze fout niet opnieuw mag maken.
Breid uit: Zodra de huidige regels zijn vastgesteld, zoekt het systeem naar nieuwe symptomen om aan de lijst toe te voegen en start de cyclus opnieuw.

Wat zij hebben gevonden (De Resultaten)

De onderzoekers hebben dit getest op een dataset van zeldzame ataxie-ziekten. Dit is wat er gebeurde:

Het werkt, maar het is niet perfect: Het systeem heeft succesvol een "gedeeltelijke" bibliotheek opgebouwd. Het heeft veel correcte verbanden gevonden tussen ziekten en symptomen.
De "Seed" is cruciaal: Beginnen met een grotere lijst bekende symptomen (20 seeds in plaats van 10) hielp het systeem om meer regels te vinden en minder fouten te maken.
Het moeilijke deel: Zelfs met de beste instrumenten had het systeem moeite om elk verband te vinden. Soms was de medische tekst te vaag om met zekerheid te zeggen of een symptoom bij een ziekte hoorde.
De "Black Box" staat open: In tegen tegenstelling tot andere AI-systemen waarbij je alleen een eindantwoord krijgt, houdt dit systeem een logboek bij. Je kunt precies zien welke regels werden geaccepteerd, welke werden afgewezen en waarom (welke specifieke ziekte de regel brak). Dit maakt het proces "inspecteerbaar" en betrouwbaar.

De Kernboodschap

Dit artikel beweert niet dat het de perfecte medische encyclopedie van de ene op de andere dag heeft gebouwd. In plaats daarvan beweert het een verifieerbaar constructieproces te hebben ontwikkeld.

Zie het als een steigerconstructie voor het bouwen van kennis. Het gebruikt een strikte logische motor om ideeën voor te stellen, een zoekmachine om bewijs te vinden en een snelle AI om het bewijs te controleren. Het resultaat is niet een voltooid gebouw, maar een zeer duidelijk, controleerbaar verslag van wat er is gebouwd, wat er is afgewezen en precies waar de bouwers menselijke experts nodig hebben om hun werk te controleren.

Technische Samenvatting: Verifieerbare Kennisexpansie door Retrieval-Grounded Formal Concept Analysis

Probleemstelling
De constructie van biomedische ontologieën, zoals het mappen van zeldzame ziekten aan fenotypische attributen, vereist traditioneel kostbare handmatige curatie door domeinexperts. Hoewel Large Language Models (LLM's) structurele kennis uit tekst kunnen voorstellen, missen hun outputs vaak verifieerbaarheid, wat leidt tot niet-onderbouwde of inconsistente relaties. De kern van de technische uitdaging is het verifiëren van voorgestelde kennisstructuren voordat deze permanente toezeggingen worden. Specifiek moet het systeem in staat zijn om gerichte structurele vragen te stellen en tegenvoorbeelden te incorporeren wanneer een voorgestelde regelmaat (bijv. "Ziekte X met symptomen A en B moet symptoom C hebben") faalt.

Methodologie
Het artikel stelt een hybride framework voor dat Formal Concept Analysis (FCA) combineert met een Retrieval-Augmented Generation (RAG) systeem aangedreven door Small Language Models (SLM's) als een symbolische verificatielus. Het proces werkt als een iteratieve ontologie-exploratielus:

Initialisatie: Het systeem start met een eindige, gecontroleerde set fenotypische attributen ( $M$ ) en een zaadsubset ( $M_0$ ).
FCA Attribuut-exploratie: Gebruikmakend van de huidige formele context (geobserveerde objecten $E_\tau$ en actieve attributen $M_\tau$ ), genereert de FCA-module kandidaat-implicaties ( $A \rightarrow B$ ). Een implicatie suggereert dat elke ziekte die attributen uit verzameling $A$ bezit, ook attributen uit verzameling $B$ moet bezitten.
RAG-Grounded SLM Oracle: Voor elke kandidaat-implicatie haalt het systeem relevante tekstuele bewijslast op het niveau van ziekten die relevant is voor zowel de premisse als de conclusie. Een SLM-oracle voert vervolgens beperkte, op bewijs gebaseerde binaire oordelen uit:
- Acceptatie: Als het bewijs de implicatie ondersteunt, wordt deze toegevoegd aan de implicatiebasis.
- Afwijzing: Als het bewijs de implicatie tegenspreekt, moet het oracle een specifiek tegenvoorbeeld-object teruggeven (een ziekte die attributen uit $A$ heeft, maar ten minste één attribuut uit $B$ mist).
- Incidentie-oordeel: Het oracle valideert ook specifieke object-attribuut paren (JA/NEE) op basis van opgehaalde tekstfragmenten.
Context Update: Geaccepteerde implicaties verfijnen de kennisbasis. Afgewezen implicaties introduceren tegenvoorbeeld-objecten in de geobserveerde context, wat het systeem voorkomt te overgeneraliseren.
Attribuutexpansie: Het systeem stelt nieuwe attributen voor de volgende ronde voor op basis van de afsluiting (closure) van geaccepteerde implicaties en opgehaald bewijs, waardoor de actieve attribuutset $M_\tau$ geleidelijk wordt uitgebreid.

Het framework maakt gebruik van drie verschillende SLM's (Gemma2:2B, Llama3.2:3B, Qwen2.5:1.5B) om de kostenefficiëntie en prestatie-afwegingen te evalueren bij het gebruik van kleinere modellen voor herhaalde, op bewijs gebaseerde beslissingen.

Belangrijkste Bijdragen
Het artikel levert drie belangrijke bijdragen:

FCA-gebaseerde Verificatielus: Een mechanisme dat object-attribuutstructuren test via implicaties en tegenvoorbeelden, waardoor wordt gewaarborgd dat er geen structurele toezeggingen worden gedaan zonder bewijs.
Retrieval-Grounded SLM Oracle: Een goedkope interface die lokale oordelen fundeert in externe, doorzoekbare bewijslast in plaats van enkel te vertrouwen op parametrische geheugen.
Symbolisch-Subsymbolisch Hybride: Een systeem waarbij FCA de globale constructielogica beheert (het voorstellen van queries en het beheren van de context), terwijl het taalmodel de bewijsgebaseerde lokale beslissingen afhandelt.

Experimentele Resultaten
Het framework werd geëvalueerd op een dataset van zeldzame ataxia-ziekten afgeleid van Orphadata en de Human Phenotype Ontology (HPO). De experimenten liepen over 20 rondes beginnend met 10 zaad-attributen, met een secundaire reeks experimenten met 20 zaad-attributen.

Prestatie-metrieken:
- Relatie-scores (F1): Varieerden van 0,29 tot 0,52 tijdens de runs met 10 zaad-attributen. Llama3.2:3B behaalde de hoogste relatie F1 (0,52), terwijl Gemma2:2B de hoogste recall (0,87) vertoonde maar een lagere precisie.
- Implicatie-scores (F1): Varieerden van 0,22 tot 0,30 voor de runs met 10 zaad-attributen. Qwen2.5:1.5B behaalde de hoogste implicatie F1 (0,30).
- Impact van Zaadgrootte: Het vergroten van de zaadset naar 20 attributen verbeterde de implicatie F1-scores voor alle modellen (bijv. Gemma steeg van 0,22 naar 0,36; Qwen bereikte 0,41), hoewel dit de bottleneck bij het evalueren van gegenereerde attributen tegen de gouden standaard niet volledig oploste.
Ablatie-studies:
- LLM-alleen (Geen Retrieval): Het verwijderen van retrieval resulteerde in kleinere geëxploreerde contexten die vroegtijdig stopten. Hoewel deze runs een hoge implicatie F1 lieten zien (tot 0,67), slaagden ze er niet in om de object- en attribuutsets effectief uit te breiden, wat benadrukt dat retrieval noodzakelijk is voor contextgroei.
- Vaste Object-Attribuut Instelling: Zelfs toen de set ziekten en attributen vaststond (waardoor de moeilijkheid van ontdekking werd weggenomen), was de hoogst behaalde relatie F1 slechts 0,31. Dit geeft aan dat de primaire bottleneck niet alleen het ontdekken van entiteiten is, maar het accuraat beoordelen van specifieke ziekte-fenotype incidenties vanuit de beschikbare tekstuele bewijslast.

Significantie en Claims
Het artikel positioneert de methode bescheiden niet als een volledige, automatische ontologiegenerator, maar als een verifieerbare constructieprocedure.

Inspecteerbaarheid: Het systeem produceert een spoor van geaccepteerde implicaties, afgewezen implicaties, tegenvoorbeelden en correcties. Dit stelt domeinexperts in staat om te auditeren waarom een structurele toezegging is gedaan of afgewezen, in plaats van een "black box" generatie te accepteren.
Partiële Constructie: De auteurs beweren dat de output een "geëxploreerde implicatieset" is over een bewijs-toegankelijke context, en geen canonieke basis voor de volledige gecontroleerde fenotypische attribuutset.
Beperkingen: Het artikel erkent dat de huidige resultaten worden beperkt door de schaarste aan tekstuele definities van ziekten (die mogelijk niet alle gecureerde relaties expliciet vermelden) en de moeilijkheid van cel-niveau incidentie-herstel. Het framework wordt gepresenteerd als een "auditbaar pre-curatie artefact" dat een expertbeoordeling vereist voordat het een klinische ontologie kan worden.

Samenvattend demonstreert dit werk dat het combineren van de rigoureuze structurele logica van FCA met RAG-gegronde SLM's een schaalbare, inspecteerbare lus creëert voor de expansie van biomedische kennis, mits de beperkingen van bewijs-retrieval en de noodzaak van toezicht door experts worden erkend.