💬 NLP

Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

Dit artikel introduceert "Concept Fields", een black-box, corpus-toeschrijfbaar raamwerk dat tekst modelleert als lokale driftvelden in de inbeddingsruimte om interpreteerbare, probabilistische scores te bieden voor het detecteren van hallucinaties en het meten van originaliteit zonder afhankelijkheid van modelinterne mechanismen.

Oorspronkelijke auteurs: Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme bibliotheek met boeken voor, maar in plaats van de woorden te lezen, zet je elke zin om in een unieke coördinaat op een gigantische, onzichtbare kaart. Op deze kaart staan zinnen die iets vergelijkbaars betekenen dicht bij elkaar, en zinnen die iets anders betekenen ver uit elkaar.

Dit artikel introduceert een nieuwe manier om te controleren of een zin die door een AI (of een mens) is geschreven, logisch is op basis van die bibliotheek. Ze noemen deze kaart het "Conceptveld".

Hier is hoe het werkt, opgesplitst in eenvoudige analogieën:

1. De "Stroom van Ideeën" (Het Conceptveld)

Stel je voor dat de bibliotheek niet zomaar een statische stapel boeken is, maar een stromende rivier.

De Stroom: Als je een zin leest over "een auto kopen", stroomt de rivier van nature naar de volgende waarschijnlijke zin, zoals "hem naar huis rijden".
De Stroomrichting: De auteurs hebben een systeem gemaakt dat de "stroom" van deze rivier in kaart brengt. Ze kijken niet alleen naar één zin; ze kijken naar de verandering (het delta) tussen één zin en de volgende.
De Kaart: Ze bouwden een database (een VSDB) die deze zinnen en de "stroom" die ze verbindt, opslaat. Dit creëert een veld waar elk punt een richting en een snelheid heeft, wat weergeeft hoe ideeën normaal gesproken stromen in die specifieke bibliotheek.

2. De "Kompascontrole" (Scoren van Hallucinaties)

Stel nu dat een AI een nieuw verhaal schrijft. Hoe weten we of het liegt (hallucineert) of trouw blijft aan de feiten?

De Test: Je neemt de zin van de AI en kijkt of deze de "stroom" van de rivier volgt.
De Score (Zeta): Het systeem berekent een score genaamd Zeta. Denk hierbij aan een afwijking van een kompas.
- Lage Score: De zin van de AI stroomt perfect mee met de rivier. Het is "gegrond" (trouw aan het bronmateriaal).
- Hoge Score: De zin van de AI zwemt stroomopwaarts of springt helemaal uit de rivier. Het is "ongegrond" (een hallucinatie of een wilde creatieve sprong).
Het "Onzeker"-gebied: Soms is de rivier mistig of is de kaart onvolledig. Het systeem kan zeggen: "Ik weet het niet zeker", in plaats van een verkeerd antwoord te forceren. Dit is een "triage"-systeem: Gegrond, Ongegrond of Onzeker.

3. Het "Fysic laboratorium" (Het 2D Ballistiek-voorbeeld)

Om te bewijzen dat hun idee werkt, voerden de auteurs een eenvoudige test uit met fysica, niet met tekst.

De Opzet: Ze simuleerden 1.000 ballen die onder verschillende hoeken de lucht in werden gegooid. Ze brachten het pad van elke bal in kaart.
Het Resultaat: Ze maakten een "windkaart" (het Conceptveld) die liet zien waar de ballen normaal gesproken naartoe gaan.
De Test: Toen ze een bal gooiden die dezelfde fysica volgde, zei de kaart: "Ja, dat past!" Toen ze een bal gooiden met "luchtweerstand" (een andere fysicaregel), schreeuwde de kaart: "Nee! Dat past niet bij het patroon!"
Het Punt: Dit bewees dat hun wiskunde ook werkt voor tekst. Als de "stroom" van ideeën verandert, detecteert het systeem dit.

4. Twee Verschillende Bibliotheken, Eén Hulpmiddel

De auteurs testten dit op twee zeer verschillende bibliotheken:

De Wettenbibliotheek (CFR): Een verzameling van Amerikaanse federale verordeningen. Hier is "stroomopwaarts varen" slecht (het is een leugen). Ze gebruikten het systeem om AI-hallucinaties in juridische teksten op te sporen.
De Verhalenbibliotheek (Project Gutenberg): Een verzameling klassieke romans. Hier kan "stroomopwaarts varen" goed zijn (het is creativiteit). Ze gebruikten het systeem om te detecteren wanneer een AI iets nieuws en creatiefs schreef, in plaats van alleen oude verhalen over te schrijven.

De Magie: Dezelfde wiskunde werkte voor beide. Een hoge score betekende "anders dan de bibliotheek" in beide gevallen. In de wet is dat een waarschuwing; in verhalen is dat een functie.

5. Waarom Dit Speciaal Is (Het "Black Box"-Voordeel)

De meeste AI-detectoren proberen in het brein van de AI te kijken (white-box) of vragen de AI om zichzelf te beoordelen (wat vaak onbetrouwbaar is).

Deze methode is "Black Box": Het maakt niet uit hoe de AI werkt. Het kijkt alleen naar de output en vergelijkt die met de bibliotheek.
Het is Snel en Goedkoop: Het heeft geen dure supercomputers nodig. Het heeft alleen een standaardcomputer en de bibliotheekdata nodig.
Het is Traceerbaar: Als het systeem zegt dat een zin een hallucinatie is, kan het verwijzen naar de specifieke zinnen in de bibliotheek die het bewijzen. Het is alsof je zegt: "Jij zei X, maar de bibliotheek zegt Y, en hier is het paginanummer."

6. Verborgen Patronen Vinden (De "Wervelstromen")

De auteurs keken ook naar de vorm van de rivier.

Bronnen en Zinken: Ze vonden plekken waar veel ideeën lijken te beginnen (zoals een fontein) of eindigen (zoals een afvoer).
Wervelstromen: Ze vonden plekken waar ideeën lijken te draaien rond een centraal onderwerp zonder vooruit te komen.
Waarom dit belangrijk is: Dit zijn niet zomaar cijfers; ze vertegenwoordigen verborgen patronen in hoe mensen praten en schrijven. Een "wervelstroom" kan bijvoorbeeld een onderwerp zijn waar mensen veel over praten, maar dat nooit lijkt op te lossen.

Samenvatting

De auteurs bouwden een kaart van hoe ideeën stromen in een specifieke verzameling tekst. Ze creëerden een kompas dat je vertelt of een nieuwe zin die stroom volgt of er vanaf drijft.

Als je feiten controleert, betekent afdrijven een leugen.
Als je creativiteit controleert, betekent afdrijven een nieuw idee.
Het werkt snel, hoeft niet te weten hoe de AI denkt, en kan uitleggen waarom het een beslissing nam door te verwijzen naar de originele tekst.

Technische Samenvatting: Tekstcorpora als Conceptvelden

Probleemstelling
Huidige methoden voor het detecteren van hallucinaties bij LLM's of het beoordelen van grondigheid vertrouwen vaak op witte-doos-modelinterne mechanismen, grijze-doos-perplexiteitsmetrieken of zwarte-doos-benaderingen die zware kalibratie vereisen (bijvoorbeeld LLM als rechter). Deze bestaande oplossingen zijn vaak duur, afhankelijk van de architectuur of missen operationele interpreteerbaarheid. Bovendien zijn veel geometrische benaderingen in de inbeddingsruimte beperkt tot paarsgewijze vergelijkingen (bijvoorbeeld DTW) of missen ze een mechanisme om lokale onzekerheid binnen een corpus te accounten. De auteurs stellen een verschuiving voor van het zien van hallucinatie als een binair falen naar een breder concept van grondigheid: of een output wordt ondersteund door een doelcorpus. Deze kaderstelling is van toepassing op zowel naleving (waar afwijking negatief is) als creativiteit (waar afwijking positief is).

Methodologie
De kernbijdrage is het Conceptveld, een lokaal driftveld met puntsgewijze onzekerheid geschat in de zin-inbeddingsruimte. De methodologie verloopt als volgt:

Vectorreeksdatabase (VSDB): De auteurs introduceren een opslaglaag die vaste-dimensionale zin-inbeddingen bevat, samen met metagegevens over de positie in de reeks en "volgende-delta"-informatie ( $\Delta_{i,j} = v_{p+1} - v_p$ ). Dit stelt het systeem in staat een corpus niet alleen te behandelen als een zak vol zinnen, maar als een verzameling trajecten in de inbeddingsruimte.
Constructie van het Conceptveld: Met behulp van de VSDB berekenen de auteurs een lokale waarschijnlijkheidsdichtheid van zin-overgangen. Door het corpus te behandelen als een "vectorveld", definiëren ze een deterministische drift waarbij de "stroom" het meest waarschijnlijke volgende concept vertegenwoordigt, gegeven een huidige zin. Dit veld wordt geschat met behulp van Inverse Afstandswaardering (IDW)-interpolatie over de dichtstbijzijnde buren in de inbeddingsruimte.
Scoremechanisme ( $\zeta$ ): Om een kandidaat-zinovergang te evalueren, berekent het systeem de gemiddelde absolute z-afstand ( $\zeta$ $ζ$ ) tussen de waargenomen delta en de lokale Gaussische schatting van het Conceptveld.
- Een kleine $\zeta$ geeft statistische overeenstemming aan met de corpusstroom (grondig).
- Een grote $\zeta$ geeft een afwijking aan van de corpusstroom (niet-grondig of nieuw).
- De score is volledig zwarte-doos (vereist geen modelinterne mechanismen), corpus-toeschrijfbaar (terug te leiden tot specifieke corpuszinnen) en staat een directe probabilistische interpretatie toe.
Geometrische Analyse: De auteurs onderzoeken de divergentie en de rotatie (curl) van het Conceptveld op dichte clusters. Hoge divergentie wijst op "logische bronnen" (gemeenschappelijke startpunten) of "logische putten" (gemeenschappelijke conclusies), terwijl hoge rotatie "impliciete onderwerpen" suggereert of gebieden waar vectoren rond een centraal concept circuleren zonder een duidelijke lineaire stroom.

Belangrijkste Bijdragen

Conceptveld via VSDB: Een representatie op corpusniveau van de stroom van zinsequenties met lokale onzekerheid, geïmplementeerd via een nieuwe Vectorreeksdatabase.
Selectieve Grondigheidsdetectie: Een triagebeleid (Grondig / Niet-grondig / Onzeker) gebaseerd op $\zeta$ -drempels. Deze benadering bereikt sterke foutpercentages voor geaccepteerde gevallen, terwijl een "onzeker" bucket wordt behouden voor ambiguïteiten.
Cross-domein Robuustheid: Dezelfde mechanisme ondersteunt zowel grondigheidscontroles in de stijl van naleving (het detecteren van hallucinaties in juridische teksten) als afwijkingscontroles in de stijl van nieuwheid (het detecteren van creatieve afwijkingen in literatuur) zonder herkalibratie van drempels.
Corpusgeometrie: Kwalitatief bewijs dat topologische kenmerken (divergentie/rotatie) in het Conceptveld corresponderen met betekenisvolle semantische patronen, zoals gemeenschappelijke redeneerstroomlijnen of vermijdingsgebieden.

Experimentele Resultaten
De auteurs evalueerden de benadering in twee grootschalige settings:

CFR (Code of Federal Regulations): Een feitelijk/juridisch corpus gebruikt om hallucinatiedetectie te testen. Het systeem werd getest op door LLM's herschreven zinnenparen, waarbij werd onderscheid gemaakt tussen die welke de betekenis behielden (grondig) en die welke de semantiek veranderden (niet-grondig).
Project Gutenberg: Een algemeen literair corpus gebruikt om nieuwheidsdetectie te testen, waarbij "niet-grondigheid" (hoge $\zeta$ ) een gewenst kenmerk is voor creatief schrijven.

Vindingen inzake Prestaties:

Selectieve Classificatie: Onder een triagebeleid (bijvoorbeeld $\zeta_{laag}=1, \zeta_{hoog}=3.75$ ) behaalde de methode een F1-score van 0,978 en een AUC van 0,984 op de CFR-dataset met ~56% dekking (44% van de voorbeelden gemarkeerd als "onzeker").
Vergelijking met Baselines: Het Conceptveld presteerde beter dan of gelijk aan baselines die eenvoudige afstand tot de dichtstbijzijnde buur gebruikten (Euclidisch of Cosinus) op de VSDB. Cruciaal: terwijl op afstand gebaseerde baselines corpus-specifieke drempelafstemming vereisten, behield het Conceptveld consistente prestaties en drempelinterpretatie over zowel de CFR- als Gutenberg-domeinen.
Dekking-Risicogedrag: De methode vertoonde vergelijkbare dekking-risicotradingen over beide domeinen, wat de bewering ondersteunt dat de op waarschijnlijkheid gebaseerde interpretatie van $\zeta$ effectief overdraagbaar is tussen feitelijke en creatieve corpora.
Geometrische Inzichten: Kwalitatieve analyse van divergentie en rotatie onthulde semantisch coherente clusters (bijvoorbeeld "GOOOOAAALL!!" als een logische put in sportcommentaar, of specifieke regelgevende formulering als logische bronnen/putten in CFR).

Betekenis en Claims
Het artikel claimt dat Conceptvelden een snelle, lichtgewicht en interpreteerbaar signaal bieden voor grondigheid en nieuwheid dat complementair is aan LLM als rechter en witte-doos-detectoren.

Interpreteerbaarheid: In tegenstelling tot zwarte-doos-rechters, traceert elke score terug naar nabijgelegen corpuszinnen, wat uitlegbaarheid biedt.
Efficiëntie: Eenmaal geïndexeerd, is de methode sneller en goedkoper (geen API-tokengebruik) dan evaluatie op basis van LLM's, en draait op handels-CPUs.
Taalagnostisch: De benadering is niet gebonden aan specifieke modelarchitecturen, waardoor deze toepasbaar is op verschillende wereldtalen.
Bescheidenheid: De auteurs kaderen de geometrische analyse (divergentie/rotatie) als "hypothese-genererend" in plaats van een definitief kwantitatief resultaat. Zij erkennen dat de kwaliteit van het Conceptveld data-afhankelijk is, en merken op dat logisch consistente corpora (zoals wetten) betrouwbaardere velden opleveren dan ruisend internetdata. Het werk wordt gepresenteerd als een fundamentele stap, waardoor ruimte blijft voor de gemeenschap om inbeddingschema's en interpolatiemethoden te verbeteren.