Technische Samenvatting: RuleChef

Probleemstelling

Terwijl vroege Natural Language Processing (NLP) systemen vertrouwden op transparante, handmatig ontworkte regels, verschoof het veld naar feature-gebaseerde classificaties en, recenter, naar large language models (LLMs) en pretrained transformers. Hoewel deze moderne benaderingen superieure dekking en flexibiliteit bieden, opereren ze als "black boxes" met beslissingslogica ingebed in latente parameters, wat ze moeilijk controleerbaar, uitlegbaar of direct aanpasbaar maakt. Dit gebrek aan interpreteerbaarheid is een kritieke barrière in gevoelige, sterk gereguleerde domeinen zoals medische, juridische en financiële NLP, waar voorspellingen traceerbaar moeten zijn naar expliciete patronen om gecertificeerd te kunnen worden.

Converseel blijven expliciete regels aantrekkelijk voor veel real-world taken vanwege hun lage inferentiekosten, determinisme en gemakkelijke inspectie. De primaire bottleneck voor regelgebaseerde systemen is echter niet de nauwkeurigheid, maar de arbeidsintensieve aard van het handmatig schrijven en onderhouden ervan, wat aanzienlijke domeinexpertise vereist.

Methodologie: Het RuleChef-framework

RuleChef is een framework dat ontworpen is om deze kloof te overbruggen door LLMs uitsluitend te gebruiken tijdens de leertijd om uitvoerbare symbolische regels te synthetiseren, terwijl de inferentietijd deterministisch en regelgebaseerd blijft. Het systeem scheidt de generatie van regels van de uitvoering, waardoor het uiteindelijke model snel, inspecteerbaar en aanpasbaar is.

Kerncomponenten

1. Regel-synthese:

   • Het systeem neemt een taakspecificatie (bijv. Named Entity Recognition, tekstclassificatie) en supervisiesignalen (gelabelde voorbeelden, correcties, vrije tekstfeedback of geobserveerd modelgedrag) als input.
   • Het structureert prompts om taakdefinities, gesamplede trainingsvoorbeelden, data-evidentie (inclusief regex-hints van tools zoals grex) en formaatinstructies te bevatten.
   • De LLM genereert regels in formaten zoals reguliere expressies (regex), spaCy token-patronen of Python-code. De evaluatie in het paper focust primair op regex.
   • gegenereerde regels worden gevalideerd op compilatie en naleving van het schema voordat ze worden geaccepteerd.

2. Iteratieve Verfijningslus:

   • Na de initiële synthese evalueert het systeem de regelset op een heldere ontwikkelingsset (held-out development split).
   • Fouten worden geclusterd op basis van "foutmodi" (bijv. gemiste spans, foutieve spans, verkeerde types).
   • De LLM wordt geprompt om "patches" (nieuwe of gewijzigde regels) te genereren die zich specifiek richten op deze foutclusters.
   • Cruciale beperking: Een patch wordt alleen geaccepteerd als deze de kwaliteit (F1-score) op de heldere ontwikkelingsset verbetert. Dit voorkomt overfitting en memorisatie van de trainingsdata.
   • De lus kan worden aangestuurd door een vast schema of een Agentic Coordinator, die per-class metrics analyseert om opeenvolgende patches te sturen, periodieke critics uitvoert (om feedback op regelniveau te geven) en audits uitvoert (om redundante regels samen te voegen of ineffectieve regels te verwijderen).

3. Conflictresolutie en Pruning:

   • Wanneer meerdere regels overlappen, voert het systeem de regel met de hoogste prioriteit uit. Gelijkheden worden doorbroken op basis van de precisie behaald op de heldere ontwikkelingsset.
   • Precisieschattingen worden aangepast met een Wilson lower bound om regels met lage ondersteuning te disconteren (bijv. een regel die 1/1 keer correct is, wordt niet hoger gerangschikt dan een regel die 95/100 keer correct is).
   • Een leave-one-out pass meet de marginale bijdrage van elke regel aan de ensemble F1, waarbij regels worden verwijderd die de prestaties niet schaden wanneer ze worden weggehaald.

4. Observatiemodus:

   • Voor scenario's waarin een LLM al productieverkeer afhandelt, kan RuleChef regels bootstrappen zonder handmatige labels. Het behandelt LLM input-output paren als trainingsvoorbeelden en synthetiseert periodiek regels uit deze observaties.
   • Een hybride implementatiestrategie wordt ondersteund: regels met een hoge betrouwbaarheid handelen het verkeer af, terwijl onzekere gevallen worden gedelegeerd naar de LLM.

Belangrijkste Bijdragen

• Een Hybride Leerframework: Een systeem dat uitvoerbare regels synthetiseert uit supervisiesignalen (voorbeelden, correcties, feedback of modelgedrag), waarbij het gebruik van LLMs tijdens het leren strikt gescheiden is van de deterministische uitvoering tijdens de inferentie.
• Een Verfijningslus: Een iteratief proces dat regel-systemen verbetert door veranderingen op heldere data te meten, conflicten op te lossen via precisie, en memorisatie te voorkomen door strikte acceptatiecriteria.
• Human-in-the-Loop (HITL) Integratie: De mogelijkheid voor domeinexperts om regels te beoordelen en expliciete feedback te geven, die vervolgens wordt gebruikt om de LLM voor gerichte updates te prompten.
• Ongesuperviseerde Observatie: Een modus die regels leert van de output van een externe black-box model zonder grondwaarheid-labels, wat taakontdekking en regelgeneratie mogelijk maakt zonder initiële menselijke labeling.
• Open-Source Release: Het framework wordt uitgebracht onder een Apache 2.0 licentie.

Experimentele Resultaten

De auteurs evalueerden RuleChef op twee taken: Text Anonymization (TAB) voor Named Entity Recognition (NER) en Banking77 voor intentclassificatie.

TAB (Named Entity Recognition)

• Prestaties op Formaat-gebaseerde Entiteiten: Op entiteitstypen gedefinieerd door oppervlaktevorm (bijv. datums, casenummers, hoeveelheden), presteerden door RuleChef gegenereerde regels significant beter dan directe LLM-prompting en GLiNER2 baselines in F1-score, waarbij hoge precisie werd bereikt (bijv. 89,1% op formaat-entiteiten).
• Prestaties op Semantische Entiteiten: Op semantische typen (bijv. Persoon, Organisatie) behaalde de regelgebaseerde benadering een lagere recall dan directe LLM-prompting, maar behield een hogere precisie dan GLiNER2 baselines. De auteurs merken op dat dit de bedoelde werking is; hoog-precieze regels vormen een fundament dat stapsgewijs kan worden uitgebreid.
• Inferentie-efficiëntie: RuleChef behaalde inferentielatenties van ongeveer 0,6 ms per document, vergeleken met ~1500 ms voor LLM-prompting en ~190 ms voor GLiNER2.
• Vergelijking met Neurale Baselines: Op de officiële volledige document-testset presteerden de 22 geleerde regels bijna 30 precisiepunten beter dan een standaard RoBERTa NER-systeem, hoewel ze onder een fine-tuned Longformer-systeem bleven.

Banking77 (Intentclassificatie)

• Few-Shot vs. Regels: In een 5-way intentclassificatietaak bereikten de door RuleChef geleerde regels een precisie die vergelijkbaar is met few-shot LLM-prompting en gesuperviseerde baselines (~97,6% vs. 98,0%), hoewel de recall lager was (61,0% vs. 98,0%), een typische trade-off voor regelgebaseerde systemen.
• Observatiemodus: Wanneer er geleerd werd van de outputs van een externe LLM zonder grondwaarheid-labels, steeg de precisie van 92,7% naar 96,0% naarmate het aantal geobserveerde voorbeelden groeide van 10 naar 50. De recall verbeterde van 19,0% naar 49,5%. De auteurs suggereren dat een dergelijk systeem als een transparante eerste laag in een hybride architectuur kan dienen.

Ablatie en Reparatie

• Iteratief Leren: Een one-shot regelgeneratie prompt was bijna nutteloos voor semantische entiteitstypen, maar effectief voor formaattypen. De iteratieve verfijningslus, met name met "holdout acceptance", was essentieel voor generalisatie.
• Menselijke Feedback: Eén ronde van menselijke feedback die specifieke regeldefecten corrigeerde (bijv. een regel die breukvormige casenummers als hoeveelheden matchte) verbeterde de F1-score voor de "QUANTITY" klasse van 5,7 naar 35,6, wat de responsiviteit van het systeem op expertcorrectie aantoont.

Betekenis en Claims

Het paper claimt dat RuleChef aantoont dat het genereren van volledig transparante, inspecteerbare en aanpasbare regelgebaseerde systemen levensvatbaar is en concurrerend met standaard neurale modellen, vooral voor taken met regelmatige oppervlaktepatronen.

De auteurs benadrukken dat hoewel de resultaten preliminair zijn, het framework een praktisch pad biedt voor:

1. Regulatoire Naleving: Het bieden van gecertificeerde, traceerbare voorspellingen in scenario's met hoge inzet.
2. Kostenreductie: Het drastisch verlagen van inferentiekosten door LLM-aanroepen te vervangen door regex-executie.
3. Hybride Systemen: Het dienen als een hoog-precieze eerste laag in gecascadeerde systemen, waardoor de belasting op dure black-box modellen wordt verminderd.

Het paper erkent beperkingen, waaronder de afhankelijkheid van één enkele LLM-familie (Kimi-K2) voor regelgeneratie, de inherente niet-determinisme in iteratieve prompting, en de noodzaak voor verdere experimenten over diverse domeinen en talen. Het positioneert RuleChef niet als een vervanging voor neurale modellen in alle contexten, maar als een gespecialiseerd hulpmiddel voor scenario's waar uitlegbaarheid, controleerbaarheid en deterministische uitvoering van cruciaal belang zijn.