Technische Samenvatting: SIFT (Self-Improving, Frozen-gate Training)

1. Probleemstelling

Het paper identificeert dat hoewel documentclassificatie in laboratoriumsettings technisch gezien "opgelost" is, het in een enterprise-productieomgeving nog steeds een onopgeloste uitdaging vormt. De primaire blokkades zijn niet de modelarchitectuur of nauwkeurigheid, maar eerder:

1. Het Cold-Start Labeling Project: Het implementeren van een supervised classifier vereist een gelabelde corpus, wat een tijdrovend en kostbaar project noodzakelijk maakt met schaarse domeinexperts voordat de eerste voorspelling kan worden geserveerd.
2. De Angst voor Autonome Her-training: Ondernemingen aarzelen om modellen zichzelf te laten hertrainen omdat een geautomatiseerde her-trainingscyclus stilletjes de prestaties op kritieke klassen kan verslechteren terwijl de geaggregeerde nauwkeurigheid verbetert. Dit leidt ertoe dat modellen "bevroren" blijven op de gewichten bij lancering, waar ze uiteindelijk achteruitgaan door data drift (bijv. verschuivende documentmixen, nieuwe subtypen of wijzigingen in OCR).

Bestaande oplossingen zoals weak supervision, active learning en LLM-as-judge benaderingen pakken delen van het probleem aan, maar slagen er niet in een volledig recept te bieden voor veilige, autonome, continue leerprocessen zonder menselijke interventie in elke cyclus.

2. Methodologie: De SIFT Architectuur

SIFT (Self-Improving, Frozen-gate Training) is een dynamische classifier-service die is ontworpen om deze impasse te doorbreken door een zelfvoedende lus en een veiligheidsmechanisme voor autonome updates te creëren.

2.1 Cost-Tiered Serving (Model Cascade)

SIFT hanteert een "goedkoop model eerst, duur model alleen wanneer nodig" architectuur:

• Het Goedkope Model: Een CPU-gebonden pipeline bestaande uit een SPLADE sparse encoder (die lexicale kenmerken genereert op basis van ankerzinnen, regex-hits en lengte) die een LightGBM head aanstuurt. Dit model bedient het merendeel van de verzoeken in milliseconden.
• De LLM Judge: Alleen pagina's waar het vertrouwen van het goedkope model onder een specifieke drempelwaarde valt, worden geëscaleerd naar een Large Language Model (LLM) dat optreedt als een rechter (judge). De LLM wordt voorzien van de labelruimte, de glossary en het beleid van het domein.
• De Twist: In tegen tegenstelling tot traditionele cascades waarbij de output van het dure model na inferentie wordt weggegooid, worden de vonnissen van de LLM judge teruggeschreven naar een gelabelde corpus.

2.2 De Zelfvoedende Corpus

Het systeem creëert een continue lus waarbij productieverkeer trainingsdata genereert:

• Write-Back: Pagina's met een laag vertrouwen die naar de LLM zijn geëscaleerd, worden door de judge gelabeld (indien deze voldoet aan een minimale vertrouwensdrempel) en toegevoegd aan de corpus als gelabelde rijen.
• Bootstrap: Voor nieuwe domeinen met nul gelabelde data, draait een bootstrap-pad de LLM judge over ruwe, ongelabelde pagina's om een initiële corpus te genereren en een eerste model te trainen.
• Active Learning: Menselijke reviewers worden geïntegreerd via een wachtrij die de minst betrouwbare, door de judge gelabelde rijen naar boven haalt. Dit zorgt ervoor dat de schaarse aandacht van experts gericht is op de moeilijkste randgevallen, waarbij labels worden gecorrigeerd om als grondwaarheid (ground truth) te dienen.
• Economisch Effect: Naarmate het goedkope model leert van de feedback van de judge, neemt de escalatiesnelheid af, waardoor de marginale kosten van labeling naar nul neigen.

2.3 Domeinen als Declaratieve Bundels

Om de noodzaak van codewijzigingen of nieuwe labelingprojecten voor nieuwe documentfamilies te elimineren, behandelt SIFT domeinen als data. Een "bundel" is een declaratieve YAML-configuratie die het volgende bevat:

• Een labelruimte.
• Ankerzinnen voor de sparse encoder.
• Optionele regex-pakketten.
• Een glossary en een beleidsblok voor de LLM judge.
• Een lijst met "kritieke labels".

2.4 De Frozen-Gate Promotion Mechanisme

Om veilige autonome her-training mogelijk te maken, introduceert SIFT een tweeledig "promote gate" dat elke kandidaat-model dat faalt voor specifieke controles blokkeert voordat het de live-model kan vervangen:

1. Critical-Label F1 Regression Check: De bundel definieert specifieke klassen waar misclassificatie kostbaar is (bijv. "NDA"). Als de F1-score van een kandidaat-model op een kritiek label lager is dan de score van het huidige model, wordt promotie geblokkeerd.
2. Frozen Golden Regression Set: De bundel bevat een kleine, onveranderlijke set voorbeelden die nooit voor training worden gebruikt. Elk kandidaat-model wordt gescoord tegen deze set. Een daling in prestaties op deze bevroren set (of dit nu de algehele nauwkeurigheid of de F1 van kritieke labels betreft) fungeert als een hard veto.

Dit mechanisme zorgt ervoor dat een model niet kan regrederen op kritieke taken of kan driften door de verschuivende distributie van de trainingscorpus zelf.

3. Belangrijkste Bijdragen

Het paper schetst vijf primaire bijdragen:

1. Probleemherformulering: De focus verschuiven van modelnauwkeurigheid naar de werkelijke blokkades in productie: het voorafgaande labelingproject en de onveiligheid van autonome her-training.
2. Cost-Tiered Serving: Een architectuur gebruikmakend van SPLADE + LightGBM met LLM-escalatie, waarbij de escalatiesnelheid natuurlijk afneemt naarmate de corpus groeit.
3. Zelfvoedende Corpus: Een systeem waarbij de vonnissen van de judge en menselijke reviews continu ongelabelde traffic labelen, wat een bootstrap-pad mogelijk maakt van nul data en een active-learning wachtrij voor menselijke correctie.
4. Frozen-Gate Promotion: Een veiligheidsmechanisme dat kritieke label F1-checks combineert met een nooit-getrainde "golden set" om autonome her-training veilig en routinematig te maken.
5. Declaratieve Onboarding: Een bundel-gebaseerde aanpak waarmee nieuwe documentfamilies kunnen worden ingevoerd zonder codewijzigingen of labelingprojecten, inclusief multi-tenant isolatie.

4. Resultaten en Illustratieve Toepassing

Het paper biedt een illustratieve toepassing bij de classificatie van juridische documenten (het onderscheiden van NDA's van ondersteunende pagina's en diverse inhoud):

• Zero-Label Start: Een team creëerde een bundel en gebruikte het bootstrap-pad op honderden ongelabelde pagina's. De LLM labelde zelfverzekerde pagina's, waardoor een corpus en een model werd getraind zonder menselijke labeling.
• Productielus: Het goedkope model behandelde het merendeel van het verkeer. Ongeveer 15–25% van de pagina's werd geëscaleerd naar de LLM.
• Veiligheid in Actie: Een maandelijkse her-training produceerde een kandidaat met verbeterde algehele nauwkeurigheid, maar met een daling van 2 punten in de F1 voor de kritieke "NDA"-klasse. De promote gate blokkeerde de promotie en logde de delta.
• Correctie: Mensen beoordeelden de geblokkeerde kandidaat via de active-learning wachtrij, corrigeerden foutief gelabelde "SUPPORTING" pagina's, en de daaropvolgende kandidaat slaagde voor beide gates en werd automatisch gepromoteerd.
• Resultaat: Na verloop van tijd nam de escalatiesnelheid af naarmate het goedkope model de kennis van de judge absorbeerde, en de terugkerende kosten van het team werden beperkt tot het beoordelen van incidentele veto's op promoties.

5. Betekenis en Claims

Het paper claimt dat SIFT de economie van enterprise documentclassificatie fundamenteel verandert:

• Van Project naar Routine: Het transformeert het "labelingproject" van een kapitaalinvestering naar een continue operatie met bijna nul marginale kosten, gedreven door productieverkeer.
• Van Roekeloos naar Routinematig: Het zet "maandelijks her-trainen zonder mens" om van een risicovolle propositie naar een veilige, beheerde standaardconfiguratie.
• De Teacher-Student Dynamiek: De LLM wordt gepositioneerd niet als de primaire classifier, maar als een "leraar" die alleen wordt ingezet voor lessen die de "student" (het goedkope model) nog niet heeft geleerd, waarbij de LLM progressief minder nodig is naarmate de student verbetert.
• Governance: Het systeem is ontworpen om auditeerbaar en afgebakend te zijn, waardoor zelfverbeterende classifiers in regelgeving-gevoelige omgevingen kunnen worden ingezet waar veiligheid en detectie van drift essentieel zijn.

6. Beperkingen

De auteurs erkennen enkele beperkingen:

• Alleen Tekst: Het systeem vertrouwt momenteel op OCR-afgeleide tekst en maakt nog geen gebruik van beeldembeddings voor visuele lay-out.
• Judge Bias: Het systeem vertrouwt de LLM judge boven een vertrouwensdrempel; een systematisch bevooroordeelde judge zou de goedkope model zijn bias kunnen aanleren, hoewel de frozen set en active learning controles bieden.
• Representativiteit van de Frozen Set: De golden set is een vaste graadmeter; het kan geen regressies voorkomen op werkelijk nieuwe subtypen die niet aanwezig waren in de oorspronkelijke set.
• Afhankelijkheid van de Bundel: De kwaliteit van de cold-start hangt sterk af van de kwaliteit van de ankerzinnen en de policies die in de bundel worden geleverd.
• Operationele Voetafdruk: De sparse encoder is de dominante residentiële kostenpost, en grootschalige implementaties vereisen gedeelde artifact stores en queues die momenteel op de roadmap staan.