HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
HIRA is een trainingsvrije, on-premises retrieval-augmented cascade voor de classificatie van gereguleerde documenten die multi-modale retrieval combineert met een lokaal gehoste LLM-verifieerder en human-in-the-loop feedback om een hoge nauwkeurigheid te bereiken terwijl menselijke controle wordt geminimaliseerd en de noodzaak voor kostbare modelhertraining wordt geëlimineerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de risicovolle werelden van de banksector, de gezondheidszorg en de juridische sector zijn documenten de primaire valuta van vertrouwen. Elke leningaanvraag, elk medisch dossier en elk juridisch contract moet in de juiste categorie worden gesorteerd om naleving, veiligheid en efficiëntie te waarborgen. Decennialang was de standaardaanpak voor dit sorteerprobleem het aanleren van een computer door het duizenden gelabelde voorbeelden te tonen, een proces dat bekend staat als training. Echter, deze methode loopt tegen een muur in gereguleerde sectoren. De regels van het spel zijn strikt: gevoelige documenten mogen de beveiligde omgeving waar ze zijn gecreëerd niet verlaten, wat betekent dat ze niet naar de cloud kunnen worden gestuurd om door krachtige, externe kunstmatige intelligentie te worden verwerkt. Bovendien zijn de specifieke categorieën die nodig zijn voor de interne bestanden van een bank vaak uniek en veranderen ze frequent, wat het onmogelijk maakt om de enorme, vooraf bestaande datasets te verzamelen die vereist zijn om een nieuw model vanaf nul te trainen. Wanneer een bank haar sorteersysteem probeert bij te werken, is het proces zo traag en duur dat het vaak onpraktisch wordt, waardoor instellingen blijven steken met verouderde hulpmiddelen of gedwongen worden om te vertrouwen op dure menselijke werkers die elk bestand moeten lezen.
Onderzoekers Shangxuan Tian, Yanhui Chen en Carlos Queiroz hebben een andere weg vooruit voorgesteld, een systeem genaamd HIRA, dat specifiek is ontworpen om deze strikte beperkingen te navigeren. In plaats van te proberen een complex model telkens opnieuw te trainen wanneer er een nieuw type document verschijnt of een regel verandert, werkt HIRA als een zeer georganiseerde bibliothecaris die leert door te doen. Het systeem werkt in twee fasen. Eerst scant het een nieuw document en zoekt het onmiddellijk in zijn interne geheugen naar vergelijkbare voorbeelden die het eerder heeft gezien. Het kijkt naar de tekst, de lay-out en zelfs de visuele vorm van de pagina om de beste overeenkomsten te vinden. Als het systeem een duidelijke match vindt, sorteert het het document direct. Als het document verwarrend is of te veel lijkt op verschillende categorieën, gokt het systeem niet; in plaats daarvan geeft het het bestand door aan een tweede, meer zorgvuldige fase. Deze fase gebruikt een krachtige, lokaal gehoste kunstmatige intelligentie om het document te beoordelen samen met de beste voorbeelden die het systeem heeft gevonden, waarbij het de AI vraagt om een definitieve beslissing te nemen. Als zelfs deze tweede fase het niet zeker weet, wordt het document naar een menselijke expert gestuurd voor correctie.
De ware innovatie ligt in wat er gebeurt na die menselijke correctie. In traditionele systemen is een mens die een fout herstelt slechts een eenmalige fix. In HIRA wordt elke correctie een permanente les. Wanneer een mens een document corrigeert, slaat het systeem dit voorbeeld op in zijn geheugen met een speciale weging, waardoor het waarschijnlijker is dat het de volgende keer een soortgelijke document herkent. Het werkt ook een kaart van verwarring bij, waarbij het precies leert welke categorieën de neiging hebben om met elkaar te worden verward en welke specifieke woorden of visuele kenmerken hen onderscheiden. Dit stelt het systeem in staat om de nauwkeurigheid in de loop van de tijd te verbeteren zonder ooit de kernsoftware te hoeven hertrainen of de onderliggende wiskundige gewichten te hoeven bijwerken. Het systeem wordt slimmer simpelweg door zich zijn fouten en de specifieke details die de problemen oplosten te herinneren.
De onderzoekers testten deze aanpak op twee zeer verschillende datasets. De eerste was een publieke benchmark van 2.737 documenten variërend van brieven tot wetenschappelijke rapporten. Op deze set begon het systeem met een klein aantal voorbeelden en verwerkte het een stroom van nieuwe documenten. Door mensen te vragen om slechts een kwart van de binnenkomende bestanden te corrigeren, steeg de nauwkeurigheid van het systeem tot het niveau van een hypothetische "oracle" die vanaf het begin elk document met het juiste label had gezien. Dit was een significante sprong, waarbij het de prestaties van een standaard kunstmatige intelligentie die probeerde te raden zonder enige hulp, met een ruime marge overtrof, terwijl het veel minder computerbronnen gebruikte. Het systeem slaagde erin om slechts ongeveer 40% van de documenten naar de tweede, duurdere AI-fase te sturen, en nog minder naar de menselijke beoordelaars, wat bewees dat het de gemakkelijke gevallen efficiënt kon filteren.
De tweede test was een real-world uitdaging met een privécollectie van 30.233 handelsfinancieringsdocumenten van een grote bank. Deze omgeving was veel moeilijker, met 80 verschillende categorieën, waarvan vele bijna identiek aan elkaar waren, zoals verschillende soorten facturen of certificaten. De data was sterk scheef verdeeld, waarbij sommige categorieën duizenden voorbeelden hadden en andere er zeer weinig hadden. Ondanks deze moeilijkheden verwerkte het systeem de volledige stroom documenten en vroeg het menselijke werkers om slechts 1.945 van hen te corrigeren, wat slechts 6,4% van het totaal is. Deze kleine hoeveelheid menselijke inspanning was genoeg om de nauwkeurigheid van het systeem van een bescheiden niveau naar een zeer betrouwbaar niveau te tillen. De onderzoekers ontdekten dat naarmate het systeem leerde van deze correcties, het aantal documenten dat menselijke beoordeling vereiste scherp daalde en op een laag niveau stabiliseerde naarmate het geheugen van het systeem rijker werd.
Dit werk demonstreert dat in gereguleerde sectoren de weg naar hoge nauwkeurigheid niet noodzakelijkerwijs enorme datasets of constante software-hertraining vereist. Door een slim zoekmechanisme te combineren met een lokale kunstmatige intelligentie en een feedbackloop die leert van menselijke correcties, is het mogelijk om een systeem te bouwen dat zichzelf aanpast aan nieuwe documenten en veranderende regels. Het systeem respecteert de strikte eis dat gegevens de beveiligde omgeving nooit verlaten, en bereikt toch prestatieniveaus die wedijveren met systemen die getraind zijn op enorme hoeveelheden data. De resultaten suggereren dat voor sectoren waar gegevensprivacy en naleving van cruciaal belang zijn, een systeem dat selectief leert en zich zijn correcties herinnert, een praktisch en krachtig alternatief is voor de traditionele methoden van het trainen van kunstmatige intelligentie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.